网站做的跟别人的一样可以吗,双语网站用什么程序做,济南家居行业网站开发,灰色网站建设老牛同学之前使用的MacBook Pro电脑配置有点旧#xff08;2015 年生产#xff09;#xff0c;跑大模型感觉有点吃力#xff0c;操作起来有点卡顿#xff0c;因此不得已捡起了尘封了快两年的MateBook Pro电脑#xff08;老牛同学其实不太喜欢用 Windows 电脑做研发工作2015 年生产跑大模型感觉有点吃力操作起来有点卡顿因此不得已捡起了尘封了快两年的MateBook Pro电脑老牛同学其实不太喜欢用 Windows 电脑做研发工作。此文注意是记录配置新电脑的内容一来给老牛同学留个备忘同时也特别希望能给其他朋友一些帮助。
配置一台方便用于大模型应用研发的新电脑最基础的需要包括以下配置内容
Miniconda包管理工具的安装和配置兼容pipPython虚拟环境配置指定 Python 版本且无需单独下载 Python 安装Jupyter Lab Python 研发 WebIDE 配置Ollama本地大模型管理软件的配置和应用Ollama大模型 Web 界面对话客户端配置和使用
Miniconda 安装和配置
Miniconda和pip都是 Python 生态中的两个不同的包管理工具它们都用于安装和管理 Python 包。但是在大模型相关的应用研发中老牛同学推荐使用Miniconda的原因
包范围 Miniconda 通过 Conda 可以管理 Python 以及非 Python 包而 pip 只管理 Python 包。环境管理 Miniconda 内置了环境管理功能而 pip 需要与其他工具如 virtualenv 或 venv搭配使用以创建隔离的环境。包源 pip 通常从 PyPI 下载包而 Conda 从 Anaconda Repository 或其他自定义设置的通道下载。包格式 Conda 使用自己的包格式(.conda 或.tar.bz2)而 pip 使用 wheel 或源码形式。依赖解决 Conda 在安装包时会考虑到系统级别的依赖和包之间的依赖关系而 pip 主要解决 Python 级别的依赖。
在实际使用中由于Minionda可以很好地处理复杂的依赖关系和环境管理它通常是首选工具。但是如果只需要安装纯 Python 包使用pip可能会更加简单直接。
第一步 下载地址https://docs.anaconda.com/miniconda/
根据操作系统选择安装包支持包括Windows、MacOS 和 Linux 系统
第二步 安装和配置安装过程和普通软件没有两样安装完成之后我们配置 Python 环境
老牛同学的安装目录是D:\Software\miniconda3
因后面需要执行conda命令因此提前把以下目录添加到系统环境变量中变量名Path
安装目录D:\Software\miniconda3脚本目录D:\Software\miniconda3\Scripts依赖库目录D:\Software\miniconda3\Library\bin
第三步 设置 Conda 虚拟环境目录可选默认情况下虚拟环境内容在C:\盘老牛同学 C 盘比较较小就把它设置到D:\盘
打开 Termianl 终端查看Conda基本信息conda info conda infoactive environment : Noneuser config file : C:\Users\obull\.condarcpopulated config files :conda version : 24.4.0conda-build version : not installedpython version : 3.12.3.final.0solver : libmamba (default)virtual packages : __archspec1x86_64_v3__conda24.4.00__win00base environment : D:\Software\miniconda3 (writable)conda av data dir : D:\Software\miniconda3\etc\condaconda av metadata url : Nonechannel URLs : https://repo.anaconda.com/pkgs/main/win-64https://repo.anaconda.com/pkgs/main/noarchhttps://repo.anaconda.com/pkgs/r/win-64https://repo.anaconda.com/pkgs/r/noarchhttps://repo.anaconda.com/pkgs/msys2/win-64https://repo.anaconda.com/pkgs/msys2/noarchpackage cache : D:\Software\miniconda3\pkgsC:\Users\obull\.conda\pkgsC:\Users\obull\AppData\Local\conda\conda\pkgsenvs directories : D:\Software\miniconda3\envsC:\Users\obull\.conda\envsC:\Users\obull\AppData\Local\conda\conda\envsplatform : win-64user-agent : conda/24.4.0 requests/2.31.0 CPython/3.12.3 Windows/11 Windows/10.0.22621 solver/libmamba conda-libmamba-solver/24.1.0 libmambapy/1.5.8 aau/0.4.4 c/. s/. e/.administrator : Falsenetrc file : Noneoffline mode : False可以看到几个重要信息
Conda配置文件C:\Users\obull\.condarcConda包下载渠道channel URLs列表几个地址Conda包缓存目录D:\Software\miniconda3\pkgsConda虚拟环境目录D:\Software\miniconda3\envs
以上配置都是默认配置其中包环境和虚拟环境目录比较占磁盘空间可以设置为其他目录同时下载渠道可以使用国内镜像以提升包的下载速度
打开配置文件C:\Users\obull\.condarc若.condarc配置文件不存在可以执行命令自动生成一个默认文件conda config --set show_channel_urls yes打开.condarc配置设置虚拟环境目录和
envs_dirs:- D:/Software/miniconda3/pkgs
pkgs_dirs:- D:/Software/miniconda3/envs
show_channel_urls: true
channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/- defaults
custom_channels:conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudbioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud保存配置文件之后我们可以看到Conda信息的变化conda info
Conda命令还有一些其他用法比较常用的命令如下列表
查看Conda版本conda --version更新Conda版本conda update conda安装 Python 包如安装numpy包conda install numpy 通过首选渠道下载包文件指定渠道安装 Python 包conda install conda-forge::numpy 通过conda-forge渠道下载包文件安装 Python 包到指定的虚拟环境conda install --name PY2.7 matplotlib 安装matplotlib包到指定的PY2.7虚拟环境
Python 虚拟环境配置
特别注意 有了Miniconda包管理工具我们无需单独下载和安装 Python可直接通过 Conda 安装对应的版本即可。
老牛同学创建一个名称为PY3.12的虚拟环境使用 Python 版本为3.12.3conda create --name PY3.12 python3.12.3
新建虚拟环境需要初始化基础包包括 Python SDK 等基础包下载完成之后可以通过命令查看虚拟环境列表conda info --envs conda info --envs
base D:\Software\miniconda3
PY3.12 D:\Software\miniconda3\pkgs\PY3.12其中base是Conda默认的虚拟环境我们刚创建的PY3.12虚拟环境已经存在了
Python 虚拟环境使用
默认虚拟环境是base我们可以激活和取消虚拟环境。若是首次使用则需要执行conda init命令进行初始化
激活虚拟环境conda activate PY3.12取消虚拟环境conda deactivate无需指定环境名
C:\Users\obull
C:\Users\obullconda activate PY3.12(D:\Software\miniconda3\pkgs\PY3.12) C:\Users\obull
(D:\Software\miniconda3\pkgs\PY3.12) C:\Users\obullconda deactivateC:\Users\obullJupyter Lab 安装和配置可选
在 Python 研发 IDE 选择上老牛同学推荐推荐使用Jupyter Lab当然如果有PyCharm等 Python 开发工具也是一个不错的选择
Jupyter Lab 主要是为了数据科学、科学计算和教育而设计的。它支持交互式计算和数据可视化非常适合探索性数据分析、机器学习、数值模拟等。Jupyter Lab 提供了一个基于 Web 的用户界面支持在浏览器中直接编写代码、运行分析并查看结果。Jupyter Lab 强调的是交互式编程和数据可视化。它允许用户逐段运行代码并即时查看输出支持 Markdown 和富媒体非常适合制作和展示研究结果。Jupyter Lab 作为一个轻量级的 Web 应用其启动速度快但在处理大型数据集时性能可能会受到浏览器和硬件资源的限制。Jupyter Lab 特别适合做数据分析、数据科学教育、探索性研究和创建可分享的交互式报告。
Jupyter Lab IDE 可以通过Conda安装其安装命令如下
# 激活Python虚拟环境
conda activate PY3.12# 安装Jupyter Lab指定下载源
conda install -c conda-forge jupyterlab
conda install -c conda-forge ipywidgetsJupyter Lab IDE 成功安装之后可以通过以下命令打开
# 激活Python虚拟环境
conda activate PY3.12# 切换到Jupyter目录我们以后代码存放的目录
cd ~/JupyterLab# 启动Jupyter WebIDE
jupyter-lab .浏览器自动打开了 Web IDE或者自己打开http://localhost:8888/lab Ollama 安装和使用
使用Ollama可以非常方便的管理本地大模型目前主流大模型都支持Ollama包括Phi、Qwen、Llama等因此使用Ollama可以提升我们管理和使用大模型效率
下载并安装OllamaOllama 官网支持Windows、Mac 和 Linux 系统设置模型数据文件路径可选默认情况下模型文件存放在C:盘用户目录。我们可以通过系统环境变量设置成其他目录。系统环境变量名为OLLAMA_MODELS系统环境变量的值为新的目录如老牛同学设置为D:\ModelSpace\Ollama下载并启动大模型老牛同学以阿里的Qwen2-7B为例ollama run qwen:7B
模型文件下载完成之后自动就有了对话客户端
D:\conda activate PY3.12(D:\Software\miniconda3\pkgs\PY3.12) D:\ollama list
NAME ID SIZE MODIFIED
qwen:7b 2091ee8c8d8f 4.5 GB 3 hours ago(D:\Software\miniconda3\pkgs\PY3.12) D:\ollama run qwen:7bOllama Web 界面对话客户端
Ollama自带控制台聊天对话界面体验总归是不太好接下来部署 Web 可视化聊天界面
下载并安装 Node.js 工具https://nodejs.org/zh-cn下载ollama-webui工程代码git clone https://github.com/ollama-webui/ollama-webui-lite ollama-webui切换ollama-webui代码的目录cd ollama-webui设置 Node.js 工具包镜像源下载提速npm config set registry http://mirrors.cloud.tencent.com/npm/安装 Node.js 依赖的工具包npm install最后启动 Web 可视化界面npm run dev
如果看到以上输出代表 Web 可视化界面已经成功了
浏览器打开 Web 可视化界面http://localhost:3000/
Ollama其他的命令工具
# 查看当前Ollama的模型
ollama list# 增量更新当前部署的模型
ollama pull qwen:7b# 删除一个模型文件
ollama rm qwen:7b# 复制一个模型
ollama cp qwen:7b Qwen-7BOllamaAPI 结果返回
curl http://localhost:11434/api/generate -d {model: qwen:7b,prompt:为什么天空是蓝色的
}Ollama API聊天对话
curl http://localhost:11434/api/chat -d {model: qwen:7b,messages: [{ role: user, content: 为什么天空是蓝色的 }]
}关注本公众号我们共同学习进步 Phi-3 开源大模型
Phi-3 模型手机部署教程微软发布的可与 GPT-3.5 媲美的小模型
Qwen2-7B 开源大模型
Qwen2 阿里最强开源大模型Qwen2-7B本地部署、API 调用和 WebUI 对话机器人
Llama-3-8B 开源大模型
玩转 AI笔记本电脑安装属于自己的 Llama 3 8B 大模型和对话客户端
一文彻底整明白基于 Ollama 工具的 LLM 大语言模型 Web 可视化对话机器人部署指南
基于 Llama 3 搭建中文版Llama3-Chinese-Chat大模型对话聊天机器人
GLM-4-9B 开源大模型
本地部署 GLM-4-9B 清华智谱开源大模型方法和对话效果体验
ChatTTS 文本转语音模型
ChatTTS 开源文本转语音模型本地部署、API 使用和搭建 WebUI 界面
Stable Diffusion 3 文生图模型
Stable Diffusion 3 文生图“开源英雄”大模型本地部署和使用教程轻松实现 AI 绘图自由
大模型应用案例
借助 AI 大模型三分钟原创一部儿童故事短视频附完整操作步骤
高效编写大模型 Prompt 提示词解锁 AI 无限创意潜能
Python 小游戏
AI 已来我与 AI 一起用 Python 编写了一个消消乐小游戏
Python 游戏编程一步步用 Python 打造经典贪吃蛇小游戏
