深圳高端网站设计,推广普通话海报,网站的技术维护一般要做些什么,快法务网站开发前言
最近DeepSeek模型非常火#xff0c;其通过对大模型的蒸馏得到的小模型可以较轻松地在个人电脑上运行#xff0c;这也使得我们有机会在本地构建一个专属于自己的AI#xff0c;进而把AI“调教”为我们希望的样子。本篇文章中我将介绍如何使用OllamaAnythingLLMPython实现…前言
最近DeepSeek模型非常火其通过对大模型的蒸馏得到的小模型可以较轻松地在个人电脑上运行这也使得我们有机会在本地构建一个专属于自己的AI进而把AI“调教”为我们希望的样子。本篇文章中我将介绍如何使用OllamaAnythingLLMPython实现DeepSeek的本地部署并训练一个自己的专属AI。
工具介绍
我选用OllamaAnythingLLM来管理训练AI模型先来介绍一下这两个工具是什么。
Ollama
Ollama是一个模型管理工具其logo是一只羊驼 通过Ollama我们可以轻松下载它所支持的模型包括llamaqwen以及最近很火的deepseek-r1并把它作为一个本地的模型提供商以便被其他程序所调用。
AnythingLLM AnythingLLM是一个训练AI的工具其支持的模型数量很多并且有方便的图形化界面来上传训练AI所需要的文档。在AnythingLLM中可以指定各种LLM向量数据库以及Embedder。此外它还提供了丰富的RESTful风格的API以供其他程序调用使得外部程序可以轻松调用AnythingLLM训练出的AI。
整体架构
整体架构图如下 我们首先通过Ollama下载DeepSeek模型然后可以基于DeepSeek来创建自己的AI模型指定系统提示词之类的微调然后将其导入到AnythingLLM中最后通过Python来调用AnythingLLM提供的API实现和AI进行交互。
安装Ollama
第一步我们先来安装Ollama。
我们打开Ollama官网地址https://ollama.com点击Download按钮再根据自己的系统选择合适的安装包下载这里以Windows为例。
在安装之前我们可以通过设置系统环境变量来指定Ollama模型下载的路径如图所示 我们建立一个名为OLLAMA_MODELS的环境变量值为Ollama模型下载的路径。
由于Ollama的奇葩设计其会安装在C盘下的默认目录如果我们不想让他安装在默认目录的话就不要使用双击的方式打开刚刚下好的安装包而是通过cmd输入以下命令
OllamaSetup.exe /DIR绝对路径名
在安装完成后打开cmd输入ollama如看到以下命令说明安装成功 然后我们进入ollama的deepseek-r1模型页面https://ollama.com/library/deepseek-r1可以看到有多种模型以供选择 这里的1.5b7b8b的含义是模型中参数的数量b即billion参数越多的模型越“聪明”但需要的配置也就越高。我的电脑是i7 8700K4070因此我选择了14b的模型32b的模型需要4090或3090才能跑起来大家可以根据自己的配置来选择。
选择好模型之后点击红圈中的按钮复制命令到剪贴板中然后将其粘贴到cmd中ollama就会开始下载模型了此处大概率需要梯子大家自行解决。
在下载完成后我们的cmd窗口会变成下图 此时我们就可以开始和AI对话了输入信息后回车等待一会取决于模型大小以及系统配置后AI就会回复 此时打开浏览器输入http://localhost:11434可以看到“Ollama is running”的页面说明Ollama的服务已经启动了。
我们已经成功地下载好了deepseek-r1的蒸馏模型下面我们可以写一个Model文件来基于deepseek-r1来创建属于我们自己的AI。
新建一个文件命名为ModelFile文件名自己随意取输入以下内容
FROM deepseek-r1:14b
PARAMETER temperature 1
PARAMETER num_ctx 1024
PARAMETER mirostat_eta 0.5
PARAMETER top_k 60
PARAMETER top_p 0.95
SYSTEM
你是一个我的个人助手在回答问题时尽量贴近人类语言来回答问题。FROM关键字的含义为从哪个大模型来创建这个AI这里选择的是14b模型
PARAMETER指定参数的值。
temperature范围为0-1,0比较一板正经1更接近于真人。num_ctx设置使用下一个token的上下文窗口大小。 mirostat_eta影响算法对生成文本的响应速度默认值为0.1。top_k减少生成无意义内容的概率值越高答案越多样默认值为40。top_p较高的值会使得生成文本更丰富默认值为0.9。
完整的参数说明可以参考官方文档https://github.com/ollama/ollama/blob/main/docs/modelfile.md
SYSTEM系统提示词我们可以在这里加一些对AI风格的描述不需要花里胡哨的提示词直接说人话就行。
在写完这个文件后我们运行以下命令使用刚写好的ModelFile来创建自己的模型
ollama create 模型名 -f ModelFile全路径
然后输入ollama list可以看到我们新建的模型。
安装AnythingLLM
我们刚才已经创建了本地的模型但还没有对它进行自己独特的训练这就需要我们安装AnythingLLM了。
打开AnythingLLM官网https://anythingllm.com点击Download for desktop按钮根据自己的系统选择安装包下载下载好后正常双击安装就好。
安装完成后运行AnythingLLM在AnythingLLM Preference中进行相关配置由于我已经配置过了因此这里没有图了口述一下
LLM Provider选OllamaOllama Base URL输入http://127.0.0.1:11434Chat Model Selection选我们刚才建好的模型这个会作为默认模型
Embedding Preference中Provider默认就可以如果你有别的选择也可以用自己的。
Vector Database中Provider选LanceDB即可
然后我们就可以在左侧边栏新建工作区开始对话了。
这里介绍一下AnythingLLM工作区的概念。在AnythingLLM中一个工作区可以算为是一个独立的AI使用相同的向量数据库不同的工作区可以使用不同的模型这样可以确保不同的AI相互独立不会互相污染。每个工作区可以建立不同的Thread这里的Thread为对话列表而并非线程相当于你可以和这个AI同时发起不同的对话。
下面我们来看看要如何训练这个AI。我们可以注意到左边边栏的工作区右侧有个上传图标点击它 会弹出一个UI让我们选择训练的内容 我们可以选择上传文件或者可以在下面的Fetch Website中输入网址。
我们新建一个文本文件写这么一句话 这里不用张三的原因是之前我告诉AI张三是只猫
温馨提示你可以把李四换成你身边的任何人 点击上传再选中这个文件点击Move to Workspace然后再点击右下方的Save and Embed按钮AnythingLLM就会用这个文件来训练AI。 然后我们来问一声AI李四是谁 可以看出AI已经知道了李四是条狗:) 我们也可以点击工作区右边的齿轮图标在右边的向量数据库页签中查看向量数量 训练的内容越多这个值就越大。 我们已经初步知道了如何在AnythingLLM客户端中训练AI以及和AI对话下面我们来看一下如何用python来调用AnythingLLM的API。
我们在AnythingLLM左边栏下方点击扳手图标进入设置界面然后选择API密钥项 然后点击右边的生成新的API密钥按钮在弹出的画面中点击Create API key按钮AnythingLLM就会生成一个新的密钥以供后续python调用使用。 编写Python代码
我们新建一个python工程输入以下代码
# main.py
import requests
import json
if __name__ __main__:while True:print(Send message )message input()json_data {message: message,mode:chat,}headers {Content-Type:application/json,Authorization: Bearer 刚才生成的API Key,accept:application/json}response requests.post(http://localhost:3001/api/v1/workspace/小写的工作区名称/chat, headersheaders ,jsonjson_data)answer_dict json.loads(response.content)# answer_dict已经拿到了AI返回的结果了以下两行是去除掉输出的思考过程answer answer_dict[textResponse].__str__()final_answer answer[answer.index(/think)len(/think)1:]# 打印AI的结果print(final_answer) 这里要注意的是headers里Authorization的值为‘Bearer API Key’的值Bearer是固定不变的json_data的mode的值有两种chat和query。query只会根据你上传的文件来回答内容你不告诉它的东西它是不会回答的适合做特定领域内的AIchat则既会根据已训练好的内容来回答同时也会根据你上传的内容来回答更适合通用AI。
在post的url中workspace/后的参数是工作区内部名称为小写的工作区名称但如果你不清楚工作区的内部名称是什么可以发送如下请求来在响应中查看所有的工作区信息
response requests.get(http://localhost:3001/api/v1/workspaces, headersheaders)
可以在如下地址查看所有的AnythingLLM的API文档http://localhost:3001/api/docs/#/Workspaces/get_v1_workspaces
然后我们可以在powershell中运行我们这个main.py问出我们刚才的那个问题李四是谁 AI回答正确
结语
在此篇博客中我们实现了基于OllamaAnythingLLMPython的deepseek本地部署并对它进行了初步的训练让它知道了李四是条狗。我们可以在此基础上进一步扩展我们想要的功能如自制个webUI之类的或者让它成为某个领域的UI或者让它只是纯粹和我们逗闷子希望大家都能通过此方法来训练出自己想要的AI。
