外贸网站源码下载,公司官网怎样制作,个人主页背景图,网站建设 定制商城 小程序开发一、背景 【DeepSeek 深度求索】这个春节给了世界一个重磅炸弹#xff0c;弄得美国都睡不好觉。这次与以往不同#xff0c;之前我们都是跟随着美国的AI人工智能#xff0c;现在DeepSeek通过算法上的优化#xff0c;大大降低了训练模型所需的成本以及时间#xff0c;短期造…一、背景 【DeepSeek 深度求索】这个春节给了世界一个重磅炸弹弄得美国都睡不好觉。这次与以往不同之前我们都是跟随着美国的AI人工智能现在DeepSeek通过算法上的优化大大降低了训练模型所需的成本以及时间短期造成了英伟达的市值都下跌美国多方机构直接禁止使用DeepSeek。 DeepSeek做实事整个模型进行开源并且公开了整个训练的论文信息。 这个不像以往某些国内企业到处鼓吹国产自研却不敢开源。开源就是实打实地给大家来进行检验。 既然是开源那么我们可以方便拿到模型文件、模型部署信息等进行部署、运行。我们也一起来体验一下本地DeepSeek的效果怎么样。 DeepSeek支持CPU模式以及GPU模式进行运行 但是大多数情况下随着模型参数越大越是依赖于GPU的计算能力。 CPU的效果非常差但是如果没有GPU资源的情况下也可以使用CPU的模式运行用于学习用途即可生产环境和训练环境不会使用CPU进行运算的。
二、工具介绍
1、Ollama工具 官网地址: Ollama Ollama 是一个基于 Go 语言的本地大语言模型运行框架类 docker 产品支持 list,pull,push,run 等命令事实上它保留了 Docker 的操作习惯支持上传大语言模型仓库 (有 deepseek、llama 2mistralqwen 等模型你也可以自定义模型上传)。 通俗理解就是Ollama这个类似Docker的平台工具方便我们去直接运行各种LLM大模型。不需要我们去了解模型启动、模型参数配置、以及各种依赖以及准备工作。 只需要类似docker run的方式 就能直接运行起一个LLM大模型。 是不是很牛批呢! 例如下面就是运行ollama run deepseek-r1:1.5b参数模型的命令:
ollama run deepseek-r1:1.5b 就是只需要这么一条命令就能将deepseek大模型运行起来并且进入一个命令行输入框与模型进行问答对话。 可以运行的模型类似docker hub一样, Ollama也有网页可以搜索到自己需要部署的LLM大模型。只要以及制作好的大模型就能进行运行 2、OpenWebUI 可视化工具 官网: Home | Open WebUI Open WebUI是一个可扩展、功能丰富、用户友好的自托管AI平台旨在完全离线运行。它支持各种LLM运行程序如Ollama和OpenAI兼容的API内置RAG推理引擎使其成为一个强大的AI部署解决方案。 部署了Open WebUI可以自动连接适配如本地部署的DeepSeek等大模型并且提供了一个web服务方便我们与大模型进行对话。部署完毕后效果如下图:
三、部署DeepSeek
注意: 本次部署是基于Centos7并且附带了一张英伟达 V100显卡的服务器。 可以在阿里云进行按量付费购买GPU服务器 GPU服务器本质上就是在普通的ECS上通过PCIE卡槽外接了显卡的服务器而已。 然后我们后面可以把大模型需要进行计算的交给GPU而非CPU仅此而已!
1、安装Ollama工具
1、进入官网选择对应平台的下载方式进行下载安装 2、Linux直接采取第二种方式 3、安装Docker环境 这一步大家自行安装
4、安装CUDA相关驱动 CUDA是一种编程语言专门用于与GPU进行打交道。如果配置CUDA驱动不当会导致模型直接使用CPU模式而非GPU模式 CPU模式性能真的非常差文章后面给大家看下两者的性能差距.
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.reposudo yum install -y nvidia-container-toolkitsudo nvidia-ctk runtime configure --runtimedocker
sudo systemctl restart docker
2、Ollama运行DeepSeek
1、先运行ollma服务
docker run -d --gpusall -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama# -d 容器后台运行
# --gpusall 运行容器使用GPU资源进行计算
# -v 挂载保存后期pull下载的大模型相关信息后续如果继续运行无需重新下载
# -p 映射端口出来, 11434提供RESTFUL API接口 可以给如OpenWebUI或者其它程序调用进行对话
# --name 为这个容器起一个名字 ollama2、在ollma容器里面运行大模型, ollama run deepseek-r1:1.5b
docker exec -it ollama ollama run deepseek-r1:1.5b 3、Ollama常用命令 4、判断大模型是否使用到GPU资源执行nvidia-smi命令查看情况
使用了GPU资源的情况: 没有使用到GPU资源而是使用CPU资源: 5、OpenWebUI组件部署 这个可以参考官方文档部署即可很简单默认8080端口第一次访问需要注册一个用户。然后会默认连接到本地的大模型。 最后页面如下: 可以和我们日常一样对大模型进行对话、问答模式。
四、使用CPU模式和GPU模式性能差距对比 使用GPU加速相同问题回答还是11s左右。 但是如果只是使用CPU进行运算相同问题模型回答时间长达2分多钟。 性能相差了几十倍! 所以为什么英伟达挣的盆满钵满 因为AI需要强大算力的支持 否则如果还是停留在CPU进行大模型的训练 不知要等到猴年马月才出一次训练结果 DeepSeek使用CPU和GPU模式性能对比 五、总结 AI人工智能肯定是以后新兴产业并且触发再一次的工业革命趋势和潮流势不可挡。就像当初早期刚接触互联网的大佬站在风口尝到了甜头。所以后期要根据自己相关工作、学习情况看下是否能结合AI擦出不一样的火花 我们不一定全部懂AI的全部底层原理就像我们日常都在用手机一样你都懂手机的零部件原理吗?你会修手机吗? 你知道手机电话如何打通、短信如何发送的原理吗? 答案是否定的明显绝大部分人都不懂但是不妨碍我们通过手机来解决各种各样的问题道理类似。
