有了源代码怎么做网站,郴州网站建设公司官网,互联网保险行业发展报告,国家企业信用信息公示系统换官网前言
Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面#xff0c;不仅可以提高使用效率#xff0c;还可满足私有化部署#xff0c;或对模型进行自定义。目前#xff0c;该Web UI已经支持了许多流行的语言模型#xff0c;包括LLaMA、llama.…前言
Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面不仅可以提高使用效率还可满足私有化部署或对模型进行自定义。目前该Web UI已经支持了许多流行的语言模型包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等.
而且Text generation web UI部署非常简便不仅在github主页上直接提供了一键部署安装包同时由于是web UI形式直接通过浏览器即可操作不过本地化部署无法远程访问这里我们结合cpolar内网穿透工具实现从安装到最后实现远程访问。
系统环境
Windows 10
Python 3.11.4
1. 安装Text generation web UI
在github界面下载压缩包这里以windows系统为例 https://github.com/oobabooga/text-generation-webui 使用windows系统我们下载windows压缩包 下载后这里注意存放目录的路径不能有空格然后点击start_windows.bat启动安装。 在安装过程中会提示选择显卡类型根据电脑配置正常选择即可然后等待下载下载大小2个GB左右大小资源。 2.安装依赖
上面安装后会出现两个文件夹可以看到其中一个是text-generation-webui 名称文件夹我们点击cmd_windows.bat打开cmd命令行。 打开后进入text-generation-webui文件夹
cd text-generation-webuiBash
Copy
执行下载依赖命令注意这里需要kx上网否则下载依赖会发生错误包括后面也一直需要保持kx上网哦
pip install -r requirements.txtBash
Copy
执行后等待下载完成即可 3. 安装语言模型
同意点击cmd_windows.bat打开cmd命令行进入 输入命令进入text-generation-webui文件夹
cd text-generation-webuiBash
Copy
安装facebook语言模型其他语言模型可以查看GitHub文档上面找到
python download-model.py facebook/opt-1.3bBash
Copy
输入后等待下载安装完成即可为了防止出现下载失败建议开启kx上网 4. 启动
点击start_windows.bat启动 启动后可以看到访问的地址和端口端口是:7860 在浏览器输入上述URL即可看到web ui 界面 设置一下语言模型点击Model在下拉框可以看到我们上面下载安装的facebook模型选择后点击Load然后保存设置。 然后输入即可对话这样就搭建好了可玩度很高且可以扩展其他语言模型 5. 安装cpolar 内网穿透
cpolar内网穿透工具永久免费且不限制流量支持http/https/tcp协议无需公网IP也不用设置路由器使用简单。 cpolar官网https://www.cpolar.com/ 访问cpolar官网注册一个账号然后下载并安装客户端具体安装教程可以参考官网文档教程。
windows系统在官网下载安装包后双击安装包一路默认安装即可。linux系统支持一键自动安装脚本详细请参考官网文档——入门指南
cpolar安装成功后在浏览器上访问本地9200端口【http://localhost:9200】使用cpolar账号登录。 6. 创建公网地址
点击左侧仪表盘的隧道管理——创建隧道创建一个我们上面的text generation webui 的http访问方式的7860隧道
隧道名称可自定义命名注意不要与已有的隧道名称重复协议选择http本地地址7860域名类型免费选择随机域名地区选择China vip
点击创建 隧道创建成功后点击左侧的状态——在线隧道列表,查看所生成的公网地址有两种访问方式一种是http 和https 7. 公网访问
我们使用http公网地址访问可以看到我们访问到了text generation webui 界面这样一个公网地址访问就创建好了。 8. 固定公网地址
由于以上使用cpolar所创建的隧道使用的是随机公网地址24小时内会随机变化不利于长期远程访问。因此我们可以为其配置二级子域名该地址为固定地址不会随机变化【pscpolar.cn已备案】 注意需要将cpolar套餐升级至基础套餐或以上且每个套餐对应的带宽不一样。【cpolar.cn已备案】 登录cpolar官网点击左侧的预留选择保留二级子域名地区选择china vip top然后设置一个二级子域名名称填写备注信息点击保留。 保留成功后复制保留的二级子域名地址 登录cpolar web UI管理界面点击左侧仪表盘的隧道管理——隧道列表找到所要配置的隧道点击右侧的编辑。 修改隧道信息将保留成功的二级子域名配置到隧道中
域名类型选择二级子域名Sub Domain填写保留成功的二级子域名地区: China VIP
点击更新 更新完成后打开在线隧道列表此时可以看到随机的公网地址已经发生变化地址名称也变成了保留和固定的二级子域名名称。 最后我们使用固定的公网地址访问text generation webui 界面可以看到访问成功一个永久不会变化的远程访问方式即设置好了。
