怎么做查询网站后台,家居品牌网站建设,宁德城乡建设部网站首页,专门做运动装备的网站全栈工程师开发手册 #xff08;作者#xff1a;栾鹏#xff09; 一站式云原生机器学习平台 前言
开源地址#xff1a;https://github.com/tencentmusic/cube-studio
cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台#xff0c;支持多租户… 全栈工程师开发手册 作者栾鹏 一站式云原生机器学习平台 前言
开源地址https://github.com/tencentmusic/cube-studio
cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台支持多租户sso单点登录支持在线镜像调试在线ide开发数据集管理图文音标注和自动化标注任务模板自定义拖拉拽任务流模型分布式多机多卡训练超参搜索模型管理推理服务弹性伸缩支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布以及配套资源监控和算力存储资源管理。支持机器学习深度学习大模型 开发训练推理发布全链路。支持元数据管理维表指标sqllab数据etl等数据中台对接功能。支持多集群边缘集群serverless集群方式部署。支持计量计费资源额度限制支持vgpurdma国产gpuarm64架构。
aihub模型市场支持AI hub模型市场支持400开源模型应用一键开发一键微调一键部署。
gpt大模型支持40开源大模型部署一键部署支持rayvolcano,spark等分布式计算框架支持tf,pytorch,mxnet,mpi,paddle,mindspre分布式多机多卡训练框架支持deepspeedcolossalaihorovod分布式加速框架支持llama chatglm baichuan qwen系列大模型微调。支持llama-factory 100llm微调支持大模型vllm推理加速支持智能体私有知识库智能机器人。
在线开发是一个很重要的功能对于大部分用户来说在线的IDE比命令vim是要方便很多。cube主要提供了vscode和jupyter两种在线ide。并没有将代码和数据进行分割存储。所以在notebok中打开的就是完全用户自己的代码和数据可以方便的进行调试。
vscode
theia是一个在线vscode更像本地IDE主要服务纯代码开发多实例一个人可以同时开多个theia 工作目录默认是/mnt归档目录是/archives可以把一些想永久保存不易被误删的文件放在归档目录。 在vscode里面本质为theia用户跟本地vscode基本一致上传下载文件/文件夹也可以在theia中打开命令行终端。并且在其中封装了用户的基本环境需求比如python。
需要说明的是由于theia的功能中有些进程例如rg进程会不停的搜索扫描目录下的所有文件。由于个人目录下包含了用户的代码和用户的数据文件可能非常多千万到亿级别的文件数量。这些进程扫描会严重拖慢分布式存储的性能。所以cube做了定时检杀的功能能够及时检杀rg和git进程提高在线vscode的响应速度。
jupyter 数据挖掘的用户使用jupyter会更多一些。在jupyter里面跟vscode里面相同也安装了一些实用的插件比如tensorboard使用jupyter pro版本可以在jupyter里面打开。
比如我们在pipeline/example/tensorboard中有一个示例文件demo.py运行这个文件会生成一个fit_logs文件夹这就是tf的log目录进入这个目录然后使用tensorboard按钮启动tensorboard就可以查看该训练的情况。
大数据版本
大数据版本的Jupyter notebook创建notebook时选择Jupyterbigdata镜像集成了大数据常用的基础包比如spark、flink等。支持爬虫、数据分析、数据挖掘和可视化等常用Python包的使用。
机器学习版本
机器学习版本的Jupyter notebook创建notebook时选择Jupytermachinelearning镜像集成了机器学习常用的基础包比如sklearn、scipy等。
深度学习版本
深度学习版本的Jupyter notebook创建notebook时选择JupyterDeepLearning镜像集成了深度学习常用的基础包比如TensorFlow、Keras等。
rstudio
R版本的notebook创建notebook时选择rstudiobigdata镜像集成了R语言的在线IDEIDE名称为Rstudio。
matlab
MATLAB版本的notebook创建notebook时选择matlabDeepLearning镜像集成了MATLAB的在线IDE。
pro版本
Pro版本的Jupyter中使用不同版本的Python内核从python2.7到python3.9均可支持。 tensorboard可视化训练
pro版本的Jupyter有tensorboard创建notebook时镜像选择jupyter-conda-procpu创建一个pro版本的jupyter运行/mnt/$username/pipeline/example/tensorboard/demo.py运行结束会产生结果文件。进入结果文件夹此时点击“”符号打开tensorboard再选择需要进行可视化的文件即可查看可视化结果如下图所示。 需要注意的是集成了tensorboard的notebook是CPU版本的因此如果我们需要用GPU来训练模型并且用tensorboard做可视化可以用GPU版本的notebook来做模型训练把需要可视化的结果文件写到分布式存储中再在pro版本的notebook中打开tensorboard。
密码保护
需要修改config.py配置文件中ENABLE_JUPYTER_PASSWORD设置为True并更新到线上重启后端则会在每个jupyter后面会自动生成密码每次进入jupyter要使用这个密码。 登录jupyter时需要密码 ssh远程连接jupyter功能
实现原理
jupyter版本的notebook中提供了sshd会在notebook创建时自动启动ssh-server并且会自动生成配置文件example/ssh链接
并为每个notebook的pod配置一个单独的serviceservice使用ip和端口的形式对外暴漏每个notebook使用的端口为1000010*id1
需要公司网络能通过ip端口的形式访问notebook的服务
操作方法
按照example/ssh链接 文件中的描述在本地~/.ssh/config中添加链接配置文件
# 将此文件内容追加到~/.ssh/config ssh root登录密码 cube-studio
# ssh-copy-id -p PORT rootHOST 本地设置免密登录Host cube-studioHostName xx.xx.xx.xxPort xxUser rootIdentityFile ~/.ssh/id_rsaServerAliveInterval 10ControlMaster autoControlPath ~/.ssh/master-%r%h:%pForwardAgent yes然后就可以ssh链接远程notebook了并且可以在本地将文件拖拽到本地vscode这样文件就是自动同步到在线notebook中
单端口代理jupyter内部ssh server
要实现这个目标您可以使用SSH端口转发功能。具体来说您可以在内网中设置一个跳板机也称为SSH代理服务器并通过它连接到其他内网SSH服务器。以下是如何实现这个目标的步骤 首先确保您可以从本地客户端访问内网中的跳板机。例如假设跳板机的IP地址为192.168.1.1端口号为22用户为user1。 在本地客户端上设置SSH代理隧道。这将允许您通过跳板机访问其他内网SSH服务器。例如假设您希望连接到内网中的SSH服务器AIP地址192.168.1.2端口10022用户user2和SSH服务器BIP地址192.168.1.3端口10023用户user3。在本地客户端上运行以下命令以创建SSH隧道 ssh -L 10022:192.168.1.2:10022 -L 10023:192.168.1.3:10023 user1192.168.1.1 -p 22user1 是您在跳板机上的用户名。这将在您的本地客户端上创建两个端口转发10022和10023分别连接到内网中的SSH服务器A和B。 现在您可以通过本地客户端上的端口10022和10023来访问内网中的SSH服务器A和B。例如要连接到SSH服务器A您可以运行以下命令 ssh user2127.0.0.1 -p 10022要连接到SSH服务器B您可以运行以下命令 ssh user3127.0.0.1 -p 10023在这两个命令中user2user3 是您在SSH服务器A和B上的用户名。
通过这种方法您可以通过仅可以访问的内网IP和端口来访问内网中的不同SSH服务器。
jupyter里面链接spark
对于需要连接数据中台的场景例如连接Hive或Spark集群我们可以在自定义Notebook中预先配置好相关的XML文件以便用户直接使用。这样开发者只需要配置一次普通用户就可以直接使用无需再次配置。
在jupyter中启动提交spark任务作为driver端需要监听端口每个notebook在创建的时候会预留 P O R T 1 和 PORT1和 PORT1和PORT2两个环境变量代表的端口来对外监听同时在$SERVICE_EXTERNAL_IP环境变量代表的主机上进行监听所以需要告诉spark的masterdriver的服务监听地址这样能让master返回数据到driver端
# 创建 SparkSession
spark SparkSession.builder \.appName(PythonPi) \.master(spark://myspark-master-0.myspark-headless.kubeflow.svc.cluster.local:7077) \.config(spark.executor.memory, 2g) \.config(spark.executor.cores, 2) \.config(spark.cores.max, 8) \.config(spark.driver.memory, 2g) \.config(spark.ui.enabled, False) \.config(spark.driver.port, os.getenv(PORT1)) \.config(spark.blockManager.port, os.getenv(PORT2)) \.config(spark.driver.bindAddress, 0.0.0.0) \.config(spark.driver.host, os.getenv(SERVICE_EXTERNAL_IP)) \.getOrCreate()tensorboard
使用pro版本的jupyter在左侧目录树进入到tensorboard对应的日志目录再打开右侧的tensorboard按钮 就可以查看日志目录中所包含的记录的训练过程中的信息和模型的信息 git功能
pro版本的notebook中可以直接使用git。比如直接clone一个项目到notebook中修改文件点击git图标就能直接看到原文件和修改后文件的对比。 gpu监控cpu内存监控
图示按钮可帮助用户在notebook中查看资源的使用情况。需要注意的是只有GPU版本的notebook可以在notebook中查看GPU监控其他版本的notebook即使调用了GPU也只能在grafana中统一查看GPU资源的监控。 jupyter多内核态
在使用自定义Notebook时需要注意的是安装包时应该先激活对应的环境然后再进行安装。这是因为Jupyter的内核和conda环境是两个不同的概念需要分别进行管理。
在线ide的资源占用问题
cube采用的方案是只设置notebook的pod的limit而不设置request这种方案就对不资源进行独占这样也就不用清理notebook只是允许了notebook中的资源干扰。
GPU的占用方式上允许独占、共享、VGPU三种方式gpu申请(单位卡)示例:填写12表示训练任务每个容器独占整卡。填写-1为共享占用方式填写小数(0.1)为vgpu方式申请具体的卡型号可以类似 1(V100),目前支持T4/V100/A100。 在线ide的环境重置问题
如果notebook因为oom定时清理机器故障主动reset等可能原因而重启notebook中的环境就会丢失但分布式存储下的内容都会保留也就是/mnt/$username文件夹下的内容都会保留。
所以我们如果需要环境保存有两个方案 cube添加了notebook启动后自动执行/mnt/$username/init.sh脚本用户只需要在init.sh中定义notebook特定的环境就可以在启动notebook后拥有自己独特的环境了。 在notebook中有一个“镜像保存”按钮每次notebook环境更改之后都可以点击这个按钮保存环境下次重启就会自动用这个镜像来启动notebook如下图所示。 多实例的virtualservice代理
多实例在线IDE图示
每个用户可以配置多个在线IDE可以自己配置资源镜像类型。每个在线IDE都是通过istio virtualservice来代理的。所以只要在线IDE的镜像启动的web服务支持url prefix就可以被加进来作为在线IDE比如matlabrstudio。每个在线IDE实例都有独立的以名称为prefix的url地址在virtualservice配置绑定istio ingressgateway这样来实现多实例。
名为admin-9d3d的在线IDE的url prefix
名为admin-e00f的在线IDE的url prefix
在线ide镜像保存
如果想保存自己notebook中的环境可以在notebook列表中点击镜像保存的按钮平台将自动将该notebook的pod通过docker commit成镜像镜像名称为jupyter-user:$notebook-name并推送到仓库所以还需要管理员提前配置自己内网的仓库地址和账号密码
在线ide清理和需求
默认情况下在线ide每天晚上会清理三天前的清理只是关闭容器不会清理文件重启容器环境会丢失。
定时清理任务的配置
在config.py的task_delete_notebook注释这个任务可以停止定时清理notebook每次notebook有效期为3天清理前一天会提醒用户进行续期。
任务续期
点击对应notebook后的续期按钮可以为当前notebook续期三天使用时间。
