世界上有一个wordpress站点,小程序是怎么开发的,网站运营成本,网站统计热力图一、前言 腾讯于2024年11月5日正式开源了最新的MoE模型“混元Large”以及混元3D生成大模型“Hunyuan3D-1.0”#xff0c;支持企业及开发者在精调、部署等不同场景下的使用需求。 GitHub - Tencent/Hunyuan3D-1 二、技术与原理 Hunyuan3D-1.0 是一款支持文本生成3D#xff08;…一、前言 腾讯于2024年11月5日正式开源了最新的MoE模型“混元Large”以及混元3D生成大模型“Hunyuan3D-1.0”支持企业及开发者在精调、部署等不同场景下的使用需求。 GitHub - Tencent/Hunyuan3D-1 二、技术与原理 Hunyuan3D-1.0 是一款支持文本生成3DText-to-3D和图像生成3DImage-to-3D的统一框架旨在提升3D生成的速度和质量。该模型采用两阶段方法 多视角扩散模型在约4秒内高效生成多视角RGB图像捕捉3D资产的丰富细节。 前馈重建模型在约7秒内根据生成的多视角图像快速重建3D资产处理多视角生成中的噪声和不一致性恢复3D结构。 该框架集成了腾讯自研的文本生成图像模型“Hunyuan-DiT”支持文本和图像条件的3D生成。标准版本的参数量是轻量版和其他现有模型的3倍平衡了生成速度和质量显著减少了生成时间同时保持了生成资产的质量和多样性。 三、主要特性 双模式支持同时支持文本和图像输入满足不同的3D生成需求。 高效生成在NVIDIA A100 GPU上轻量版模型约10秒生成3D网格标准版约25秒。 开源计划提供推理、检查点、烘焙相关、训练、ComfyUI、蒸馏版本和TensorRT版本的开源支持方便开发者使用和二次开发。 四、使用方法 环境配置建议使用Python 3.9和CUDA 11.7以上版本。可通过提供的env_install.sh脚本进行环境安装。 模型下载从Hugging Face下载预训练模型包括轻量版、标准版和稀疏视角重建模型。 推理提供了文本生成3D和图像生成3D的推理脚本可根据需求进行配置。 Gradio界面提供了基于Gradio的Web界面方便用户进行交互式操作。 五、当前瓶颈 尽管Hunyuan3D-1.0在生成速度和质量上取得了显著进展但仍存在以下挑战 生成质量的提升在复杂场景或细节丰富的对象上生成的3D模型可能存在细节缺失或不准确的情况需要进一步优化模型以提升生成质量。 多样性与泛化能力模型在处理多样化输入时的泛化能力有待增强特别是在处理未见过的输入或复杂场景时可能无法生成高质量的3D模型。 计算资源需求尽管生成速度有所提升但在高分辨率或复杂场景下仍需要大量计算资源限制了模型的实际应用范围。 六、教程汉化 1. 开始安装
首先克隆仓库并进入项目目录 git clone https://github.com/tencent/Hunyuan3D-1 cd Hunyuan3D-1 2. 环境配置适用于Linux 项目提供了 env_install.sh 脚本来配置环境建议使用 Python 3.9 和 CUDA 11.7 以上版本。
安装步骤 conda create -n hunyuan3d-1 python3.9 conda activate hunyuan3d-1 bash env_install.sh 安装 xformers 或 flash_attn 来加速计算 pip install xformers --index-url https://download.pytorch.org/whl/cu121
pip install flash_attn 先前已经创建好 如果先前已经创建好环境直接激活进入即可
conda activate hunyuan3d-1-py311 先前已经创建好但是忘记了
conda env list
这个命令将列出系统中所有的 Python 版本和 Conda 虚拟环境 检查环境是否切换成功pip是否对应虚拟环境 which pip 3. 下载预训练模型 预训练模型可以从 Hugging Face 获取https://huggingface.co/spaces/tencent/Hunyuan3D-1 提供以下三种模型
Hunyuan3D-1/lite轻量版模型用于多视角生成。Hunyuan3D-1/std标准版模型用于多视角生成。Hunyuan3D-1/svrm稀疏视角重建模型。 下载模型的步骤 1.首先安装 Hugging Face CLI 工具 python3 -m pip install huggingface_hub[cli] 2.下载模型文件 mkdir weights huggingface-cli download tencent/Hunyuan3D-1 --local-dir ./weights mkdir weights/hunyuanDiT huggingface-cli download Tencent-Hunyuan/HunyuanDiT-v1.1-Diffusers-Distilled --local-dir ./weights/hunyuanDiT 4. 推理生成 文本生成3D
支持中英文输入可以使用以下命令进行文本生成3D python3 main.py \ --text_prompt a lovely rabbit \ --save_folder ./outputs/test/ \ --max_faces_num 90000 \ --do_texture_mapping \ --do_render 图像生成3D 使用以下命令进行图像生成3D将 /path/to/your/image 替换为图像路径 python3 main.py \ --image_prompt /path/to/your/image \ --save_folder ./outputs/test/ \ --max_faces_num 90000 \ --do_texture_mapping \ --do_render 5. 常用参数配置
参数默认值描述--text_promptNone文本提示用于3D生成--image_promptNone图像路径用于3D生成--t2i_seed0文本生成图像的随机种子--t2i_steps25文本生成图像的采样步数--gen_seed03D生成的随机种子--gen_steps503D生成的采样步数--max_faces_num900003D网格的最大面数限制--save_memoryFalse文生图将自动移至CPU--do_texture_mappingFalse将顶点阴影更改为纹理阴影--do_renderFalse是否渲染GIF 6. 预设脚本 项目还提供了以下快捷脚本来帮助用户快速执行不同配置的任务 bash scripts/text_to_3d_demo.sh # 文本生成3D的示例脚本 bash scripts/text_to_3d_fast_demo.sh # 快速文本生成3D的示例脚本 bash scripts/image_to_3d_demo.sh # 图像生成3D的示例脚本 bash scripts/image_to_3d_fast_demo.sh # 快速图像生成3D的示例脚本 注意运行这些示例脚本通常需要约40GB的显存。 7. 使用 Gradio 进行交互操作 项目提供了基于 Gradio 的 Web 界面方便用户进行交互式操作。 标准版更好的生成效果
python3 app.py 轻量版更快的生成速度
python3 app.py --use_lite 运行后可通过 http://0.0.0.0:8080 访问Web界面。请将 0.0.0.0 替换为您的服务器IP地址。 8. 摄像机参数 输出视图固定为一组摄像机姿势默认视角设置如下
方位角 相对于输入视角Azimuth (relative to input view)0度60度120度180度240度300度。 七、Gradio界面使用教程 Text to 3D 1. Text to 3D功能介绍
Text to 3D将输入的文字描述转换为3D模型。
2. 输入选项
Input text输入描述3D模型的文字。例如“一只黑白相间的熊猫在白色背景上居中坐着呈现出卡通风格和可爱氛围”。这会生成一个符合描述的3D模型。
3. 参数设置
T2I seed用于文字转图像的随机种子。数值的变化会导致生成的图像略有不同。默认值为 0但如果结果不理想可以尝试更改此值。T2I step生成文字到图像时的步数。步数越多生成的图像质量可能越高但生成时间也会更长。默认值是 25。Gen seed用于图像到3D模型的随机种子。默认值为 0但如果结果不满意可以更改此值。Gen step生成3D模型时的步数数值越高生成的细节可能越多默认是 50。Max number of faces控制生成3D模型的面数。默认值是 90000较高的面数会带来更精细的模型但处理速度可能会变慢。
4. 导出选项
Texture mapping勾选后生成的3D模型会包含纹理贴图更加逼真。Render gif勾选后会导出一个 .gif 动态图片展示3D模型的多角度视图。
5. 输出格式
Multi views多角度视图预览。Obj生成 .obj 格式的3D模型文件。Glb生成 .glb 格式的3D模型文件适合Web应用。GIF导出 .gif 动态图片展示模型的360度视图。rembg image移除背景图像。
Image to 3D 1. Image to 3D功能介绍
Image to 3D将输入的图像转换为3D模型。您可以上传一张图像例如某个物体的图片系统将尝试生成相应的3D模型。
2. 输入选项
Input image在这里上传要转换为3D模型的图像。
3. 参数设置
Gen seed用于生成3D模型的随机种子。数值的变化会影响生成的模型略有不同。如果对结果不满意可以更改这个值默认是 0。Gen step生成3D模型时的步数数值越高生成的模型可能更精细默认是 50。Max number of faces控制生成3D模型的面数。默认值是 90000较高的面数可以带来更细致的模型但处理速度可能变慢。
4. 导出选项
Texture mapping勾选后生成的3D模型会包含纹理贴图使模型更真实。Render gif勾选后会导出一个 .gif 文件以动态方式展示生成的3D模型。
5. 输出格式
rembg image移除图像的背景。Multi views展示生成的3D模型的多角度视图。Obj导出为 .obj 格式的3D模型文件。Glb导出为 .glb 格式的3D模型文件更适合Web应用。GIF导出 .gif 动态文件展示模型的多角度视图。
