一、應用介紹
- 單圖轉3D網格:輸入一張角色圖,能輸出基本成型的3D Mesh,還自帶UV展開和貼圖輸出,可直接導入到Blender等軟件中使用。
- 多視角圖像生成:可以基于算法生成圍繞3D模型的多視角圖像,用于3D模型展示動畫制作、3D重建任務的多視角訓練數據生成等。
- 紋理生成與處理:支持從給定的圖像或模型生成紋理貼圖,也能對已有的紋理進行優化和調整等操作。
- 3D模型優化:提供如網格清理、坐標軸轉換等功能,可刪除無用頂點、自動重建拓撲、輕量化處理模型,還能方便地進行不同坐標系之間的轉換。
- 高斯渲染:利用高斯斑點算法進行渲染,生成帶有模糊效果的多視角圖像,模擬真實光線散射,可用于模擬真實光照條件下的3D場景或為模糊視覺任務生成訓練數據。
二、與傳統方法對比
對比項目 | 傳統3D制作方法 | ComfyUI-3D-Pack |
---|---|---|
制作流程 | 通常需在多個專業軟件間切換,如建模在3ds Max或Maya中,紋理繪制在Substance Painter等軟件,流程復雜 | 在ComfyUI一個平臺內,通過節點連接完成大部分操作,流程簡潔直觀 |
技術門檻 | 需要掌握多個軟件的操作技巧和3D知識體系,學習成本高 | 以節點化操作和可視化界面為主,降低了對復雜軟件操作和3D理論的要求 |
單圖轉3D | 單張圖片難以直接生成可用的3D模型,可能需手動建模 | 可直接將單張圖片轉換為帶有UV和紋理的3D網格模型 |
多視角成像 | 生成多視角圖像需設置復雜的相機參數和渲染參數,手動調整工作量大 | 可通過特定節點自動生成環繞模型的多視角圖像序列,參數設置簡單 |
模型優化 | 修復和優化模型需使用專門的修復工具,操作相對繁瑣 | 有專門的節點進行網格清理、坐標軸轉換等,操作便捷且支持批處理 |
三、插件下載地址和安裝方法
- 下載地址:https://github.com/MrForExample/ComfyUI-3D-Pack
- 安裝方法(以Windows系統為例)
- 打開命令提示符,進入想要安裝的目錄。
- 執行命令
git clone https://github.com/MrForExample/ComfyUI-3D-Pack
下載插件。 - 進入下載后的ComfyUI-3D-Pack目錄。
- 如果是便攜包安裝,執行
..\..\..\python_embeded\python.exe install.py
和custom_nodes\ComfyUI-3D-Pack>..\..\..\python_embeded\python.exe -m pip install -r requirements.txt
四、需要的模型及下載地址
- TripoSR:https://huggingface.co/stabilityai/TripoSR
- 3DTopia/LGM:https://huggingface.co/3DTopia/LGM
- VAST-AI-Research/TriplaneGaussian:https://huggingface.co/VAST-AI-Research/TriplaneGaussian
五、插件包含的節點名稱
部分節點如下:
Preview_3DGS
Preview_3DMesh
Load_3D_Mesh
Load_3DGS
Fast_Clean_Mesh
Switch_3DGS_Axis
Switch_Mesh_Axis
Convert_3DGS_To_Pointcloud
Convert_Mesh_To_Pointcloud
Stack_Orbit_Camera_Poses
Get_Camposes_From_List_Indexed
Mesh_Orbit_Renderer
Gaussian_Splatting_Orbit_Renderer
Gaussian_Splatting_3D
Fitting_Mesh_With_Multiview_Images
六、關鍵插件參數用途和推薦值
- Stack_Orbit_Camera_Poses節點
- 環繞半徑:控制相機環繞目標的距離,值越大,相機離目標越遠,視角越廣。推薦值根據模型大小和想要的效果而定,一般在1-5之間。
- 角度范圍:決定相機環繞的角度區間,如0-360表示完整環繞一圈。根據需要展示的視角范圍設置,若只需要展示180度范圍,可設置為0-180。
- 步長:影響生成的相機位姿數量,步長越小,位姿越多,生成的多視角圖像越密集。推薦值為5-10。
- Gaussian_Splatting_Orbit_Renderer節點
- 高斯分布強度:控制高斯模糊效果的明顯程度,值越大,模糊效果越強烈。推薦值在0.5-2之間。
- 高斯分布范圍:決定高斯斑點的覆蓋范圍,范圍越大,渲染的效果越柔和。推薦值根據模型大小和場景需求設置,一般在10-50之間。
七、模型工作流參考案例
三平面高斯變換器:VAST-AI-Research/TriplaneGaussian
VAST-AI-Research
TripoSR:VAST-AI-Research/TripoSR | ComfyUI-Flowty-TripoSR
TripoSR
大型多視圖高斯模型:3DTopia/LGM
3DTopia
八、總結
ComfyUI-3D-Pack是一款功能強大的ComfyUI插件,為用戶提供了從2D圖像到3D內容創作的便捷途徑,涵蓋了從模型生成、優化到多視角成像和高斯渲染等一系列功能。相比傳統3D制作方法,大大降低了技術門檻和制作成本,提高了創作效率。無論是想快速生成3D模型概念草模的設計師,還是為3D重建任務準備數據的研究人員,亦或是制作3D展示動畫的視頻創作者,都能從該插件中獲得價值。通過簡單的節點連接和參數調整,即可實現復雜的3D創作任務,是ComfyUI用戶進行3D內容創作的得力工具。