概述
具身智能的發展離不開高質量、多樣化的可交互3D仿真環境。為突破傳統構建方式的瓶頸，我們提出了EmbodiedGen，一個基于生成式AI技術的自動化3D世界生成引擎，助力低成本、高效率地創建真實且可交互的3D場景。用戶僅需輸入任務定義或場景圖像，即可自動化生成多樣化、可交互的3D世界。EmbodiedGen代碼已開源并上線Hugging Face服務，歡迎大家關注使用。
? GitHub代碼**：**
https://github.com/HorizonRobotics/EmbodiedGen
? 技術報告：
https://arxiv.org/abs/2506.10600
? 項目主頁：
https://horizonrobotics.github.io/robot_lab/embodied_gen
總體框架
為了解決傳統機器人仿真環境因高度依賴人工建模，所導致的高成本、低效率瓶頸，我們提出EmbodiedGen，面向具身智能的可交互3D世界的生成式平臺。系統通過多模態Agent (Scene Designer) 智能解析用戶輸入的場景圖像或任務文本描述，自動化生成符合交互規則與任務流程的結構化布局 (Scene Graph) ，實現高度定制化的場景設計。基于布局藍圖智能調用資產生成模塊，高效生成物理合理的多樣性3D資產：圖像生成3D（從圖像生成物理真實的3D資產），文本生成3D（從自然語言生成3D資產），活動關節物體生成（從雙狀態圖像生成可活動的3D資產），紋理生成編輯（多風格的3D紋理生成與編輯），場景生成（多樣化3D環境背景生成）。最終輸出高保真的可交互3D世界，為機器人感知-決策-執行閉環提供物理精確的仿真環境。
單圖生成物理真實3D資產賦能高保真數字孿生
核心能力：
- 生成的3D資產具有業界領先的幾何質量，真實物理屬性、水密性與簡化網格，可無縫導入多種仿真器中使用；
- 自動標注語義與質檢標簽，包括資產描述、紋理美學打分、前景提取質量檢驗與幾何質量校驗等；
- 消除紋理高光，結合法線信息多視角融合，輸出2K分辨率紋理，細節更精致。
自然語言生成3D資產資產庫規模化低成本構建
核心能力：
- 支持通過自然語言描述（中&英）生成具備語義一致性、物理真實性的3D資產；
- 通過Agent系統智能拆解復雜生成需求（如“生成100種風格的杯子”）為不同的風格與形狀描述，并通過質檢標簽自動篩選出視覺效果美觀并且物理幾何合理3D物體資產。
活動關節物體生成雙狀態圖像構建可活動3D資產
核心能力：
- 支持櫥柜、抽屜等常見活動關節物體的生成，捕捉幾何結構的同時建模部件之間的連接關系與運動行為；
- 采用擴散模型實現高質量的可控生成，通過雙狀態消除運動歧義，準確建模物體的關節關系；
- 輸出的3D物體資產具備物理合理性，適用于交互式仿真環境中的操作與交互，詳見我們發表的另一篇工作 DIPO。
紋理生成與編輯3D資產視覺風格化增廣
核心能力：
- 支持以3D網格和文本描述為輸入，生成語義一致、幾何視角一致的高質量2K分辨率紋理；
- 采用可插拔的可學習模塊，將社區文生圖基礎模型能力遷移到3D紋理生成，最小化再訓練成本；
- 輸出資產紋理清晰、風格豐富，具備真實感與藝術表現力，支持3D文字紋理生成。
多樣性場景生成幾何一致的背景3D資產
核心能力：
- 自然語言或圖像輸入，生成語義一致、結構合理、尺度真實的3D場景資產；
- 良好的可擴展性，主要包括全景圖像生成、3D場景生成&迭代補全與尺度坐標對齊三個模塊；
- 輸出場景包含3D網格與3DGS兩種表達，可作為機器人仿真中的背景資產。
任務驅動的布局生成構建可交互3D世界藍圖
核心能力：
- 支持輸入自然語言任務描述（如"Franka robotic arm picks shoes"）或圖片，一鍵生成語義合理、結構完整的3D可交互世界；
- 采用多叉樹結構表達3D世界布局藍圖，節點為3D資產描述，邊表示父子從屬關系與空間布局關系；
- 利用LLM實現低代碼布局搭建，結合物理引擎求解穩態位姿，確保物理可行與交互合理。
具身智能應用
EmbodiedGen以生成式AI重構3D世界構建范式，低成本生成幾何精確、渲染真實的仿真資產（網格+3DGS混合表示），可快速導入仿真引擎，支撐機器人感知-決策-執行全流程閉環，賦能仿真數據生成與算法閉環評測等核心應用，包括以下具體示例：
通過EmbodiedGen構建物理精確數字孿生，在MuJoCo仿真環境中進行動態交互仿真。
通過EmbodiedGen生成待評測3D資產，并在Isaac中對操作模型性能進行仿真評測。
通過EmbodiedGen編輯物體紋理，生成多樣性場景，對RoboTwin搭建的操作任務進行數據資產增廣。
通過EmbodiedGen生成3D物體資產，用于OpenAI Gym中的導航及避障任務仿真。
總結與展望
EmbodiedGen通過整合圖像、文本等多模態輸入，打通從單體資產生成到物理真實的可交互式3D世界構建的全流程。模塊化設計與生成式AI的深度融合，提高具身智能數據獲取效率與仿真環境多樣性。未來，EmbodiedGen將作為開放平臺持續演進，助力通用智能體的開發與評測，推動具身智能從研究走向應用落地。
致謝
EmbodiedGen涉及以下出色的開源模型和項目：
[1] Jianfeng Xiang, et al. TRELLIS: Structured 3D Latents for Scalable and Versatile 3D Generation. arXiv preprint arXiv:2412.01506.
[2] Tencent Hunyuan3D Team. Hunyuan3D?Delight?v2.0 Model Card, 2025.
[3] Wu Ruiqi, et al. DIPO: Dual-state images controlled articulated object generation powered by diverse data. arXiv preprint arXiv:2505.20460, 2025.
[4] Kirillov Alexander, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023.
[5] Daniel Gatis, et al. Rembg: A tool to remove images background. 2022.
[6] Xintao Wang, et al. Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data. ICCVW, 2021.
[7] Kolors Team. Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis.
[8] Guo Pu, et al. Pano2Room: Novel View Synthesis from a Single Indoor Panorama. SIGGRAPH Asia 2024.
[9] Feng Mingyuan, et al. Diffusion360: Seamless 360 Degree Panoramic Image Generation based on Diffusion Models. arXiv preprint arXiv:2311.13141, 2023.
[10] Stability AI. Stable Diffusion 3.5 Medium. 2024.
[11] Eftekhar Ainaz, et. Omnidata: A Scalable Pipeline for Making Multi-Task Mid-Level Vision Datasets from 3D Scans. ICCV 2021.
[12] Qwen2.5-VL team. Qwen2.5-VL Technical Report. arXiv preprint arXiv:2502.13923. 2025.
ar Ainaz, et. Omnidata: A Scalable Pipeline for Making Multi-Task Mid-Level Vision Datasets from 3D Scans. ICCV 2021.
[12] Qwen2.5-VL team. Qwen2.5-VL Technical Report. arXiv preprint arXiv:2502.13923. 2025.
[13] OpenAI. GPT-4o https://openai.com/index/hello-gpt-4o 2024.
 的優雅之道》)
