摘要：創建具有顯式、可編輯部件結構的三維資產，對于推動交互式應用的發展至關重要。然而，大多數生成方法僅能生成整體式形狀，限制了其實際應用價值。我們提出OmniPart——一種新型的部件感知三維物體生成框架，旨在實現組件間的高度語義解耦，同時保持穩健的結構連貫性。OmniPart創新性地將這一復雜任務分解為兩個協同階段：（1）自回歸結構規劃模塊生成一個可控、可變長度的三維部件邊界框序列，該過程由靈活的二維部件掩碼關鍵性引導，允許在不依賴直接對應關系或語義標簽的情況下，直觀控制部件分解；（2）空間條件校正流模型（該模型由預訓練的整體式三維生成器高效適配而來），在規劃好的布局內同時且一致地合成所有三維部件。我們的方法支持用戶自定義部件粒度、精確定位，并支持多樣化的下游應用。大量實驗表明，OmniPart取得了當前最優的性能，為構建更具可解釋性、可編輯性和通用性的三維內容開辟了道路。Huggingface鏈接：Paper page，論文鏈接：2507.06165
OmniPart: 基于語義解耦與結構連貫性的部件感知三維生成研究總結
一、研究背景和目的
研究背景
隨著視覺計算技術的快速發展，創建豐富、交互式的三維世界已成為現代視覺計算的核心驅動力，廣泛應用于沉浸式游戲、虛擬現實、數字孿生和機器人交互等領域。然而，當前的三維生成模型雖然能夠生成令人印象深刻的三維整體形狀，但這些模型往往缺乏對象內部基于語義的部件結構，即它們生成的是靜態的、整體式的形狀，而非由可編輯、可組合的語義部件構成的三維對象。這種結構上的不透明性極大地限制了這些三維資產在組成編輯、程序動畫、材質分配和語義理解等關鍵任務中的直接應用，而這些任務對于藝術家、開發者和下游系統而言至關重要。
研究目的
本研究旨在解決現有三維生成模型在部件感知生成方面的局限性，提出一種能夠生成具有明確語義解耦和結構連貫性的三維對象的新型框架——OmniPart。具體目標包括：
- 實現部件級的三維生成：通過解耦三維對象的生成過程，使得每個部件可以獨立編輯和控制，提高生成內容的靈活性和可重用性。
- 保持整體結構的連貫性：在實現部件級生成的同時，確保生成的三維對象在整體結構上保持合理和連貫，避免部件之間的幾何不一致。
- 支持多樣化的下游應用：通過生成具有明確部件結構和語義信息豐富的三維對象，支持在動畫制作、虛擬現實、游戲開發等領域的廣泛應用。
二、研究方法
1. 兩階段生成框架
OmniPart采用了一種創新的兩階段生成框架，以實現部件感知的三維生成：
- 可控結構規劃階段：利用自回歸模型生成一個可控的、可變長度的三維部件邊界框序列。這一過程由靈活的二維部件掩碼關鍵性引導，允許用戶在不依賴直接對應關系或語義標簽的情況下，直觀地控制部件的分解。
- 空間條件部件合成階段：基于規劃好的部件布局，使用空間條件校正流模型（該模型由預訓練的整體式三維生成器高效適配而來）同時且一致地合成所有三維部件。該模型確保生成的部件在幾何和語義上保持高質量和一致性。
2. 自回歸結構規劃模塊
該模塊通過逐步生成三維部件的邊界框，實現了對部件分解的直觀控制。具體步驟包括：
- 輸入處理：接收二維圖像和掩碼作為輸入，這些掩碼提供了關于部件位置和形狀的初步信息。
- 邊界框生成：利用自回歸模型，根據輸入圖像和掩碼逐步生成三維部件的邊界框序列。每個邊界框代表一個獨立部件的三維位置和大小。
- 靈活性控制：通過調整二維掩碼的粒度和位置，用戶可以靈活控制部件的分解程度和布局。
3. 空間條件部件合成模塊
該模塊基于規劃好的部件布局，使用空間條件校正流模型生成高質量的三維部件。具體步驟包括：
- 初始化：利用預訓練的整體式三維生成器（如TRELLIS）生成初始的三維潛在表示。
- 空間條件校正：根據規劃好的部件邊界框，對初始潛在表示進行空間條件校正，生成每個部件的獨立潛在表示。
- 部件合成：將校正后的潛在表示解碼為三維網格和紋理，生成高質量的三維部件。
三、研究結果
1. 定量評估結果
在多個基準測試集上進行了廣泛的實驗，包括PartNet、ShapeNet和ModelNet等，以評估OmniPart在部件感知三維生成方面的性能。實驗結果表明：
- 部件級性能：OmniPart在部件級的幾何和語義質量上顯著優于現有方法。具體而言，在Chamfer Distance（CD）和F1-score等指標上，OmniPart實現了更低的誤差和更高的精度。
- 整體對象性能：在整體對象級別上，OmniPart生成的三維對象在結構連貫性和幾何一致性方面也表現出色。與直接生成整體形狀的方法相比，OmniPart能夠生成更完整、更合理的部件幾何形狀，包括邊界和遮擋區域。
2. 定性評估結果
通過可視化比較，進一步驗證了OmniPart在生成高質量三維部件方面的優勢。具體觀察包括：
- 部件獨立性：OmniPart生成的部件在幾何和語義上保持高度獨立，可以單獨編輯和控制。
- 結構連貫性：生成的部件在整體結構上保持合理和連貫，避免了部件之間的幾何不一致和語義沖突。
- 紋理一致性：通過將顏色信息從三維高斯烘焙到網格表面，OmniPart生成了具有一致紋理的三維部件，提高了視覺質量。
3. 下游應用驗證
為了驗證OmniPart在下游應用中的潛力，將其應用于動畫制作、虛擬現實和游戲開發等領域。實驗結果表明：
- 動畫制作：通過編輯和控制生成的部件，實現了更精細的動畫效果，提高了動畫制作的靈活性和效率。
- 虛擬現實：在虛擬現實環境中，OmniPart生成的三維對象提供了更豐富的交互體驗，增強了用戶的沉浸感。
- 游戲開發：在游戲開發中，OmniPart支持快速生成多樣化的游戲角色和道具，降低了開發成本和時間。
四、研究局限
盡管OmniPart在部件感知三維生成方面取得了顯著進展，但仍存在以下局限：
- 邊界框表示的局限性：目前使用軸對齊的邊界框進行結構規劃，這可能導致在某些情況下包含過多的噪聲體素，影響生成質量。
- 訓練數據的依賴性：OmniPart的性能高度依賴于預訓練的整體式三維生成器的質量。如果預訓練模型存在偏差或不足，可能影響OmniPart的生成效果。
- 計算資源的需求：兩階段生成框架需要較高的計算資源，特別是在空間條件部件合成階段，可能限制了其在資源受限環境中的應用。
五、未來研究方向
針對OmniPart的局限性和潛在改進空間，未來研究可以從以下幾個方面展開：
- 優化邊界框表示：探索更精確的邊界框表示方法，如使用定向邊界框或基于體素的表示，以提高結構規劃的準確性和生成質量。
- 減少對預訓練模型的依賴：研究如何減少OmniPart對預訓練整體式三維生成器的依賴，通過自監督學習或遷移學習等方法提高模型的獨立性和泛化能力。
- 降低計算資源需求：優化算法和模型結構，降低OmniPart在空間條件部件合成階段的計算資源需求，使其更適用于資源受限環境。
- 擴展應用領域：探索OmniPart在其他領域的應用潛力，如醫學圖像分析、機器人抓取規劃等，進一步驗證其通用性和實用性。
- 增強用戶交互性：研究如何增強用戶與OmniPart的交互性，如通過自然語言指令或手勢控制等方式，實現更直觀、更靈活的三維生成過程。
總之，OmniPart為部件感知三維生成提供了一種新穎且有效的框架，通過解耦部件生成和整體結構規劃，實現了高質量、可編輯的三維對象生成。未來的研究將進一步優化其性能、擴展其應用范圍，并增強其交互性和實用性。
