3D 生成重建014-Bidiff使用二維和三維先驗的雙向擴散

---

0 論文工作

大多數三維生成研究集中在將二維基礎模型向上投影到三維空間中，要么通過最小化二維評分蒸餾采樣（SDS）損失，要么通過對多視圖數據集進行微調。由于缺乏顯式的三維先驗，這些方法經常導致幾何異常和多視圖不一致。近來研究人員試圖通過直接在三維數據集上進行訓練來改善三維物體的質量，其代價是生成的紋理質量較低，因為三維數據集中有限的紋理多樣性。為了利用這兩種方法的優勢，作者提出了雙向擴散（BiDiff），這是一個同時包含3D和2D的統一框架擴散過程中，二者分別服務于三維保真度和二維紋理豐富度。此外，由于一個簡單的組合可能會產生不一致的生成結果，論文用bidiff把他們連接起來。
這篇論文旨在解決當前文本到三維生成方法的局限性，特別是幾何異常和多視角不一致的問題，并提出一種名為 BiDiff (Bidirectional Diffusion) 的新方法，以生成高質量、細節豐富且三維一致的模型。
其實這個地方已經可以看到SyncDreamer和SyncMVD的味道了

1 論文方法

BiDiff 的核心思想是將預訓練的二維和三維擴散模型結合起來，并利用雙向引導機制來同步兩個擴散過程，從而學習一個聯合的二維和三維先驗。

1方法概述:
混合表示: 使用 SDF (Signed Distance Field) 表示三維特征，使用多視角圖像表示二維特征。
雙向擴散: 分別訓練一個三維擴散模型和一個二維擴散模型，并通過雙向引導機制進行聯合微調。
二維引導三維: 將二維擴散模型去噪后的多視角圖像投影到三維空間，引導三維擴散模型的去噪過程。
三維引導二維: 將三維擴散模型去噪后的 SDF 渲染成多視角圖像，引導二維擴散模型的去噪過程。
2. 優勢:
高質量紋理: 利用預訓練的二維擴散模型，BiDiff 可以生成比僅使用三維數據集訓練的模型更豐富的紋理細節。
三維一致性: 通過雙向引導機制，BiDiff 確保了生成的三維模型在不同視角下的一致性。
可控性: BiDiff 可以分別控制紋理和幾何形狀的生成，例如，在保持形狀不變的情況下改變紋理，或在保持紋理風格不變的情況下改變形狀。
高效性: 相比于基于優化的文本到三維生成方法，BiDiff 的生成速度更快。
3. 其他特點:
利用三維先驗: BiDiff 使用 Shap-E 作為三維先驗，并引入噪聲以避免過度依賴先驗模型。
與優化方法結合: BiDiff 的輸出可以作為優化方法的初始化，進一步提升模型質量和效率。
4. 額外的分析：
創新性: BiDiff 的創新性主要體現在雙向引導機制，它有效地將二維和三維擴散過程結合起來，并利用兩個先驗模型的優勢。
局限性: 論文中沒有與其他最新的文本到三維生成方法進行詳細的比較，例如DreamFusion, ProlificDreamer等。
未來方向: 可以探索更強大的二維和三維擴散模型，以及更有效的引導機制，進一步提升生成質量和效率。

2 效果