3D 生成重建011-LucidDreamer 優化SDS過平滑結果的一種探索

---

0論文工作

文本到3D生成的最新進展標志著生成模型的一個重要里程碑，為在各種現實場景中創建富有想象力的3D資產打開了新的可能性。雖然最近在文本到3D生成方面的進展顯示出了希望，但它們在渲染詳細和高質量的3D模型方面往往不足。這個問題特別普遍，因為有許多方法都可以使用蒸餾取樣（SDS）。本文指出了SDS的一個明顯缺陷，即它給三維模型帶來了不一致和低質量的更新方向，導致了過度更新平滑作用為了解決這個問題，我們提出了一種新的方法，稱為間隔分數匹配（ISM）。ISM采用確定性擴散軌跡，并利用基于區間的分數匹配部分過度平滑。此外，我們將**三維高斯濺（3D GS）**合并到我們的文本到三維生成管道中。大量的實驗表明，我們的模型在很大程度上優于最先進的技術質量和培訓效率。
LucidDreamer 旨在解決從文本提示生成高保真三維形狀的挑戰。該論文指出了現有文本到三維方法的關鍵局限性，特別是它們難以在樣本質量和多樣性之間取得平衡。LucidDreamer 以區間得分匹配 (ISM) 為中心的新方法，用于三維生成的擴散模型，從而緩解了這些問題。實際上這種sds相減在magic123和sparsefusion等3d生成都用了相似的技巧，只不過不同作者選擇了不同的解釋角度。甚至在紋理生成也使用了類似技巧。

1論文方法

1. 現有方法存在的問題：
   多樣性有限： 許多文本到三維模型優先考慮生成與文本一致的合理形狀，這通常會導致多樣性低和輸出重復。
   質量和多樣性之間的權衡： 在高保真度細節和生成形狀的廣泛性之間取得平衡是一項重大挑戰。
   下圖是論文的結構圖，可以發現論文的結構上與SDS優化流派的方法保持一樣的結構，一個3d表示，渲染新視圖，SDS優化。不同的是論文是早期使用3d gaussian splatting表示的方法。另外論文使用了DDIM和ISM等不同處理。
   此外論文用一個圖對SDS過平滑進行一個可視化。簡單來說，多次的降噪就是在對不同降噪結果直接求了平均，會導致過平滑。
   

2. LucidDreamer 的解決方案：
   a) 區間得分匹配 (ISM)： 這是 LucidDreamer 創新的核心。 ISM 為訓練用于三維形狀生成的擴散模型提供了一種新方法。

• 核心理念： ISM 不是直接預測噪聲數據分布，而是側重于學習數據兩個擾動版本之間的差異（得分）。這允許更有效的訓練并更好地捕獲底層數據流形，從而生成更高質量的樣本。
• 工作原理：
  1. 使用不同的噪聲級別對目標三維形狀的兩個噪聲版本進行采樣。
  2. 訓練擴散模型以預測這兩個噪聲版本之間的得分（矢量差）。
  3. 在生成過程中，模型通過迭代應用學習到的得分信息來逐漸對隨機三維形狀進行去噪。
     b) 用于文本引導生成的得分蒸餾： 為了使用文本提示引導生成過程，LucidDreamer 使用了得分蒸餾。
• 訓練文本到得分網絡： 訓練一個單獨的網絡將文本描述映射到相應的三維形狀得分。該網絡充當文本域和三維形狀域之間的“翻譯器”。
• 引導生成： 在生成過程中，來自文本到得分網絡的得分會影響擴散過程，確保生成的三維形狀與給定的文本提示一致。為了克服多面問題，論文還插入一個3d先驗模塊。

3. LucidDreamer 的優勢：
   高保真生成： 通過利用 ISM，LucidDreamer 可以生成具有令人印象深刻的細節和真實感的三維形狀。
   增強的多樣性： 與現有方法相比，使用 ISM 有助于生成更廣泛的多樣化形狀，解決了輸出重復的問題。
   有效的文本引導： 得分蒸餾方法使模型能夠有效地整合文本信息，確保生成的三維形狀與輸入提示之間語義一致。
   此外論文用一個圖對SDS過平滑進行一個可視化。簡單來說，多次的降噪就是在對不同降噪結果直接求了平均，會導致過平滑。

2 效果