標題:《GenFusion: Closing the Loop between Reconstruction and Generation via Videos》
來源：西湖大學；慕尼黑工業大學；上海科技大學；香港大學；圖賓根大學
項目主頁：https://genfusion.sibowu.com
文章目錄
- 摘要
- 一、前言
- 二、 Reconstruction-driven Generation
- 三、 Cyclic Fusion 循環融合
- 四、實驗
- 4.1 實驗設置
- 4.2 視頻生成
- 4.3 視圖插值
- 4.4 視圖外推
- 總結
摘要
??最近，3D重建和生成展示了令人印象深刻的新型視圖合成結果，實現了高保真度和高效性。然而，在這 兩個領域之間可以觀察到顯著的條件差距 ，例如，可擴展的3D場景重建通常需要密集捕捉的視圖，而3D生成則通常依賴于單個或沒有輸入視圖，這極大地限制了它們的應用。原因在于3D約束與生成先驗之間的不匹配。為了解決這個問題，我們 提出了一種重建驅動的視頻擴散模型，該模型學習講易產生偽影的RGB-D渲染圖像作為視頻幀的條件 。此外，我們 提出了一種循環融合管道（cyclical fusion pipeline），迭代地將生成模型的修復幀添加到訓練集中，逐步擴展并解決先前重建和生成管道中出現的視角飽和問題 。評估實驗包括稀疏視角和mask輸入的視圖合成，驗證了方法有效性。
一、前言
?? 生成3D資產是計算機視覺和計算機圖形學中的基礎任務，在增強現實/虛擬現實、自動駕駛和機器人技術中有著廣泛的應用。最近，神經輻射場(NeRF [36]，Mildenhall等人于2020年）和高斯噴射(GS [27]，Kerbl等人于2023年）的進展使得高保真3D場景重建和新穎視圖合成成為可能。這些方法使用MLP或高斯基元來表示場景，并通過光度損失優化3D表示。然而，這一系列工作繼承了一個關鍵限制：忠實重建依賴于豐富的視角覆蓋；未充分觀察到的區域或視角可能導致顯著的偽影或缺失內容。
?? 這主要是因為從多視角圖像重建NeRF或GS本質上是欠約束的，因為輸入圖像可能存在無數個照片一致性解釋[41,64]。因此，即使提供了密集且高質量捕捉的圖像[47]，重建模型也傾向于生成“漂浮物”或“背景塌陷”偽影，以模擬視圖依賴效應。這一觀察結果激發了一系列正則化技術來約束神經場訓練，包括稀疏正則化器[22,57]、平滑損失[37,56,63]和單目幾何線索[62]。例如，ReconFusion [49]通過在新穎的隨機相機姿態與由PixelNeRF風格圖像擴散模型預測的圖像之間引入樣本損失，來正則化基于NeRF的3D重建流程，在稀疏設置下顯著提升了性能。
?? 相比之下，前饋重建方法[5,6,10,14,58,61]直接從數據集中學習歸納偏置。盡管最近的技術進步使得可以從單張圖像進行三維重建，但現有的前饋重建方法在處理超過4-8張圖像時表現出性能飽和。這一限制主要源于傳統前饋網絡在有效聚合和利用多視角信息方面的架構約束。同時，生成方法展示了無需多視角捕捉即可獲得3D資產的潛力。利用大規模數據集和可擴展架構，像Stable Diffusion（SD）這樣的模型在圖像和視頻生成方面取得了顯著進展[3,21,23]。最近的研究將這些方法應用于生成3D資產。例如，DreamFusion [39]引入了Score Distillation Sampling（SDS），使用預訓練的2D文本到圖像擴散模型進行文本到3D的合成，而另一條研究線[4,30,60]則通過逐步in/out painting 分層深度圖像來探索單視角場景外推。
?? 盡管在三維重建和生成方面取得了進展，但一個顯著的條件差距仍然存在：可擴展的三維重建通常需要密集的視圖覆蓋，而生成方法往往僅使用單個或甚至沒有輸入視圖。我們的論文探討了如何以可擴展的方式使三維重建和生成相互補充，從而放寬對輸入視圖數量的限制。
??GenFusion核心是一個簡單且可擴展的基于重建的視頻生成架構，能夠從易產生偽影的渲染圖中預測出逼真的視頻。??其目標是構建無偽影的3D場景，并通過條件視圖{ I i I_i Ii?} ( i > = 1 ) (i >= 1) (i>=1)進行內容增強。核心思想是通過視頻渲染來對齊3D重建和生成。此方法中，3D重建和生成相互促進形成良性循環：重建過程，迭代利用生成模型的信息以提高重建質量；同時，更準確的重建結果有助于生成模型 產生更加真實和一致的內容。這種雙向增強機制形成了一個正反饋回路。
??預訓練階段目標：訓練一個擴散模型，從大規模場景中學習。（該模型已從易產生偽影的3D重建的渲染上進行了預訓練）。具體來說，通過最大化（從mask輸入生成完整圖像）的期望對數似然，來訓練生成模型 G φ G_φ Gφ?：
其中， R θ R_θ Rθ?表示重建和渲染函數（如NeRF或3DGS)， I ~ \tilde{I} I~ 表示mask后的真實圖像。為了使生成過程具有三維感知能力，視頻擴散模型以帶偽影的渲染視頻 R θ ( I ~ ) R_θ(\tilde{I}) Rθ?(I~)為條件，來學習捕捉圖像的底層分布。
??公式1的拓展：通過視頻擴散模型優化三維場景表示 θ θ θ，該表示同時受輸入圖像條件和新場景生成視頻的指導。具體采用最大化 (3D渲染器渲染的k+1新視圖) 與 (擴散模型基于當前k幀的渲染圖像生成的下一幀預測) 之間的L2誤差，因此三維表示的梯度從光度損失中傳播（k 表示iteration索引）：
二、 Reconstruction-driven Generation
?? 基于mask的3D重建 。 我們現在討論如何在開放世界的大型視頻重建范式中學習新穎視角的泛化能力。給定場景的視頻片段，一種直接的方法是均勻間隔地降采樣幀或在輸入序列的中點分割為訓練/測試段以進行場景重建，然后從測試相機視角渲染重建的場景以生成易產生偽影的數據。將渲染序列和原始視頻片段隨后作為視頻擴散模型訓練的輸入和輸出對。然而，我們觀察到這些采樣方案將模型限制在視圖插值或純生成上。具體來說，場景通常被采樣的視圖完全覆蓋，目標視圖位于這些視圖附近，而另一種方法往往導致訓練段中的大部分內容未被看到。 我們的工作旨在學習正則化，并在顯著偏離捕捉軌跡的路徑中生成新內容。
??為此，我們提出了一種 掩碼3D重建技術，從空間和時間維度的觀測中獲取受損的3D場景，然后渲染整個輸入序列的圖像，來生成訓練數據集 。具體來說，我們將輸入圖像捕捉分為4個規則且不重疊的區域，即左上、右上、左下和右下，如圖3所示。然后我們對每個場景的左上或右下區域進行采樣，并遮住（即移除）其余三個區域。所采樣的補丁序列用于通過標準方法進行三維重建，即二維高斯噴射（2DGS）。mask區域在同一場景中相同，迫使重建過程具有有限的視圖覆蓋范圍。實際上，由于我們在訓練中使用了開放世界的大型視頻序列capture I I I，這進一步增加了稀疏性?視圖僅在軌跡上密集，但在角度覆蓋上極其稀疏?與標準多視圖數據集如Mip-NeRF 360 [1]不同。
??掩碼重建：沿著與輸入相同的相機位姿渲染更大視圖的視頻，以形成真實和重建的圖像對，用于SVD訓練。我們的見解是， 從掩碼圖像中重建模擬了一個視野較窄的相機，需要從偏離當前視角的視圖中推斷出掩碼外的上下文，這促進了視圖外推 。此外，渲染到全視圖引入了不受約束的區域，背景廣泛為黑色，有助于內容外填充。
?? 視頻擴散模型 。具體采用預訓練的DynamiCrafter [52]（圖像到動畫模型）的基礎上構建視頻生成模型，通過在生成過程中融入幾何信息來增強幀一致性。其中，將預訓練的RGB-D VAE替換base模型中的VAE，來整合深度信息；編碼器和解碼器分別表示為𝓔和 D D D。訓練時，真實RGBD視頻 I R G B ? D I_{RGB?D} IRGB?D?被編碼到潛在空間 z : = z:= z:=𝓔 ( I R G B ? D ) (I_{RGB?D}) (IRGB?D?)，在不同的時間步 t t t 中加入噪聲，從而獲得 z t z_t zt?。為生成提供兩個條件：首先，編碼有偽影的RGB-D視頻 I R G B ? D ′ I'_{RGB?D} IRGB?D′?，并逐幀加入初始噪聲，作為序列的條件，利用視覺細節影響生成過程；此外，選擇最接近渲染軌跡的輸入視圖，并將對應的真實圖像嵌入為CLIP特征，提供高層次的整體場景信息。視頻去噪網絡%?_θ%優化為：
通過預訓練的VAE解碼器 V ^ = D ( z ) \hat{V}= D(z) V^=D(z) [44]，refined latent 解碼成最終的RGB-D視頻。
??
三、 Cyclic Fusion 循環融合
??我們基于2DGS來融合三維重建和視頻擴散的輸出，使用多個面向二維的平面高斯圓盤來表示三維場景。高斯圓盤通過中心位置 p ∈ R 3 × 1 p∈R^{3×1} p∈R3×1、不透明度（尺度） α ∈ [ 0 , 1 ] α∈[0,1] α∈[0,1]、兩個主切向量 t u t_u tu?和 t v t_v tv?用于方向、calling vector S = ( s u , s v ) S=(s_u,s_v) S=(su?,sv?) 以及球諧重構生成（SH）系數進行參數化。
??融合。按照原始3DGS方法初始化高斯及屬性，并根據渲染損失端到端地更新高斯。優化過程是重建和生成的循環，同時利用輸入條件和新生成的視圖監督高斯。具體來說，每K次迭代首先生成新軌跡，基于當前的重建渲染RGB-D視頻；然后將渲染序列輸入到SVD中，生成無偽影的視頻，并添加到監督集中，如圖2。循環過程能夠在觀察不足的區域進行偽影校正，并為在輸入視圖中不可見的區域生成新內容。
??其中，我們發現新的軌跡采樣是最關鍵的組成部分。為了確保全面的視角和角度覆蓋，我們采用了兩種類型的軌跡：鄰近輸入視圖之間的視角插值和在所有輸入相機姿態之間生成的螺旋/球形路徑（spiral/spherical path）。
??內容擴展。大型未觀察區域在采樣軌跡遠離輸入視圖時，可能會表現為黑色或噪點像素。盡管我們使用生成輸出作為這些區域的監督，但由于周圍沒有高斯分布，我們將新的高斯[27]拆分和克隆變得非常困難。我們通過在優化過程中自適應地向場景中添加新的高斯點來解決這個問題，使用了 unreliable depth-based mapping。像素滿足以下公式時，被認定是 unreliable :
其中， T T T是累積不透明度， D D D和 D ^ \hat{D} D^分別是渲染深度和對齊的生成深度。 τ T τ_T τT?和 τ D τ_D τD?是閾值。
??對于這些不可靠的區域，我們將生成的RGB-D點反投影到三維空間中來添加新的高斯，類似于初始化階段。注意，對于新添加的高斯，位置和顏色值直接從RGB-D視頻中獲得，而其他屬性則按照2DGS初始化。
??損失函數。在Cyclic Fusion過程，凍結SVD，并使用渲染的RGB-D圖像和輸入（ L r e c o n L_{recon} Lrecon?)以及生成視圖( L g e n L_{gen} Lgen?)之間的簡單光度損失，對3D表示進行端到端優化。
L m o n o L_{mono} Lmono?是一種尺度不變的深度損失，如[Monosdf]所使用的，它強制渲染深度 D ^ \hat{D} D^?與SVD預測的單目深度 D D D之間的一致性。生成損失 L g e n L{gen} Lgen共享組件，但應用于生成的圖像。
??為了穩定優化過程，使用正弦warm-up及退火策略來生成損失權重 λ λ λ，其定義為：
四、實驗
4.1 實驗設置
??訓練集：訓練擴散模型的數據集為DL3DV- 10K [34]，包含10,510個視頻，140個基準場景。使用3.1節介紹的掩碼3D重建方案，每個場景優化7,000步。為了確保足夠的稀疏性，每個視頻的訓練視圖數量均勻降采樣至四分之一，并以960×540的分辨率沿原始軌跡渲染重建場景，同時使用當前的SOTA單目深度估計器Depthcrafter[24]增強數據集的深度信息。評估數據集：DL3DV-Benchmark [34]的24個場景、Tanks and Temples（TnT）[28]的7個場景以及來自Mip-NeRF360 [1]數據集的9個場景。
??實施細節：采用DynamiCrafter [52]作為SVD的主干，并在偽影-GT RGB-D視頻對上微調模型。微調過程包括粗調和精調兩個階段：在粗調階段，視頻分辨率設置為16×320×512×4，潛在空間維度為16×40×64×4。我們在四塊H100 GPU上以 1 × 1 0 ? 5 1×10^{?5} 1×10?5的學習率和2的批量大小訓練此階段30K步。然后，模型在精調階段進一步微調至更高的分辨率16×512×960×4，再訓練34K步。為了處理RGB-D格式，我們使用了來自LDM3D [44]的凍結RGB-D VAE。在推理過程中，我們應用DDIM采樣，步數為25，并將無分類器引導尺度設置為3.2。
??對于零樣本泛化，我們使用2DGS作為三維表示，并用COLMAP點云初始化。在我們的實驗中，視圖被屏蔽，幀被下采樣；我們過濾并僅保留從訓練視圖可見的點，用于點云初始化。
4.2 視頻生成
??本文介紹的基于重建的視頻擴散架構，能夠實現新視角的正則化和內容生成。表1中報告了VAE的設計及其對視頻分辨率的影響，使用RGB-D VAE微調的模型在FID得分上優于RGB VAE（盡管擴散主干最初是在RGB VAE潛在空間上預訓練的）。當空間分辨率從512×320增加到960×512時，可以觀察到顯著的改進。圖4中展示了擴散模型的可視化結果：有效地去除了輸入視頻中的“漂浮物”，同時在黑色像素區域生成逼真的內容。
??
??
4.3 視圖插值
??目標場景完全被輸入視圖覆蓋，測試視圖介于輸入之間——這是先前正則化評估中的常見設置。我們使用3、6和9個輸入視圖，在Mip-NeRF 360測試集上將我們的方法與之前的正則化技術進行了比較，如表2所示。
??結果表明，我們的方法在新穎視角合成方面比3DGS和2DGS基線以及最近的FSGS取得了顯著優勢。值得注意的是，高斯噴濺訓練難度通常高于NeRF，尤其是在稀疏視角設置下。我們大幅縮小了這一差距，并首次證明，在稀疏視角設置下的Mip-NeRF360數據集上，高斯噴濺的性能可與最先進的NeRF相媲美。（見表2和圖5）。
4.4 視圖外推
??不同于稀疏視圖，從視頻中生成完整且無偽影的3D場景更實際。視頻沿軌跡提供了密集的采樣，但視角覆蓋高度稀疏。雖然視頻易于捕捉和校準，但對于3D重建來說卻頗具挑戰性，即使使用最先進的重建方法，也容易過度擬合訓練視圖，并在遠離訓練視圖的視角上產生嚴重的偽影，見圖3。因此，我們關注 far field 的新視角合成質量
??為此，我們提出了一種新的評估協議，并重用掩碼重建來模擬遠場渲染，同時保留參考。具體來說，按照不同的時間比例分割訓練/測試集，對視頻序列進行降采樣（例如表3中的1/2和1/4），并選擇覆蓋訓練視角約25%像素塊進行重建；同時在測試視角的全視場進行評估。固定路徑位置可能會導致許多不可見和黑色區域，從而在我們的生成方法中產生偏差，基線在這些區域可能有顯著誤差。為了確保合理的比較，我們為masked path分配了一條軌跡，以提供更完整的內容覆蓋，詳見補充視頻。表3和圖6展示了我們的方法與基線在DL3DV-benchmark和TnT場景上的定量和定性結果。GenFusion憑借擴散模型的強大先驗，顯著提升了渲染質量，有效去除了針狀偽影，并為不可見區域增強了逼真的3D內容。
??
??場景 Completion。此外，GenFusion不僅在3D場景邊界提供內容增強，而且實現了場景級完成，如圖1所示。
總結
??GenFusion，一種新穎的無偽影3D資產生成模型。首先，我們將現有的訓練良好的2D視頻擴散模型進行了最小修改，以驅動強大的3D引導。其次，循環融合實現了可擴展且穩健的3D提升，通過視頻合成高效地閉合了3D重建與生成之間的循環。然而，該方法存在一些局限性：需要額外的去噪步驟，訓練時間略有增加（每個場景約40分鐘）。填充大型不可見區域會導致模糊，因為視頻片段之間存在不一致。在融合模塊中建模并解決這種不一致性將是實現更高質量的關鍵步驟
