輸入3D場景的幾何和一張參考圖像，通過擴散模型和SVBRDF預測器獲取多視角的材質maps，這些maps最終合并成場景的紋理地圖集，并支持在任意視角、任意光照條件下進行重新渲染。樣例圖如下：

在當前時代的技術背景下，生成與幾何匹配的3D場景，以及根據RGB圖像恢復SVBRDF都已經能夠做到【1】。結合這兩個技術可以使得我們根據一個幾何快速生成多個視角的RGB圖像，并估計出SVBRDF來。但是這么做仍面臨一些問題。第一，從單個視角的圖像中預測SVBRDF，會出現和其他視角下預測的SVBRDF不一致的問題，從而產生錯誤的紋理地圖集。第二，根據模型去生成RGB圖像時，不同模態下的模型（我理解為視角）也會導致生成的RGB圖像在多個視角下不一致，所以也會間接影響到SVBRDF的多視角下的一致性估計。作者采用了一個標準的U-Net和相關的復雜設計解決這一問題。具體怎么解決的，請看下文對文章overview的介紹。

【1】真的嗎，撓頭。實際上diffuse類型材質的恢復還是可以的，如果帶有glossy材質，我認為仍然面臨著巨大問題，因為高頻的反光、陰影、焦散的效果會和幾何直接過分耦合，特別是單圖輸入且帶有強光照時，高光會導致被照射的區域過曝，這部分的像素對恢復該區域的紋理無法提供有效信息，所以glossy材質的場景恢復出來的SVBRDF必然會在maps中表現出不均勻的情況，其中與高光相關的區域會出現明顯的burn in artifacts，在重新渲染時，會明顯看到光照在同一類型材質上的形狀非常不穩定。

SVBRDF texturing pipeline overview。Step1. 先用一個image diffusion model以深度圖、輪廓圖為條件生成一系列的不同視角的場景圖。其中，第一張生成的場景圖要求必須是盡可能完整的，意思是盡可能地看到場景全貌，剩下不同視角的場景圖在生成時，會進行額外的處理：首先將完整的場景圖進行重新投影到不同的視角上，然后再結合不同視角的深度、輪廓圖進行條件重繪，投影時因為遮擋出現的孔洞會在重繪的過程中修復。這樣能確保生成過程的一致性【2】。Step2. 然后再繼續根據每個不同視角的圖像估計SVBRDF。Step3.重新渲染。整個流程見下圖：

【2】這種重新投影會影響物理上的一致性，因為不同視角下的光照效果是不一樣的，重投影無法彌補這一點。作者也意識到了這一點，見4.1節Scope of the study。不過確實可以提供一定的先驗，讓擴散模型借助自身強大的數據分布來消除這種誤差。

作者主要是對現有的一些主流SVBRDF估計方法再神經網絡架構選擇和輸入通道選擇上進行了實驗，結構設計見下圖，虛線部分代表引入的額外的條件。