MatSwap: Light-aware material transfers in images

介紹任務：輸入一張拍攝圖像、示例材質紋理圖像（這里跟BRDF無關，通常我們講到材質一般指的是SVBRDF，但是這里的材質指的只是紋理）、用戶為拍攝圖像指定的遮罩區域（上圖中的紅色），輸出一張在遮罩區域替換為示例材質的圖像結果。
【埋雷】這里需要留意論文中是否提到跟傳統的擴散模型mask加生成有什么區別，例如：圖像重繪。
當前任務面臨的最大問題是在轉移材質的過程中，做到材質、集合、光照的解耦。

從宏觀上解決了什么問題？以往工作會用復雜文本提示詞、大規模人工標注來進行生成，但是這些方法需要藝術家的專業知識，或3D場景的屬性，獲取難度比較大。這篇文章的方法只需要通過一個平面材質，就能免去uv映射，來得到可靠的結果。

怎么做的呢？
依賴于一個定制的light和幾何感知的擴散模型。具體來說就是對預訓練的文生圖模型在合成數據集上進行材質遷移的微調。

上圖展示了訓練和推理的流程圖。訓練的時候先用blender生成合成數據，包括法線，irradiance等，然后將輸入圖像、法線、irradiance和mask分別用編碼器或下采樣壓縮并concatenate為擴散模型的輸入latent；此外，將條件圖像p采用ip-adapter的形式注入擴散模型的交叉注意力模塊中，最終迭代訓練。而推理過程中則更簡單，此時使用一個預訓練的法線、irradiance估計網絡Φ來根據input直接猜出法線和irradiance，然后聯合其他輸入注入到擴散模型中得到最終結果。

這個方法有點類似于Siggraph 2024文章RGB2X中的【X→RGB】部分。