📄論文題目:FreeUV: Ground-Truth-Free Realistic Facial UV Texture Recovery via Cross-Assembly Inference Strategy
??作者及機構:Xingchao Yang、Takafumi Taketomi、Yuki Endo、Yoshihiro Kanamori(CyberAgent、University of Tsukuba)
🧩面臨問題:當前 3D 人臉 UV 紋理重建存在數據依賴和泛化能力不足的問題。一方面,傳統方法依賴 costly 的真實 UV 數據集或合成 UV 數據,前者缺乏對野生場景的泛化能力,后者受限于 StyleGAN 的域限制,難以處理帶妝容等多樣人臉;另一方面,合成數據的多步驟流程易導致身份、光照、外觀不一致,難以生成逼真連貫的紋理12。
🎯創新點及其具體研究方法:
1?? 提出 FreeUV 框架:無需帶標注的或合成的 UV 真值數據,基于預訓練的 Stable Diffusion 模型,通過分離訓練專注真實外觀的網絡和結構一致性的網絡,在推理時結合二者生成高質量 UV 紋理,顯著降低數據成本和復雜性35。
2?? Cross-Assembly 推理策略:訓練階段,外觀特征提取網絡聚焦野生域實現 UV 到 2D 的逼真映射,結構重建網絡依托 3DMM 域完成 2D 到 UV 的結構一致映射;推理時整合兩個網絡的 UV 專用模塊,形成 UV 到 UV 的映射,減少大角度人臉和自遮擋的 UV 展開失真,兼顧真實外觀與結構一致性46。
3?? 抗干擾面部細節提取器:基于 CLIP 圖像編碼器并添加通道注意力層,從有失真或缺陷的 UV 紋理中捕捉面部毛發、皺紋、妝容等精細特征,通過選擇性強調關鍵信息降低噪聲影響,增強不同條件下 UV 紋理生成的質量和魯棒性78。