紋理貼圖（Texture Mapping）是計算機圖形學和計算機視覺中的核心技術，廣泛應用于三維重建、游戲渲染、虛擬現實（VR）、增強現實（AR）等領域。對其算法的研究涵蓋了紋理生成、映射、縫合、優化等多個方面。

---

1. 引言

紋理貼圖是指將二維圖像紋理映射到三維幾何表面上，以增強模型的視覺真實感。傳統方法主要關注靜態幾何模型上的紋理生成與映射，而近年來，隨著多視角圖像重建、RGB-D 掃描、神經渲染的發展，紋理貼圖算法也逐步融合了圖像處理、圖優化與深度學習等技術。

---

2. 紋理貼圖的基本流程

1. 紋理采集：通過相機獲取 RGB 圖像序列或視頻。
2. 幾何重建：利用 SfM、MVS、RGB-D SLAM 等生成網格模型。
3. 視角選擇（view selection）：從多個視角中選擇最適合某個面片的圖像。
4. 紋理映射（UV Mapping）：將圖像的像素坐標映射到網格模型的表面。
5. 縫合與融合：處理重疊區域中的紋理差異，避免 seams（縫隙）和 ghosts（重影）。
6. 優化與壓縮：提高質量與效率，例如通過圖優化、拼接優化或神經網絡壓縮紋理。

---

3. 經典方法與算法

3.1 基于多視圖的紋理映射

• Lempitsky and Ivanov (2007)
  Seamless mosaicing of image-based texture maps

  • 提出基于圖優化的紋理縫合算法，通過 MRF 最小割實現無縫拼接。

• Waechter et al. (2014)
  Let There Be Color! – Large-Scale Texturing of 3D Reconstructions

  • 提出一種圖著色方法為每個面片選取最佳圖像，并進行全局優化，解決大規模重建中的顏色漂移與紋理斷裂問題。

3.2 融合 RGB-D 數據的紋理方法

• Zhou and Koltun (2014)
  Color Map Optimization for 3D Reconstruction with Consumer Depth Cameras

  • 利用 RGB-D 相機數據進行全局顏色一致性優化，構建高質量紋理模型。

• Nie?ner et al. (2013)
  Real-time 3D Reconstruction at Scale using Voxel Hashing

  • 在 TSDF 重建中實時融合顏色信息以生成紋理體素網格。

3.3 學習驅動與神經紋理方法

• Thies et al. (2016)
  Face2Face: Real-time Face Capture and Reenactment of RGB Videos

  • 使用動態紋理合成進行人臉替換，融合了神經網絡紋理生成方法。

• Zhou et al. (2021)
  Neural Texture Mapping

  • 提出神經紋理貼圖框架，通過神經網絡編碼器壓縮紋理數據，再解碼重建圖像，提升細節質量和實時性。

---

4.圖優化貼圖和神經紋理合成

---

1、圖優化貼圖（Graph Optimization for Texture Mapping）

1. 背景與動機

在多視角圖像生成三維模型后，為幾何模型每個三角面選擇“最佳”圖像紋理來源時，直接選擇投影誤差最小的圖像容易造成：

• 拼接縫（seams）：相鄰三角形的紋理來自不同圖像，顏色/光照差異明顯；
• 冗余與歧義：多個圖像都能看到該面，但哪一個更“連續”不好選；
• 紋理不一致：沒有考慮圖像間顏色差異或幾何遮擋。

因此，引入 圖優化模型 將紋理映射轉換為 能量最小化問題，提高紋理的空間一致性和整體質量。

---

2. 常見方法與原理

2.1 Lempitsky & Ivanov (CVPR 2007)：MRF 最小割貼圖優化

• 每個三角形為一個圖節點，節點的標簽是來自哪一張圖像。

• 能量函數定義如下：

  $$E(L)=\sum _{i\in \mathcal{T}}{D}_i(l_i)+\lambda \sum _{(i,j)\in \mathcal{N}}{S}_{ij}(l_i,l_j)$$

  其中：

  • $\mathcal{T}$：所有三角面；
  • $l_i$：面 $i$ 的圖像選擇；
  • $D_i$：投影質量（投影角度、遮擋、清晰度等）；
  • $S_{ij}$：相鄰面間顏色差異（拼接懲罰項）；
  • $\lambda$：平滑權重。

• 解法：使用 Graph Cut 最小化能量函數，獲得全局最優解。

---

2.2 Waechter et al. (ECCV 2014)：圖著色貼圖方法

該方法簡化最小割算法，將貼圖問題轉化為圖著色問題：

• 將所有三角面片構建成圖；
• 視角圖像為“顏色”，每個面片分配一個顏色；
• 構建圖著色代價函數，最小化圖像之間的邊界變化和誤差；
• 優點：適用于大規模模型，速度快，效果好。

---

3. 優點與挑戰

優點：

• 全局一致性，減少明顯縫隙；
• 可集成遮擋建模、光照權重、邊界懲罰等；
• 與幾何圖形良好耦合，適用于三角網格模型。

挑戰：

• 解圖割問題代價大（尤其百萬面片級）；
• 面片與圖像之間數據關聯復雜；
• 動態模型或實時需求下不易使用。

---

2、神經紋理合成（Neural Texture Synthesis / Mapping）

1. 背景

傳統紋理貼圖依賴：

• 網格 UV 展開
• 多視圖圖像融合
• 顯式紋理圖生成

而在 神經渲染 / NeRF / NSVF 等方法流行后，研究者發現可以用 神經網絡 替代傳統紋理存儲與映射：

• 更強細節表達
• 動態紋理學習（可微可更新）
• 自動修復光照/遮擋/幾何誤差引起的問題

---

2. 代表性方法

2.1 Neural Texture Mapping（CVPR 2021）

作者提出將紋理信息編碼成神經特征，流程如下：

1. 提取多視角圖像中的紋理 patch；
2. 用 CNN + attention 編碼這些紋理 patch 為 UV 坐標 → latent code；
3. 訓練解碼器 $f(UV,\text{latent})\to RGB$，可預測高分辨率紋理；
4. 優化 loss（包括像素一致性、感知損失、smoothness）；
5. 結果：生成連續、光照自適應、高分辨率紋理。

2.2 Neural Reflectance Fields / TexNeRF / GNT / GS-NeRF

這些方法將紋理建模為：

• 場函數（Field）：位置 → 顏色 + 法線；
• 神經網格 / 高斯球 / voxel grid 存儲紋理特征；
• 可微渲染機制將紋理納入渲染流程，使得紋理學習可被優化；
• 可驅動：例如用于動態表情/衣物模擬。

---

3. 典型結構

           Input Images↓Multi-view Encoding↓[Neural Texture Field]↓UV Query / Position↓Neural Decoder (MLP)↓Predicted RGB Values

• 有些方法還引入視角相關的照明模型或 BRDF 編碼；
• 有些支持動態物體的紋理場更新（如人臉表情、衣服褶皺等）。

---

4. 優點與挑戰

優點：

• 可學習復雜紋理結構，無需顯式縫合；
• 抗遮擋、可微優化、支持高分辨率重建；
• 可集成渲染網絡、體積表示、調光一致性等模塊；

挑戰：

• 訓練代價大，收斂慢；
• 缺乏物理可解釋性（如光照建模）；
• 難以壓縮（相比傳統紋理圖）；
• 實時性目前還有限（但 GS 方向正在優化中）；

---

對比與應用建議

特性/方法	圖優化貼圖	神經紋理貼圖
可解釋性	? 高	? 低（black-box）
運行效率	? 慢（圖割需耗時）	? 慢（訓練/推理需顯卡）
紋理連續性	? 可控	? 自然連續
實時更新	? 不支持	? 可訓練+動態更新
多視角融合能力	? 強（融合多個圖像）	? 學習特征表達
成本與實現難度	中	高（需構建神經網絡 + 訓練）

---

5. 當前挑戰

問題	描述
光照不一致	多視角下光照變化會導致紋理縫合不一致
重影與縫隙（seams）	相鄰面片的紋理來自不同視角時會產生不連續性
視角選擇優化困難	面片與圖像之間存在大量遮擋關系，視角選擇優化復雜
模型遮擋/粗糙	幾何誤差導致紋理映射失真，特別是在邊緣區域
存儲與壓縮需求	高清紋理數據占用大量內存，實時渲染需求要求紋理壓縮

---

6. 新興方向

6.1 神經紋理編碼

• 將傳統圖像紋理轉換為神經表示（Neural Texture），用于即插即用渲染。
• 如 NeRF-Tex、NeuralUV、Gaussian Splatting with Texture 等。

6.2 基于圖優化的紋理融合

• 利用圖割 / MRF / CRF 技術對紋理分配進行能量最小化求解，提升邊界連續性。

6.3 全局一致性優化

• 使用全局圖優化方法（如 pose graph + photometric cost）同步優化相機姿態、幾何模型與紋理一致性。

---

7. 總結與展望

紋理貼圖算法正從傳統的基于幾何映射方法逐步邁向融合視覺 SLAM、圖優化和深度學習的智能化流程。未來的研究趨勢包括：

• 高質量實時紋理合成
• 面向 VR/AR 的低延遲高壓縮紋理流
• 結合神經場（NeRF/GS）和傳統紋理映射的混合方法
• 多模態輸入（LiDAR+RGB）下的紋理重建

---

8. 參考文獻

1. Lempitsky, V., & Ivanov, D. (2007). Seamless mosaicing of image-based texture maps. CVPR
2. Waechter, M., Moehrle, N., & Goesele, M. (2014). Let There Be Color! ECCV
3. Zhou, Q. Y., & Koltun, V. (2014). Color map optimization for 3D reconstruction. SIGGRAPH
4. Nie?ner, M., Zollh?fer, M., Izadi, S., & Stamminger, M. (2013). Real-time 3D reconstruction at scale. TOG
5. Thies, J., Zollh?fer, M., Stamminger, M., Theobalt, C., & Nie?ner, M. (2016). Face2Face. CVPR
6. Zhou, Y., Chen, J., Liu, S., et al. (2021). Neural Texture Mapping. CVPR
7. GS-NeRF / Gaussian Splatting with Texture, 2023–2024 方向，已開始融合傳統 UV 與 NeRF 模型。

---