3D Surface Reconstruction with Enhanced High-Frequency Details

核心問題：

當前基于神經隱式表示（如 NeuS）的 3D 表面重建方法，通常采用隨機采樣策略。
這種隨機采樣難以充分捕捉圖像中的高頻細節區域（如紋理、邊緣、光照突變），導致重建的表面過于平滑，缺乏精細的細節。

解決方案：?作者提出了一種名為 FreNeuS 的新方法，核心思想是利用圖像中的高頻信息來引導和約束重建過程，從而增強表面細節的恢復。

主要創新點（貢獻）：

高頻信息引導的動態采樣策略 (High-frequency Dynamic Sampling):
- 問題：隨機采樣傾向于在平滑（低頻）區域采樣更多，而高頻細節區域采樣不足。
- 方法：
  - 首先，通過梯度檢測（公式 1）和高頻區域分割（公式 2）生成輸入圖像的高頻圖（High-frequency Map）。該圖清晰地標識出紋理、邊緣等高頻區域（如圖 1, 圖 2）。
  - 根據高頻圖，將圖像像素分為高頻像素集 (I_H) 和低頻像素集 (I_L)。
  - 在訓練時，不再隨機采樣所有像素，而是根據高頻/低頻區域的比例 (w = [1](@context-ref?id=7)|I_H| / |I_L|) 動態分配采樣數量（公式 3）：
    - 從高頻區域 (I_H) 采樣 w * B 條光線 (Rays)。
    - 從低頻區域 (I_L) 采樣 (1-w) * B 條光線。
  - 優勢：在保持采樣隨機性的同時，顯著提高了對高頻細節區域的采樣密度，確保模型能獲得更多關于表面細節的信息。
高頻信息約束機制 (High-frequency Constraint Mechanism):
- 問題：即使增加了高頻區域的采樣，渲染結果在細節區域仍可能過于平滑（如圖 2 NeuS 結果）。
- 方法：
  - 基于高頻圖，為每條采樣的光線分配一個權重 w_High^i（公式 4）：
    - 如果光線對應像素在高頻區域 (P ∈ I_H)，權重為 a (較大值)。
    - 如果光線對應像素在低頻區域 (P ? I_H)，權重為 b (較小值)。
  - 在計算渲染顏色損失時，使用這個權重圖 W_High 進行加權（公式 5）：
    - L_Frecolor = (1/|S|) Σ ||?_s - C_s|| * W_High
  - 效果：該約束機制迫使模型在優化過程中更加關注高頻區域的重建精度，顯著減小細節區域的渲染誤差。
高頻增強模塊 (High-frequency Enhancement Module):
- 這是實現上述兩個核心創新的基礎模塊。
- 方法：
  - 對輸入 RGB 圖像進行高斯濾波去噪。
  - 計算圖像的梯度強度和方向（公式 1：M(x,y), θ(x,y)）。
  - 通過灰度閾值分割識別并輸出高頻圖（如圖 1）。
- 作用：該模塊簡單有效地提取了圖像中蘊含表面細節變化的關鍵信息（深度突變、顏色突變、光照突變等）。

整體流程 (Overview - 圖 1):

輸入 RGB 圖像。
通過高頻增強模塊（高斯濾波 -> 梯度計算 -> 邊界追蹤）生成高頻圖。
基于高頻圖進行動態采樣：計算高頻/低頻區域比例 w，按比例 w*B 和 (1-w)*B 分別從高頻和低頻區域采樣光線。
對每條光線進行采樣點，計算 SDF 值、梯度，并進行體積渲染得到渲染顏色 C_s。
計算損失：
- 高頻約束顏色損失 L_Frecolor：使用高頻權重圖 W_High 加權的 RGB 損失。
- Eikonal 正則化損失 L_reg（公式 6）：約束 SDF 的梯度模長為 1，保證 SDF 性質。
總損失 L_total = L_reg + λ * L_Frecolor（公式 7，λ=1.2）用于優化整個模型。

在單視圖三維重建中應用高頻動態采樣與約束機制需解決深度歧義和信息缺失問題。

一、高頻動態采樣策略的適配方案

1. 高頻區域識別優化

問題：單視圖缺乏多視角驗證，傳統梯度檢測易受噪聲干擾。
解決方案：
- 預訓練邊緣檢測器：采用HED/HoG等模型生成高頻圖（圖1），替代傳統梯度計算：
```
# 示例：HED邊緣檢測（PyTorch）
model = torch.hub.load('pytorch/vision', 'hed', pretrained=True)
hed_map = model(input_img)  # 輸出[0,1]概率圖
```
- 不確定性加權：對低置信度區域（如遮擋邊界）降低采樣權重： $w_{\text{uncertain}} = 1 - \text{hed\_map}(x,y)$

2. 動態采樣改進

問題：單視圖高頻區域占比低（通常<15%），隨機采樣仍可能忽略關鍵細節。
分層采樣策略：
1. 高頻區域：強制采樣至少50%光線（如512條中256條）
2. 低頻區域：重要性采樣（基于SDF梯度變化率）： $p_{\text{low}} \propto \|\nabla \text{SDF}\| \cdot \text{hed\_map}(x,y)$
3. 遮擋邊界：用MiDaS深度圖識別深度突變區，補充采樣10%光線

二、高頻約束機制的強化設計

1. 自適應權重分配

原論文局限：固定權重（a=1.5, b=0.5）在單視圖中會放大噪聲誤差。
改進方案：
- 基于局部曲率的動態權重： $a = \min(2.0, 0.5 + \kappa \cdot 10)$ ，其中 $\kappa$ 為Hessian矩陣估計的曲率，強化高曲率區域約束
- 損失函數調整：?

2. 多模態高頻融合

問題：RGB高頻信息在單視圖中不足。
融合策略：
- 深度高頻：對MiDaS深度圖做Sobel邊緣檢測，與RGB高頻圖取并集
- 語義高頻：用SAM分割物體邊界，增強關鍵結構權重：
```
combined_hf = torch.max(rgb_hf, depth_hf, sam_mask)
```

三、單視圖重建系統架構

關鍵模塊實現

SDF預測網絡（基于NeuS架構）：

輸入：像素坐標+高頻圖通道
輸出：SDF值+RGB顏色

核心代碼：

class SingleViewNeuS(nn.Module):def __init__(self):self.encoder = ResNet34(pretrained=True)  # 圖像編碼器self.mlp = MLP(in_dim=256+3, out_dim=4)  # 輸入含高頻特征def forward(x, hf_map):feat = self.encoder(x) sdf_color = self.mlp(torch.cat([feat, hf_map], dim=1))return sdf_color[...,:1], sdf_color[...,1:]  # SDF, RGB

訓練流程：
- 每迭代1000次更新一次高頻圖（適應優化過程）
- 損失函數組合：
  - $\text{SDF}_{\text{coarse}}$ ：由MiDaS深度推導的粗糙SDF

四、解決單視圖特有挑戰

1. 深度歧義補償

形狀先驗注入：
- 添加CLIP語義損失： $\mathcal{L}_{\text{CLIP}} = 1 - \cos(\text{CLIP}(I_{\text{render}}), \text{CLIP}(I_{\text{input}}))$
- 預訓練擴散模型生成多視角一致性高頻圖（如Stable Diffusion + ControlNet）

2. 遮擋區域處理

拓撲感知采樣：
- 對遮擋邊界（SAM掩碼）施加2倍采樣權重
- 在損失中增加空洞懲罰項： $\mathcal{L}_{\text{hole}} = \sum \text{SDF}(x_{\text{occluded}})^2$

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/pingmian/88254.shtml
繁體地址，請注明出處：http://hk.pswp.cn/pingmian/88254.shtml
英文地址，請注明出處：http://en.pswp.cn/pingmian/88254.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！