【CVPR 2025】迭代預測-評判編解碼網絡：突破真實場景去霧的極限
摘要
本文提出了一種名為IPC-Dehaze的創新去霧方法，通過迭代預測-評判框架和碼本解碼機制，有效解決了現有去霧算法在復雜場景下的性能瓶頸。該方法在多個基準測試中取得了SOTA性能，尤其在非均勻霧靄、色彩失真和低光照條件下表現出色。代碼已開源，為后續研究提供了重要參考。
引言
圖像去霧是計算機視覺的基礎任務，在自動駕駛、遙感和監控等領域具有廣泛應用。現有方法主要分為物理模型驅動和數據驅動兩類，但在處理真實場景中的復雜霧靄時仍存在不足。本文提出的IPC-Dehaze框架通過迭代優化和碼本解碼機制，顯著提升了去霧效果，特別是在非均勻霧靄和低光照條件下。
相關工作
- 物理模型方法：基于大氣散射模型，通過估計傳輸圖和大氣光來恢復圖像。代表性方法包括He等人的暗通道先驗(DCP)和Fattal的獨立成分分析。這類方法對霧靄分布假設較強，在復雜場景下效果有限。
- 數據驅動方法：利用深度學習直接學習霧靄圖像到清晰圖像的映射。代表性方法包括AOD-Net、MSCNN和GridDehazeNet。雖然取得了不錯的效果，但在處理非均勻霧靄和保留圖像細節方面仍有挑戰。
- 迭代優化方法：通過多次迭代逐步改進去霧結果，如GFF-Net和ID-CGAN。這些方法通常計算復雜度較高，但能獲得更精細的結果。
方法
整體框架
IPC-Dehaze采用編碼器-解碼器架構，包含三個核心組件：
- 特征提取編碼器：使用ResNet骨干網絡提取霧靄圖像的多尺度特征。
- 迭代預測器：通過多次迭代逐步生成去霧結果，每次迭代都基于上一次的輸出和原始特征。
- 評判解碼器：評估當前預測結果的質量，并生成反饋信號指導下一次迭代。
迭代預測-評判機制
- 預測器：設計為U-Net結構，通過跳躍連接融合多尺度信息，逐步細化去霧結果。
- 評判器：采用PatchGAN架構，評估預測結果的局部和全局質量，并生成質量圖。
- 迭代優化：通過預測器和評判器的交互，實現結果的逐步優化，避免陷入局部最優。
碼本解碼機制
引入可學習的碼本，將特征表示為碼本向量的組合，有效壓縮特征空間并增強特征表達能力。碼本解碼過程分為兩步：
- 編碼階段：將輸入特征映射到碼本空間，生成稀疏編碼。
- 解碼階段：通過加權組合碼本向量，重建去霧圖像。
實驗
數據集
- 合成數據集：RESIDE標準數據集(OTS和SOTS)。
- 真實數據集：HazeRD、NH-HAZE和I-HAZE。
評估指標
使用PSNR、SSIM、NIQE和LPIPS等指標評估去霧質量。
對比方法
與10種SOTA方法進行對比，包括物理模型方法(DCP、Fattal)和深度學習方法(AOD-Net、MSCNN、GridDehazeNet等)。
實驗結果
- 定量結果：在所有評估指標上均顯著優于現有方法，特別是在PSNR和SSIM上提升明顯。
- 定性結果：能有效去除非均勻霧靄，保留圖像細節，減少顏色失真和偽影。
- 消融實驗：驗證了迭代機制和碼本解碼的有效性。
結論
本文提出的IPC-Dehaze框架通過迭代預測-評判機制和碼本解碼，顯著提升了真實場景下的圖像去霧效果。實驗結果表明，該方法在多個基準測試中取得了SOTA性能，特別是在處理復雜霧靄條件下表現出色。未來工作將探索在視頻去霧和實時應用中的擴展。
應用場景
- 自動駕駛：提升惡劣天氣下攝像頭的感知能力，增強自動駕駛系統的安全性。
- 遙感與衛星成像：去除大氣霧霾對遙感圖像的影響，提高地物識別和分析的準確性。
- 監控系統：改善惡劣天氣下監控攝像頭的圖像質量，提升安防監控效果。
- 無人機巡檢：在霧霾天氣下獲取清晰的巡檢圖像，保障電力、管道等設施的安全。
- 影視后期制作：快速去除鏡頭中的霧氣，節省人工處理成本，提升制作效率。
)
