【LLIE專題】LLIE低照度圖像結構先驗提取方法

在這里插入圖片描述

Zero-Shot Day-Night Domain Adaptation with a Physics Prior（ICCV,2021）

專題介紹
一、研究背景
二、方法
- - - 1. 物理反射模型與顏色不變特征的推導（原理推導、物理依據）
    - 2. 顏色不變特征的計算（特征計算公式整個過程）
    - 3. 可訓練的CIConv層設計（將第二節的計算過程卷積化）
三、實驗結果
- - - 1. 合成圖像分類實驗
    - 2. 自然圖像分類實驗
    - 3. 語義分割實驗
四、總結
- - 在暗光增強任務作為結構先驗應用的前景

本文將對 Zero-Shot Day-Night Domain Adaptation with a Physics Prior，這篇文章進行講解。參考資料如下：

[1] 文章
[2] 代碼

專題介紹

在低光照環境下，傳統成像設備往往因畫面昏暗、細節丟失而受限。LLIE（低照度暗光增強）技術應運而生，它通過提升圖像亮度、對比度，減少噪點并恢復色彩細節，讓暗夜變得清晰可見。

LLIE技術從傳統方法如直方圖均衡化、Retinex模型等起步，近年來借助深度學習，尤其是卷積神經網絡（CNN），GAN模型，擴散模型實現了質的飛躍。這些算法能自動學習圖像特征，精準處理低光照圖像，效果顯著優于傳統技術。

本專題將聚焦LLIE技術的核心原理、應用案例及最新進展，讓我們一起見證LLIE如何點亮暗夜，開啟視覺新視界！歡迎一起探討交流！

系列文章如下
【1】ZeroDCE
【2】HVI
【3】CLIP-LIT
【4】GLARE
【5】Retinexformer
【6】SG-LLIE
【7】GPP-LLIE
【8】FusionNet
【9】EnligtenGAN
【10】PTG
【11】CSNorm

一、研究背景

本文介紹了SG-LLIE這篇文章中的結構先驗計算方法。
該論文在晝夜域適應方面探索了零樣本的情況。傳統的域適應是在一個域上訓練，然后利用測試集中的無標簽數據來適應目標域，但收集測試數據既貴又有時甚至收集不到。所以作者不依賴測試數據圖像，而是利用從基于物理的反射模型中得出的視覺歸納先驗來做域適應。作者把一些顏色不變邊緣檢測器設計成卷積神經網絡中的可訓練層，還評估了這些層對光照變化的穩健性。結果顯示，這種顏色不變層能減少整個網絡中特征圖激活的晝夜分布差異，而且在合成和自然數據集上的分類、分割、地點識別等多種任務中，都能提升零樣本晝夜域適應的性能。

二、方法

方案主要圍繞顏色不變卷積層（CIConv） 的設計展開，該卷積層基于物理反射模型推導的顏色不變特征，用于解決晝夜光照變化導致的域偏移問題。具體內容如下：

1. 物理反射模型與顏色不變特征的推導（原理推導、物理依據）

基礎模型：方法基于Kubelka-Munk（KM）反射模型，該模型描述了物體反射光的光譜特性，公式為：
$E(λ,x)=e(λ,x)((1?ρf(x))2R∞(λ,x)+ρf(x))E(\lambda, x)=e(\lambda, x)\left(\left(1-\rho_{f}(x)\right)^{2} R_{\infty}(\lambda, x)+\rho_{f}(x)\right)$
其中， $E$ 為反射光光譜， $e$ 為光源光譜， $R∞R_{\infty}$ 為物體材料反射率， $ρf\rho_{f}$ 為菲涅爾反射系數， $λ\lambda$ 為光的波長， $x$ 為圖像空間位置。
顏色不變特征：通過對上述模型的簡化假設（這里感興趣的讀者可以詳細了解一下KM反射模型，本文不做過多介紹），推導得出多種顏色不變邊緣檢測器（如E、W、C、N、H），這些特征僅依賴物體材料屬性 $R∞R_{\infty}$ ，不受光照強度、顏色、場景幾何（如陰影）等因素影響（表1列出了各特征的不變性屬性）。

2. 顏色不變特征的計算（特征計算公式整個過程）

RGB到光譜特征的轉換：利用高斯顏色模型（高斯顏色模型（Gaussian Color Model）是一種用于圖像邊緣檢測的經典方法，核心思想是利用高斯核函數對圖像的顏色（或灰度）信息進行濾波，通過計算像素點在空間和顏色維度上的梯度變化來檢測邊緣。），將RGB圖像轉換為與光譜相關的特征（ $E$ 、 $EλE_{\lambda}$ 、 $EλλE_{\lambda\lambda}$ ），公式為：
$[E(x,y)Eλ(x,y)Eλλ(x,y)]=[0.060.630.270.30.04?0.350.34?0.60.17][R(x,y)G(x,y)B(x,y)]\left[\begin{array}{c}E(x, y) \\ E_{\lambda}(x, y) \\ E_{\lambda \lambda}(x, y)\end{array}\right]=\left[\begin{array}{ccc}0.06 & 0.63 & 0.27 \\ 0.3 & 0.04 & -0.35 \\ 0.34 & -0.6 & 0.17\end{array}\right]\left[\begin{array}{c}R(x, y) \\ G(x, y) \\ B(x, y)\end{array}\right]$
其中， $E$ 為光強， $EλE_{\lambda}$ 和 $EλλE_{\lambda\lambda}$ 分別為一二階光譜導數。
空間導數計算：對于每個光譜特征（如 $E$ ），通過與高斯導數核進行卷積計算空間導數。以 $E_x$ （ $E$ 在x方向的空間導數）為例，計算公式為：
$Ex(x,y,σ)=∑t∈ZE(t,y)?g(x?t,σ)?xE_{x}(x, y, \sigma)=\sum_{t \in \mathbb{Z}} E(t, y) \frac{\partial g(x-t, \sigma)}{\partial x}$
其中， $\sigma)$ 是標準差為 $σ\sigma$ 的高斯函數， $?g?x\frac{\partial g}{\partial x}$ 為其x方向的導數，通過滑動窗口與圖像中的 $E$ 值卷積，得到x方向的空間導數。類似地，可計算y方向的空間導數（如 $E_y$ ），以及結合光譜導數的空間導數（如 $EλxE_{\lambda x}$ 、 $EλλyE_{\lambda\lambda y}$ 等）。
顏色不變特征計算：計算完了空間導數，顏色不變特征即可根據表一公式進行計算。

3. 可訓練的CIConv層設計（將第二節的計算過程卷積化）

CIConv層是將第二階段的計算過程卷積化，使其可以進行訓練。

尺度參數的學習：高斯導數核的尺度參數 $σ\sigma$ 影響特征細節與抗噪性（小 $σ\sigma$ 保留細節但敏感于噪聲，大 $σ\sigma$ 抗噪但丟失細節）。作者將 $σ\sigma$ 設為可訓練參數（通過 $σ=2s\sigma=2^s$ 轉換， $s$ 為訓練參數），以適應任務需求。
CIConv層的輸出：層的輸出通過對顏色不變特征的平方進行對數變換和樣本歸一化得到，對數變換和歸一化降低了光照強度變化對邊緣檢測的影響。即使在低光或不均勻光照下，W 也能穩定表示圖像的固有結構。公式為：
$y)=\frac{\log \left(CI^{2}\left(x, y, \sigma=2^{s}\right)+\epsilon\right)-\mu_{\mathcal{S}}}{\sigma_{\mathcal{S}}}$
其中， $C I$ 為所選顏色不變特征， $μS\mu_{\mathcal{S}}$ 和 $σS\sigma_{\mathcal{S}}$ 為樣本均值和標準差， $?\epsilon$ 為數值穩定項。

該設計將物理先驗融入神經網絡，使模型無需目標域數據即可減少晝夜光照導致的特征分布偏移，為零樣本域適應提供了基礎。對于LLIE任務來說，提取的該顏色不變特征可以作為一種先驗信息進行任務指導。

三、實驗結果

該研究通過多個實驗驗證了基于物理先驗的零樣本晝夜域適應方法的有效性，涵蓋分類、分割等任務，具體如下：

1. 合成圖像分類實驗

數據集：使用從ShapeNet數據集中選取的子集，通過物理渲染器Mitsuba生成合成圖像，包含10個物體類別。訓練集在“正常”光照條件（6500K）下生成，每個類別1000個樣本；測試集則在不同光照強度（從暗到亮）和顏色（2500K到20000K）條件下生成，每個類別300個樣本。
模型與訓練：訓練基線ResNet-18和分別加入E、W、C、N、H五種顏色不變卷積層（CIConv）的ResNet-18，訓練175個epoch，使用SGD優化器，采用隨機水平翻轉、裁剪和旋轉等數據增強方式。
結果：基線模型在光照條件偏離訓練集時精度迅速下降，而加入CIConv層的模型性能更穩定，其中W不變量模型表現最優，且能減少網絡各層特征圖的分布偏移。

2. 自然圖像分類實驗

數據集：構建Common Objects Day and Night（CODaN）數據集，包含10個常見物體類別，由ImageNet、COCO和ExDark數據集組成。訓練集為白天圖像（每個類別1000個樣本），驗證集為白天圖像（每個類別50個樣本），測試集分為白天和夜間圖像（每個類別300個樣本）。
模型與訓練：訓練加入不同顏色不變層的ResNet-18，訓練設置與合成圖像實驗類似，但數據增強改為隨機亮度、對比度、色調和飽和度調整。
結果：W不變量模型在夜間測試集上準確率達59.67%，顯著優于基線模型（48.31%）和其他方法（如AdaBN的55.55%），且其生成的邊緣圖能更好地保留低強度和低飽和度邊緣，同時抑制噪聲。

3. 語義分割實驗

數據集：使用CityScapes的白天訓練集（2975張標注圖像）進行訓練，在Nighttime Driving（50張粗標注夜間圖像）和Dark Zurich（151張精標注夜間圖像）測試集上評估。
模型與訓練：采用RefineNet架構，分別使用ResNet-101和加入W不變量層的W-ResNet-101作為特征提取器，訓練時使用隨機縮放、亮度/對比度/色調調整和水平翻轉等數據增強。
結果：W-RefineNet在Nighttime Driving和Dark Zurich測試集上的mIoU分別為41.6和34.5，優于僅使用源域數據訓練的其他模型（如RefineNet的34.1和30.6），且與使用源域和目標域數據的方法性能接近。

這些實驗從不同任務和數據集角度，驗證了CIConv層在減少晝夜光照導致的分布偏移、提升模型魯棒性方面的有效性。

四、總結

該論文聚焦零樣本晝夜域適應問題，提出了一種基于物理先驗的解決方案。通過引入基于Kubelka-Munk反射模型的顏色不變特征，設計了可訓練的Color Invariant Convolution（CIConv）層，將其作為CNN的輸入層，以減少光照變化導致的特征分布偏移。

在暗光增強任務作為結構先驗應用的前景

暗光增強任務的核心是在提升圖像亮度的同時，保留關鍵結構信息（如邊緣、紋理）并抑制噪聲。本文提出的顏色不變特征及CIConv層作為結構先驗，在該領域具有以下優勢：

保留結構一致性：顏色不變特征（如W不變量）對光照強度不敏感，能在暗光環境下穩定提取物體邊緣和結構信息。將其作為先驗融入暗光增強模型（如生成對抗網絡），可引導模型在提亮過程中優先保留這些關鍵結構，避免過度增強導致的邊緣模糊或細節丟失。
抑制噪聲干擾：CIConv層通過學習高斯核尺度參數σ，在提取結構時能平衡細節保留與抗噪性（大σ增強抗噪性）。這一特性可輔助暗光增強模型區分真實結構與噪聲，減少暗光環境下傳感器噪聲對增強結果的影響。
增強域適應性：暗光增強常面臨“白天-黑夜”“正常光-低光”的域偏移問題，本文的物理先驗可幫助模型學習光照不變的結構表示，提升模型在不同光照條件下的泛化能力，減少對大量配對暗光-正常光數據的依賴。

感謝閱讀，歡迎留言或私信，一起探討和交流。
如果對你有幫助的話，也希望可以給博主點一個關注，感謝。