論文地址：https://openaccess.thecvf.com/content/CVPR2023/html/Chang_Domain_Generalized_Stereo_Matching_via_Hierarchical_Visual_Transformation_CVPR_2023_paper.html

---

概述

?? 立體匹配模型是近年來的研究熱點。但是，現有的方法過分依賴特定數據集上的簡單特征，導致在新的數據集上泛化能力不強。現有的立體匹配方法在訓練過程中容易學習合成數據集中的表面特征（捷徑特征 shortcut features）。這些特征主要有兩種偽影（artifacts）：一是局部顏色統計特征的一致性，二是對局部色度特征的過度依賴。這些特征不能有效地適應不同域之間的遷移。之前的研究主要關注于（1）利用目標域的有標簽數據對模型進行微調。（2）同時使用有標簽的合成數據集和無標簽的真實數據集來訓練域自適應立體匹配模型。這些方法在目標數據集的樣本可獲得時可以取得較好的效果，但在分布外泛化時性能不佳。為了解決這些問題，文中提出了分層視覺變換（Hierarchical Visual Transformation, HVT）網絡，其核心思想是通過改變合成數據集訓練數據的分布，使得模型不依賴于源域樣本的偽影特征（顏色統計、色度特征）來建立匹配關系，而是引導模型學習域不變的特征（語義特征、結構特征）來估計視差圖。
??為了解決立體匹配的域泛化問題，本文提出了一種分層的視覺變換網絡（Hierarchical Visual Transformation，HVT），它能從合成數據集中學習一種不受捷徑特征干擾的特征表示，從而減少域偏移對模型性能的影響。該網絡主要包括兩個部分：（1）在全局、局部和像素三個層次上，對訓練樣本進行視覺變換，使其適應新的數據域。（2）通過最大化源域和目標域之間的視覺特征差異，以及最小化跨域特征之間的一致性，來得到域不變的特征。這樣可以防止模型利用合成數據集中的偽影信息作為捷徑特征，從而有效地學習到魯棒的特征表示。我們將HVT模塊嵌入到主流的立體匹配模型中，在多個數據集上的實驗結果表明，HVT可以提高模型從合成數據集到真實數據集之間的域泛化能力。

---

模型架構

?? 給定合成訓練數據集 ${\mathcal{D}}_s$ ，訓練集中的圖像對為 { X i l , X i r } i = 1 ∣ D s ∣ \{\mathbf{X}_i^l,\mathbf{X}_i^r\}_{i=1}^{|\mathcal{D}_s|} {Xil?,Xir?}i=1∣Ds?∣?, 且其對應的視差圖為 { Y i g t } i = 1 ∣ D s ∣ \{\mathbf{Y}_i^{gt}\}_{i=1}^{|\mathcal{D}_s|} {Yigt?}i=1∣Ds?∣?。模型的目標為訓練一個跨域立體匹配模型來預測未知域 ${\mathcal{D}}_r$ 的圖像對:
$$\hat{\mathbf{Y}}=F_{\Theta }({\mathbf{X}}^l,{\mathbf{X}}^r)=s\left(g\right(f({\mathbf{X}}^l),f({\mathbf{X}}^r)\left)\right),\text{\hspace{1em}(1)}$$
其中 $\Theta$ 為模型的人全部參數，$f(?)$ 表示特征提取模塊，$g(?)$ 表示代價體構建、聚合，$s(?)$ 表示soft-argmin操作，經典的立體匹配模型通過平滑 $L1$ 損失 $L_{\text{sm-}{?}_1}\left(F_{\Theta }({\mathbf{X}}^l,{\mathbf{X}}^r),{\mathbf{Y}}^{gt}\right)$ 來優化模型。

Hierarchical Visual Transformation 分層視覺轉換（核心為圖像增強）

??分層視覺轉換模塊旨在學習到域不變的匹配特征，如語義特征與結構特征，為此，在不同層次學習一系列視覺轉換 T = { T 1 , ? , T M } \mathcal{T}=\{T_1,\cdots,T_M\} T={T1?,?,TM?} 來將輸入圖像映射到域不變的特征空間$\left(T({\mathbf{X}}^l),T({\mathbf{X}}^r)\right)$，視覺轉換應該具有以下的要求：

• $T(?)$ 應使得轉換前后的圖像具有較大的視覺差異，以擴充訓練域的多樣性。
• $T(?)$ 不應改變原始圖像對應的視差圖。當輸入左右圖像時候，仍然應優化 $L_{\text{sm-}{?}_1}(F_{\Theta }(T({\mathbf{X}}^l),T({\mathbf{X}}^r)),{\mathbf{Y}}^{gt})$ 目標。
• $f(T(\mathbf{X}))$ 與 $f(\mathbf{X})$ 應該具有一致性，以獲得域不變的特征。

為此，作者在全局、局部、像素三個層級設計了視覺不變轉換。

全局轉換

??全局視覺轉換 $T_G(?)$ 旨在以一個全局的視角改變立體圖像的視覺特征分布，包括亮度、對比度、飽和度和色調 { T G B , T G C , T G S , T G H } \{T_G^B,T_G^C,T_G^S,T_G^H\} {TGB?,TGC?,TGS?,TGH?}. 其中， { T G B , T G C , T G S ˉ } \{T_{G}^{B},T_{G}^{C},T_{G}^{\bar{S}}\} {TGB?,TGC?,TGSˉ?} 可以表示為：
$$T_G^I(\mathbf{X})={\alpha }_G^I\mathbf{X}+(1?{\alpha }_G^I)o^I(\mathbf{X}),\text{\hspace{1em}(2)}$$
其中 I ∈ { B , G , S } I\in\{B,G,S\} I∈{B,G,S} ，${\alpha }_G^I$ 為隨機在 $[{\tau }_{\min }^I,{\tau }_{\max }^I]$ 選擇的對比度參數：
$$\{\begin{array}{c}{\tau }_{\min }^I=1?\left(\mu \sigma ({?}_l^I)+\beta \right)\\ {\tau }_{\max }^I=1+\left(\mu \sigma ({?}_h^I)+\beta \right)\end{array},\text{\hspace{1em}(3)}$$
其中 $\sigma (?)$ 代表 Sigmoid函數。${?}_l^I\in {\mathbb{R}}^1，{?}_h^I\in {\mathbb{R}}^1$ 為兩個可學習的參數。$\mu ,\beta$ 為兩個正的超參數。公式2中的 $o^I(?)$ 的定義為 （1）對于亮度轉換：$o^B(\mathbf{X})=\mathbf{X}?\mathbf{O}$ ，其中 $\mathbf{O}$ 為全0的矩陣。（2）對于對比度變換：$o^C(\mathbf{X})=\mathrm{Avg}(\mathrm{Gray}(\mathbf{X}))$ ，其中 $\text{?Gray}(?)$ 表示將圖像轉換為灰度圖像，$\mathrm{Avg}(?)$ 表示整張圖像的灰度平均值。（3）對于飽和度轉換, $o^S(\mathbf{X})=\mathrm{Gray}(\mathbf{X})$。

??對于色調轉換，有：
$$T_G^H(\mathbf{X})=\mathrm{Rgb}([\mathbf{h}+{\alpha }_G^H,\mathbf{s},\mathbf{v}]),\text{\hspace{1em}(4)}$$
其中 $\left[\mathbf{h},\mathbf{s},\mathbf{v}\right]=\mathrm{Hsv}(\mathbf{X})$ 表示將圖像轉換到HSV空間的表示。$\mathrm{Rgb}(?)$表示從HSV空間轉換到RGB空間。${\alpha }_G^H\in {\mathbb{R}}^1$ 表示從 $[{\tau }_{\min }^{\bar{H}},{\tau }_{\max }^H]$ 隨機采樣的參數，且${\tau }_{\min }^H=?\mu \sigma ({?}_l^H)?\beta ,{\tau }_{\max }^H=\mu \sigma ({?}_h^H)+\beta$。此外， { T G B , T G C , T G S , T G H } \{T_G^B,T_G^C,T_G^S,T_G^H\} {TGB?,TGC?,TGS?,TGH?} 的順序是隨機的。

局部級變換

??局部視覺轉換$T_L(?)$旨在在局部范圍改變訓練圖像的分布。將圖像分為$N^{\prime }\times N^{\prime }$ 個不重疊的塊 { x 1 p , ? , x N ′ × N ′ p } \{\mathbf{x}_1^p,\cdots,\mathbf{x}_{N^{\prime}\times N^{\prime}}^p\} {x1p?,?,xN′×N′p?}，將每個塊視為獨立的圖像，使用隨機參數的局部轉換 $T_L^p(?)$ 分別進行轉換后拼接回原圖大小：
$$T_L(\mathbf{X})=\mathsf{Merge}\left([T_L^p({\mathbf{x}}_1^p),?,T_L^p({\mathbf{x}}_{N^{\prime }\times N^{\prime }}^p)]\right),\text{\hspace{1em}(5)}$$
其中局部變換模塊可以利用現有的風格遷移網絡來實現，或者基于傅里葉的方法，為了與全局變換模塊相配合，局部變換模塊采用了與全局模塊一樣的變換函數。

像素級變換

??像素級的視覺變換旨在像素層級進行隨機變換：
$$T_P(\mathbf{X})=\mathbf{X}+\left(\begin{array}{c}\mu \sigma (\mathbf{W})+\beta \end{array}\right)\mathbf{P}\text{\hspace{1em}(6)}$$
其中 $\mathbf{P}\in {\mathbb{R}}^{H\times W\times 3}$ 為隨機生成均值為0，方差為1的的高斯矩陣。$\mathbf{W}\in {\mathbb{R}}^{H\times W\times 3}$ 為可學習的矩陣。

---

損失函數

跨域視覺差異最大化：該方法的目的是使數據在變換后的視覺特征分布與變換前的分布有明顯的差異，同時保持變換前后的匹配特征表示的一致性，從而學習到不受域影響的特征。這樣，立體匹配網絡就可以忽略數據中的偽影，更有效地利用學習到的魯棒特征表示來估計視差：
$$\max L_{\mathrm{disc}}(\mathbf{X})=\frac{1}{3}\sum _{J}d(T_J(\mathbf{X}),\mathbf{X})\text{\hspace{1em}(7)}$$
其中 J ∈ { G , L , P } J\in\{G,L,P\} J∈{G,L,P} , $d(?)$ 是域差異度量，作者引入一個神經網絡模塊 $?(?)$ 來提取域差異特征，則式7可以表示為：
$$\min L_{\sin }(\mathbf{X})=\frac{1}{3}\sum _J\mathrm{Cos}\left(?(T_J(\mathbf{X})),?(\mathbf{X})\right),\text{\hspace{1em}(8)}$$
為了進一步提升域差異，使用交叉熵損失來優化模型：
min ? L c e ( X ) = C E ( { ? ( T J ( X ) ) , ? ( X ) } , Y d ) , (9) \min L_{\mathfrak{ce}}(\mathbf{X})=\mathrm{CE}\left(\left\{\phi(T_J(\mathbf{X})),\phi(\mathbf{X})\right\},\mathcal{Y}_d\right),\tag{9} minLce?(X)=CE({?(TJ?(X)),?(X)},Yd?),(9)
其中 ${\mathcal{Y}}_d$ 表示四個變換域的域標簽。

跨域特征一致性最大化：為了增強模型的泛化能力，模型需要獲取域不變的匹配特征，這要求變換 $T(?)$ 不改變原圖的語義與結構特征。因此，最小化以下的損失：

$$\min L_{\mathrm{dist}}(\mathbf{X})=\frac{1}{3}\sum _J{\Vert f\left(T_J(\mathbf{X})\right)?f\left(\mathbf{X}\right)\Vert }_2,\text{\hspace{1em}(10)}$$

總的損失函數：
$$\begin{array}{rl}\min \mathcal{L}=& L_{\mathrm{sm}?{?}_1}(\hat{\mathbf{Y}},{\mathbf{Y}}^{gt})+\frac{1}{2}\left({\lambda }_1{L}_{\mathrm{dist}}(\mathbf{X})+{\lambda }_2{L}_{\mathrm{sim}}(\mathbf{X})+{\lambda }_3{L}_{\mathrm{ce}}(\mathbf{X})\right),\end{array}\text{\hspace{1em}(11)}$$

其中 $L_{\text{sm-}{?}_1}$ 同時在 { X l , X r } \{\mathbf{X}^l,\mathbf{X}^r\} {Xl,Xr} 與 { T J ( X l ) , T J ( X r ) } \{T_J(\mathbf{X}^l),T_J(\mathbf{X}^r)\} {TJ?(Xl),TJ?(Xr)} 作為模型輸入時計算。

---

實驗結果