All_in_One_Bad_Weather_Removal_Using_Architectural_Search

這篇論文發表于CVPR2020，提出一種可以應對多種惡劣天氣的去噪模型，可以同時進行去雨、去雪、去霧操作。但該部分代碼似乎沒有開源。
提出的問題：
當下的模型只能針對一種惡劣天氣進行處理，無法適用于多種復雜惡劣天氣
目前的去噪數據集都是人為制作的，與真實數據具有差異。

創新點1：多合一去噪模型

該方法整體結構如下圖所示，其基于對抗神經網絡模型進行設計，包含一個生成器(Generator)與一個判別器(Discriminator)。于以往只能處理一種惡劣天氣噪聲不同，本文提出一種多合一去噪模型，可以同時完成去雨、去雪、去霧操作。

在生成器中，主要包含三個特征提取模塊（雨雪霧 FE，Feature Exactor)，一個特征選擇模塊(Feature Search)以及一個解碼器模塊（Decoder)，判別器則進行判斷生成的圖像是否為真，并將結果返回到生成器，計算損失，并通過反向傳播更新生成器中的參數。

生成器含有多個任務的編碼器，每個編碼器與特定的惡劣天氣類型相關，通過神經架構搜索來優化從各個編碼器中提取的圖像特征，并將這些特征轉換為干凈的圖像。即思路為：將含有雨雪霧的圖像輸入生成器，通過生成器中的編碼器（FE)進行特征提取，將提取的特征通過神經架構搜索進行優化，選取好的特征信息，將提取的特征信息送入解碼器生成干凈圖像，即完成去噪過程。

生成器模塊

多個編碼器，用于提取不同惡劣天氣圖像的干凈特征，從而進行恢復，生成干凈圖像。

創新點2：Feature Search模塊

神經架構查詢實際是找到干凈的特征，將干凈的特征轉換為干凈的圖像。

可以看到，FeatureSearch模塊中除了常規的卷積操作外，還有殘差連接，自注意力機制等。
常規的去霧、去霾模型定義如下：

也可以表示如下：通過1x1卷積來提取學習M，從而估計M，實現的操作如4.1所示。

創新點3：多類輔助判別器

基于生成對抗網絡（GNN)的判別器通過訓練來判斷恢復圖像效果（即判斷生成的圖像真實性），但其不提供錯誤信號，對于多合一模型而言，只知道真假是遠遠不夠的，需要直到生成的圖像類型，從而使編碼器根據不同類型更新參數，因此提出多類輔助判別器，用于對圖像進行分類，從而在反向傳播判別損失時，只更新對應判別器的參數。

具體思路

霧霾圖像建模

其中，I(x)為有霧圖像，更具體的，I(x)是在位置x的雨圖像，J(x)為觀察目標反射光，即去霧后的圖像，A為大氣光系數，t(x)為大氣透射率，t(x)= e^-βd(x)，其中，d(x) 為場景深度圖，β 為大氣光散射系數。由公式（1）式可以清晰知道，只要求得 t(x) 和 A ，便可以從有霧圖像 I(x) 恢復無霧圖像 J(x) 。

而含雨圖像與含霧圖像的物理模型極為相似，故可以定義為：

其中，Ri代表第 i 層的雨線。

雨水圖像建模

其中I(x)是彩色雨滴圖像，M(x)是二值圖像掩膜。J(x)是背景圖像，即干凈圖像，K是圖像所帶來的附著的雨滴，代表著模糊的影像形成光線反射的環境。

雪花圖像建模

其中S表示雪花，z是二元掩模，表示雪的位置。

根據上面的物理模型公式可知，不同惡劣天氣噪聲圖像定義是不同的，這也是為何原本的模型都是一個模型處理一種惡劣天氣噪聲的原因，但根據公式我們也可以看到其內在聯系，可以將惡劣天氣噪聲圖像模型定義如下：