2019、中科大+港科、有代碼

Chen D, He M, Fan Q, et al. Gated context aggregation network for image dehazing and deraining[C]//2019 IEEE winter conference on applications of computer vision (WACV). IEEE, 2019: 1375-1383.

GitHub - cddlyf/GCANet: Implementation of “Gated Context Aggregation Network for Image Dehazing and Deraining”

1、Absract

1. propose an end-to-end gated context aggregation network(?)
2. use smoothed dilation to help remove the gridding artifacts
3. use a gated sub-network to fuse the features from different levels

BR： gated？

2、Related Work

1. DehazeNet：[3] presents an end-to-end network to estimate the intermediate transmission map.
2. AODNet：[22] reformulates the atmospheric scattering model to predict the final clean image through a light-weight CNN.
3. [32] creates three different derived input images from the original hazy image and fuses the dehazed results out of these derived inputs.
4. [42] incorporates the physical model in Equation (1) into the network design and uses two sub-networks to regress the transmission map and atmospheric light respectively.
   [3, 31, 22, 24, 42, 44]、[5]整了視頻去霧

BR：記錄并不完整，邊閱讀邊整理吧~

3、Method

given a hazy input image, we first encode it into feature maps by the encoder part, then enhance them by aggregating more context information and fusing the features of different levels without downsampling. Specifically, the smoothed dilated convolution and an extra gate sub-network are leveraged. The enhanced feature maps will be finally decoded back to the original image space to get the target haze residue. By adding it onto the input hazy image, we will get the final haze free image.

BR：P3-4 介紹了方法實現的細節，有需要深入學習的時候再補充閱讀，當前只用知道每一個結構的效果，為什么這么設計就夠了。

3.1 數據集

1、以往方法創建有霧數據集的方式：用現有的有深度信息的數據集+物理退化模型合成有霧數據集。

2、[23] 提出了圖像有霧的基準數據集：RESIDE——由深度和立體數據集合成的有霧圖像對構成的大規模數據集。

3.2 損失函數

使用殘差的均方誤差（MSE）損失就能達到 SOTA 效果

4、Thinking

1、按作者的說法對去霧去雨都有效，如果是這樣的話，它真的很強。

2、文章 AblationStudy 做得不到位，我暫時不能理解，1+3+3+1=8，而它只做了四組。√

3、在深度學習之前，大家對于不適定問題好像都是利用圖像先驗信息作為恢復約束來處理。我在想選擇走深度學習的路線，拋去前期數學/物理原理的路線導向到底是什么，它解決了問題但是否遠離真理了呢，是不是讓人更懶惰了呢？TBD

4、什么是 smooth dilated convolution？和原本的 dilated convolution 有什么不同？（P3）√

5、gated 的門控如何體現？（P3）√

6、基本理解了作者的整個結構框架和實驗邏輯，下一步任務就看代碼細節+調整輸入數據自行訓練吧（20231122）

5、讀圖環節

1、網絡結構：編碼器（三個卷積塊）、聚合上下文信息+減少網格偽影（七個平滑膨脹卷積層）、解碼器（解卷積+兩個卷積塊）。

2、gated fusion：以膨脹卷積的低、中、高層特征為輸入，輸出相應的權重參數進行加權求和。

1、數據集：the SOTS indoor dataset from RESIDE。

2、這里的定量分析是復現了七個實驗方法得出的嗎？如果是從原論文中摘取的數據可信度再打折扣。

1、文章中作者說實驗證明使用 instance norm 比 batch norm 更適合，表格中看不出來，也就是正文和實驗邏輯不夠自洽。

2、進一步理解了 gated fusion 后明白了為什么 ablation analysis 不是 8 組，因為 gated fusion 實現的前提是有 smoothed dilation 層，因此可能性要減少兩種。但是為什么沒有只用了 smoothed dilation + instance norm 的組？

1、能進行這個實驗很棒，是值得學習借鑒的。它直觀的對比同一張圖在不同算法中的性能效果，但是既然對比了，如果能將 PSNR、SSIM、耗時情況都寫下來，效果更佳。

2、文章沒有說算法的耗時情況，只說了利好自己的指標，是一種寫作手段，不利于后續研究對比及項目落地，不可取。

---

Additional

physical corruption model（物理退化模型）

$$I(x)=J(x)t(x)+A(1?t(x))$$

I(x)：the degraded hazy image 有霧圖

J(x) ：the target haze-free scene radiance 真值圖

A：the global atmospheric light 大氣光

t(x)：the medium transmission map, which is dependent on the unknown depth information. 介質透射/傳輸圖