Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

作者：Xiao-Jiao Mao、Chunhua Shen等

本文提出了一個深度的全卷積編碼-解碼框架來解決去噪和超分辨之類的圖像修復問題。網絡由多層的卷積和反卷積組成，學習一個從受損圖像到原始圖像的端到端的映射。卷積層負責特征提取，捕獲圖像內容的抽象信息，同時消除噪聲/損失。相對應，反卷積層用來恢復圖像細節。

網絡結構

在底層圖像修復領域，由于池化操作會丟失有用的圖像細節信息，因此，本網絡沒有用到池化層，是一個全卷積的網絡結構。

卷積層的特征圖和與之相應成鏡像關系的反卷積層特征圖進行跳躍連接，對應像素直接相加后經過非線性激活層然后傳入下一層。

受 VGG 模型的啟發，卷積核大小都設置為為 3*3。另外，由于網絡結構本質上是一個像素級的預測，因此輸入可以是任意大小的圖片，輸出和輸入保持一致。

反卷積解碼器

在全卷積的情況下，噪聲一步步地被消除。經過每一個卷積層后，噪聲等級減小，圖像內容的細節也可能會隨之丟失。在本篇論文提出的結構中，卷積層保留了主要的圖像內容，而反卷積層則用來補償細節信息，可以達到良好去噪效果的同時較好地保留圖像內容。

另一方面，卷積層逐漸減小特征圖的大小，反卷積層再逐漸增大特征圖的大小，最終確保輸入輸出大小一致，也可以保證在移動端計算能力有限情況下的測試效率。

跳躍連接

正如殘差網絡的設計初衷，跳躍連接可以解決網絡層數較深的情況下梯度消失的問題，同時有助于梯度的反向傳播，加快訓練過程。

通過傳遞卷積層的特征圖到反卷積層，有助于解碼器擁有更多圖像細節信息，從而恢復出更好的干凈圖像。

針對輸入噪聲圖像 X 和輸出干凈圖像 Y，本網絡致力于學習一個殘差即 F(X) = Y - X。

討論

實驗 (a) 對比有無跳躍連接情況下 PSNR 隨迭代次數的變化，可以看到有跳躍連接的情況下 PSNR 有顯著提高。

實驗 (b) 對比不同網絡結構下 Loss 值隨迭代次數的變化，可以看到在同等層數的網絡下，有跳躍連接時 Loss 值相對要小很多。

實驗 (c) 對比一般的殘差網絡(由一系列的殘差塊組成)和本文提出的網絡情況下 PSNR 隨迭代次數的變化，可以看到本文中提出的這種跳躍連接方式可以獲得更好的 PSNR。

網絡的大容量使得本文提出的結構能夠處理不同噪聲等級的圖像去噪問題和不同尺寸參數的超分辨問題。

實驗

因為本網絡的卷積核僅僅是為了消除噪聲，因此對圖像內容的方向不敏感。所以，在測試的時候，我們可以旋轉或者鏡像翻轉卷積核進行多次前向傳播，然后對多次的輸出取平均從而得到一個更平滑的結果。

圖像去噪的實驗結果對比

圖像超分辨的實驗結果對比

可以看到，RED-20, 10 層卷積 10 層反卷積的情況下已經取得了比傳統方法好的效果，而且加深網絡之后還可以取得更好的效果。

噪聲等級越大，本文中提出的網絡比其他網絡的提高幅度就越大，也就是優勢越明顯。