SwinIR

簡介

論文地址：SwinIR: Image Restoration Using Swin Transformer

代碼：SwinIR

? 本文提出了一個基于swin transformer的圖像超分模型swinIR。其中SwinIR分為三部分：淺層特征提取、深層特征提取和高質量圖像重建模塊。

現階段問題

vanilla transformer通過注意力捕獲了全局依賴，但是它是將圖片達成patch進行輸入，這樣在圖像超分領域出現了兩個問題。

• 重建圖像在每個小塊附近存在邊界偽影
• 邊界像素會丟失信息。

雖然通過patch重疊，能進行緩解，但是也帶來額外計算負擔。

主要貢獻

? 將Swin Transformer應用于low-level任務中。

網絡框架

? 采用shallow feature進行淺層特征提取后，輸入到RTSB（多個swin transformer殘差塊）進行深層的特征提取，最后使用高質量圖像重建模塊（卷積和上采樣操作）進行圖像重建。

淺層特征提取

? 在淺層特征提取中是采用的幾個簡單卷積層進行提取，因為卷積層對視覺任務的前期處理，一般對結果以及優化產生好的影響。

? 見這篇論文：Early Convolutions Help Transformers See Better

深層特征提取

? RTSB是采用使用多個STL塊并在最后使用一個conv層進行特征聚合（將卷積操作的歸納偏差引入基于 Transformer 的網絡），同時還采用了殘差結構。

HQ圖像重建

? 采用殘差連接將淺層特征和深層特征進行跳躍連接（淺層特征主要包含低頻，深層特征側重于恢復丟失的高頻），對于圖像超分重建部分，則是采用了PixelShuffle進行實現。

損失

? 經典和輕量級的圖像 SR，我們只使用與之前工作相同的原始 L1 像素損失來展示所提出網絡的有效性。對于真實世界的圖像SR，我們使用像素損失、GAN損失和感知損失的組合來提高視覺質量。

---

參考資料：

• 圖像恢復 SWinIR : 徹底理解論文和源代碼 (注釋詳盡）_聽 風、的博客-CSDN博客