• Desra: detect and delete the artifacts of gan-based real-world super-resolution models.
• DeSRA：檢測并消除基于GAN的真實世界超分辨率模型中的偽影
• Xie L, Wang X, Chen X, et al.
• arXiv preprint arXiv:2307.02457, 2023.

摘要

1. 背景：
   • GAN-SR模型雖然可以恢復圖像的真實細節，但是不可避免的會產生偽影。
2. 目前的研究方法與不足：
   • 在訓練階段通過額外的損失懲罰來抑制偽影。
   • 它們只適用于訓練期間生成的偽影類型，對于實際的真實測試圖像，重建圖像仍然會存在偽影。
3. 提出了本文的方法—DeSRA：
   • 首先測量 MSE-SR 結果和 GAN-SR 結果的相對局部方差距離，并根據上述距離和語義感知閾值定位問題區域。
   • 在檢測到偽影區域后，本文開發了一個微調程序，以使用少量樣本改進GAN-SR 模型。

1. 引言

1. 目前GAN-SR模型的真實世界推理：

   • 對于GAN-SR模型產生的偽影，在訓練期間LDL使用局部判別損失懲罰，但是對于真實世界圖像推理時，重建圖像仍然會存在偽影。
     

2. 本文將GAN-SR偽影出現的不同階段分類：
   （1）GAN訓練偽影：在模型訓練時不穩定優化產生的偽影。（LDL懲罰損失，緩解偽影）
   （2） GAN推理偽影：在使用真實世界圖像的推理過程中產生的偽影。（訓練集未出現）

• 針對GAN推理偽影：
  1. 檢測偽影區域：
     1. 通過計算局部方差來測量基于 MSE 和基于 GAN 的模型生成的結果之間的紋理差異。
     2. 進一步引入語義感知調整，以放大感知偽影敏感區域（例如建筑物、海洋）的差異，同時抑制紋理區域（例如樹葉、動物毛皮）的差異。
  2. 制作偽GT圖像并微調GAN-SR模型：
     1. 收集少量帶有偽影的基于 GAN 的結果，并根據二值化檢測掩碼將偽影區域替換為基于 MSE 的結果。
     2. 使用組合結果作為偽 GT 來構建訓練對，以在極短的迭代周期內對模型進行微調。

3. 總結：
   • 本文首次嘗試分析在推理過程中通常出現在沒有真實數據的未見測試數據上的 GAN 推理偽影。
   • 基于本文的分析，本文設計了一種方法來有效地檢測具有 GAN 推理偽影的區域。
   • 本文進一步提出了一種微調策略，只需要少量的偽影圖像就可以消除相同類型的偽影，這彌補了將 SR 算法應用于實際場景的差距。
   • 與以前的工作相比，本文的方法能夠更準確地檢測未見的偽影，并更有效地緩解 GAN-SR 模型在真實世界測試數據中產生的偽影

2. 相關工作

1. MSE-based Super-Resolution. ：
   • 本質：通過最小化 SR 輸出與 HR 真實值之間的像素距離（$l_1$ 、$l_2$距離）來恢復高保真結果。
   • 缺點：優化像素距離不可避免地會導致缺乏精細細節的平滑重建。
   • 代表模型：SRCNN、VDSR、EDSR、 RCAN
2. GAN-based Super-Resolution ：
   • 本質： 通過GAN的生成器與判別器交替博弈，來提高 SR 結果的感知質量。
   • 缺點：GAN-SR重建的圖像會產生偽影。
   • 代表模型：SRGAN、ESRGAN、 BSRGAN、Real-ESRAGN、RealBasicVSR、FastRealVSR、SPSR 、LDL

3. 方法論

3.1 GAN-SR

• 現有的GAN-SR方法，都是使用三種損失的加權和進行訓練：
  

• 為了解決GAN訓練的不穩定性，首先僅使用$l_{r}econs$進行預訓練，生成MSE-SR模型；然后使用$l_GAN對MSE-SR模型進行微調，來得到最終的GAN-SR模型。

• 通過下圖可以看到，含有偽影的GAN-SR結果的視覺質量甚至比MSE-SR結果更差。并且GAN-SR偽影類型復雜，特征各異，且隨圖像內容不同而不同。
  

因此本文的目的就是檢測出GAN-SR生成圖像的偽影區域，并使用MSE-SR生成圖像來替換此偽影區域。

3.2 檢測偽影區域

本文主要解決的GAN-SR推理偽影：
（1）偽影不會出現在預訓練的MSE-SR模型：在模型訓練時不穩定優化產生的偽影。（確保偽影是由于GAN引起）
（2）偽影明顯， 面積較大。

1. 計算局部紋理的復雜性 ： （局部區域 P 內像素強度的標準差）
   

2. 計算MSE-SR與GAN-SR塊之間的局部紋理差異：
   

• 從上圖可以看到
  • 對于相似語義塊；d越大，GAN偽影越明顯；
  • 對于不同語義塊：d不能直接反應GAN偽影現象；

3. 因此要改進紋理差異為相對值：
   

4. 紋理差異歸一化：
   

5. 分母優化：
   

經過上述操作后，可以看到圖中最后一列已經能夠分辨出GAN-SR相較于MSE-SR產生的偽影，但是任然存在細微的差異，因此進行進一步的優化。
6. SegFormer分割不同區域：

7. 分區域區分偽影： （threshold=0.7）：
   

經過更細致的優化，可以從圖中的最右側看出，已經完全區分了GAN-SR相較于MSE-SR產生的偽影，并且也不會對MSE-SR的相應區域進行細微的懲罰。

3.3 改進GAN-SR模型

通過上述3.2檢測的偽影區域，本文得到了一個結論：

• 沒有偽影的弱恢復甚至比帶有偽影的強恢復更好
  因此使用MSE-SR替換GAN-SR中偽影的區域：
  

3.4 小結

1. 將推理的真實世界圖像通過MSE-SR模型生成偽GT圖像；
2. 使用低分辨率LR圖像與偽GT圖像進行微調訓練,重建出偽影較少的超分辨率SR圖像。

4. 實驗

4.1可視化分析

![[Pasted image 20250310161440.png|500]]

4.2 用戶調研分析

1. 相較于GAN-SR模型，驗證DeSRA模型是否減少偽影：
   • 20組隨機打亂的圖像對，15人參與調研，選擇認為偽影較少的圖像。
2. 相較于MSE-SR模型，驗證DeSRA模型是否重建更多的紋理細節：
   • 20組隨機打亂的圖像對，15人參與調研，選擇認為更多細節的圖像。

5. 結論

1. 分析GAN-SR偽影，并提出了檢測和刪除偽影的DeSRA模型：

   • 首先測量MSE-SR 和 GAN-SR重建圖像的相對局部方差，然后根據距離圖和語義區域定位偽影區域。在檢測到有偽影的區域后，我們使用基于 MSE 的結果作為偽GT圖像來微調模型。

2. SOTA：

   • 實驗表明，DeSRA能夠有效的檢測和刪除偽影，并且顯著提高了GAN-SR模型在真實世界超分辨率技術的實際應用能力。