近年來，圖像超分辨率（SR）領域在深度學習技術的推動下取得了顯著進展，尤其在模型架構優化、計算效率提升和真實場景適應性等方面涌現出諸多創新。以下是基于最新研究的核心進展梳理：
一、高效大圖像處理：像素級動態資源分配
三星在ECCV 2024提出的**PCSR（Pixel-Level Classifier for Single Image Super-Resolution）**針對大圖像處理中的計算冗余問題，首次實現了像素級動態資源分配。該方法將低分辨率（LR）圖像的每個像素分配給不同容量的上采樣器，通過K均值聚類自動識別恢復難度，并結合后處理消除偽影。實驗表明，PCSR在Test2K/4K/8K等基準測試中顯著提升了PSNR-FLOP權衡，尤其在處理包含復雜紋理的大圖像時，通過減少40%以上的冗余計算仍能保持高分辨率細節。
二、Transformer架構的優化與擴展
-
SwinIR的分層注意力機制
SwinIR將Swin Transformer引入超分辨率，通過分層窗口自注意力和移位窗口機制平衡全局與局部信息建模。其核心創新包括：- 多任務泛化：同一模型可處理SR、去噪、JPEG壓縮 artifact 修復等任務。
- 殘差連接增強：在Transformer塊和整體架構中引入殘差路徑，提升高頻細節恢復穩定性。
- 輕量化設計：通過減少頭數和通道數，在移動端實現接近ESRGAN的性能，同時減少30%參數。
-
SwinFIR的全局信息增強
SwinFIR針對SwinIR早期層感受野不足的問題，在深度特征提取模塊中引入快速傅里葉卷積（FFC），將全局頻域信息與局部空域特征融合。實驗顯示，SwinFIR在Manga109數據集上PSNR達32.83 dB，比SwinIR提升0.8 dB，尤其在大尺度（×8）超分中表現突出。
三、擴散模型的突破與加速
-
StableSR的擴散先驗應用
StableSR基于Stable Diffusion預訓練模型，通過微調實現真實世界超分辨率。其核心優勢包括：- 任意尺度擴展：支持4K以上分辨率生成（如4096×6144），通過DDIM采樣和負提示控制細節多樣性。
- 零樣本泛化：在未見過的退化類型（如混合噪聲+模糊）下仍能生成自然結果，CLIPIQA得分較傳統方法提升15%。
- 多模態集成：結合VQGAN壓縮感知和文本引導，可生成符合語義的高分辨率圖像。
-
ResShift的快速擴散采樣
ResShift通過構建HR-LR殘差移位的馬爾可夫鏈，將擴散步驟從1000+壓縮至15步，同時保持PSNR/SSIM指標領先。其關鍵技術包括：- 噪聲控制方案：動態調整移位速度和噪聲強度，在15步內實現與LDM（1000步）相當的視覺效果。
- 頻域特征增強：用Swin Transformer替換UNet自注意力層，提升長距離依賴建模能力。
四、實時高分辨率處理的優化
CVPR 2023的實時4K超分方案通過以下技術實現效率突破：
- 像素反洗牌（Pixel Unshuffling）：將高分辨率特征降采樣至低分辨率處理，減少計算量40%。
- 結構重參數化：將3×3卷積分解為1×3和3×1卷積，在保持精度的同時提升推理速度2倍。
- 高頻細節增強模塊：通過可分離卷積提取邊緣信息，在4K視頻處理中達到30 FPS的實時性能。
五、自監督與盲超分的創新
-
盲視頻超分的自我監督學習
TPAMI 2024的自我監督深度盲視頻SR方法無需真實HR視頻，通過以下機制實現端到端訓練：- 輔助配對數據生成：根據成像原理從LR視頻中生成偽HR-LR對，約束模糊核估計和HR恢復。
- 光流引導時空建模：結合PWC-Net估計光流，利用相鄰幀信息提升時間一致性。
- 稀疏核約束：通過L1正則化強制模糊核稀疏性，避免平凡解。
-
真實場景泛化能力提升
NTIRE 2024挑戰賽中，多支隊伍采用多退化聯合建模（如混合模糊+噪聲+壓縮）和數據增強策略（如通道混洗、混合增強），在DIV2K測試集上PSNR突破38 dB。部分方案還引入CLIP特征作為感知損失，顯著提升生成結果的真實感。
六、挑戰賽與工業界趨勢
NTIRE 2024超分挑戰賽吸引199支隊伍參賽，前10名方案普遍采用以下技術：
- Transformer+CNN混合架構：如結合Swin Transformer和殘差密集網絡（RDN）。
- 漸進式重建：從粗到精分階段生成，減少偽影。
- 知識蒸餾：將大模型知識遷移至輕量化模型，在移動端實現接近PC端的性能。
工業界方面，Adobe、NVIDIA等公司已將超分技術集成到Creative Cloud、DLSS等產品中，重點優化多尺度支持（1×至16×）和實時交互（如Photoshop的智能放大工具）。
總結
當前圖像超分辨率研究呈現三大趨勢：
- 效率與性能的平衡：通過動態資源分配、架構優化和擴散模型加速，在大圖像和實時場景中取得突破。
- 真實場景適應性：自監督學習、盲超分和多退化建模提升模型泛化能力。
- 多模態與生成式方法：擴散模型、文本引導和3D感知技術為超分注入新范式。
未來，隨著硬件性能提升和生成模型的進一步融合，超分辨率有望在醫療影像、自動駕駛等領域實現更廣泛的應用。
