🧀當前視覺領域對高效長序列建模需求激增,對Mamba+圖像增強這方向的研究自然也逐漸火熱。原因在于其高效長程建模,以及動態計算優勢,在圖像質量提升和細節恢復方面有難以替代的作用。
?
?🧀因此短時間內,就有不少Mamba+圖像增強的成果陸續發表,比較突出的有字節等團隊提出的圖像恢復網絡VmambaIR,僅使用26%的計算成本就實現了超越SOTA的重建精度,還有華為諾亞方舟實驗室等提出的基于Mamba的圖像增強方法TAMambaIR,計算效率起飛。?
?
為幫助大家緊跟領域發展,我總結了11篇熱點研究成果,有代碼的也都有
我還整理出了相關的論文+開源代碼,以下是精選部分論文
?
?
論文1
標題:
MambaUIE: Unraveling the Ocean's Secrets with Only 2.8 GFLOPs
僅用2.8 GFLOPs解開海洋秘密的MambaUIE
方法:
-
Mamba架構:基于狀態空間模型(SSM)的Mamba架構,能夠以線性復雜度對長距離依賴關系進行建模。
-
動態交互-視覺狀態空間塊(DI-VSS):引入視覺狀態空間(VSS)塊來捕獲全局上下文信息,同時挖掘局部信息。
-
空間前饋網絡(SGFN):設計SGFN來處理DI-VSS獲得的特征圖,進一步增強Mamba的局部建模能力。
-
動態交互塊(DIB):通過空間交互(S-I)和通道交互(C-I)操作,動態地對兩個分支的特征圖進行加權,以更好地融合全局和局部信息。
創新點:
-
首次將Mamba應用于UIE任務:打破了FLOPs對UIE準確性的限制,為未來探索更高效的UIE提供了新的基準。
-
性能提升:相比之前的方法,MambaUIE在UIEB數據集上將GFLOPs降低了67.4%(從2.715G降低到2.8 GFLOPs),同時在PSNR和SSIM指標上取得了最佳性能。
-
全局與局部信息融合:通過DI-VSS和DIB的設計,有效地將全局和局部信息結合在一起,提高了模型的準確性和效率。
?
論文2
標題:
Mamba-UIE: Enhancing Underwater Images with Physical Model Constraint?
Mamba-UIE:用物理模型約束增強水下圖像
方法:
-
物理模型約束框架:基于修訂的水下圖像形成模型,將輸入圖像分解為四個組件:水下場景輻射度、直接傳輸圖、后向散射傳輸圖和全局背景光。
-
Mamba-UIE網絡:結合CNN和Mamba的混合架構,利用Mamba在通道和空間層面上對長距離依賴關系進行建模,同時保留CNN主干以恢復局部特征和細節。
-
重建一致性約束:在重建圖像和原始圖像之間應用重建一致性約束,以實現對水下圖像增強過程的有效物理約束。
創新點:
-
物理模型約束:通過引入物理形成模型,考慮了圖像形成過程中的物理定律和現實世界特征,提高了生成圖像的真實性和魯棒性。
-
性能提升:在UIEB數據集上,Mamba-UIE實現了27.13的PSNR和0.93的SSIM,超越了現有的最先進方法。
-
全局與局部依賴關系建模:通過結合CNN和Mamba,同時實現了全局和局部依賴關系的建模,提高了圖像增強的效果
?
論文3
標題:
O-Mamba: O-shape State-Space Model for Underwater Image Enhancement
O-Mamba:O型狀態空間模型用于水下圖像增強
方法:
-
O型雙分支網絡:采用O型雙分支網絡分別對空間和跨通道信息進行建模,利用狀態空間模型的高效全局感受野。
-
多尺度雙向促進模塊(MSBMP):設計MSBMP模塊以增強兩個分支之間的信息交互,并有效利用多尺度信息。
-
多尺度混合專家(MS-MoE):在每個分支內融合多尺度信息,通過多個Mamba專家學習不同尺度的特征表示。
-
循環多尺度優化策略(CMS):通過循環優化不同尺度的損失,減少同時優化多個尺度損失時的潛在沖突。
創新點:
-
雙分支結構:通過空間Mamba分支和通道Mamba分支,從不同維度對水下圖像增強過程進行建模,空間分支起主導作用,通道分支從通道維度進行補充。
-
性能提升:在多個數據集上實現了SOTA性能,例如在LSUI數據集上,PSNR從29提升到30,SSIM從0.9139提升到0.9245。
-
多尺度信息利用:通過MS-MoE和CMS策略,充分利用多尺度信息,提高了模型對不同尺度特征的建模能力。
?
?
論文4
標題:
PixMamba: Leveraging State Space Models in a Dual-Level Architecture for Underwater Image Enhancement
PixMamba:利用狀態空間模型的雙層架構進行水下圖像增強
方法:
-
雙層架構:PixMamba包含兩個關鍵組件:用于重建增強圖像特征的Efficient Mamba Net(EMNet)和用于確保增強圖像全局一致性的PixMamba Net(PixNet)。
-
Efficient Mamba Net(EMNet):結合Efficient Mamba Block(EMB)進行高效的塊級特征提取和依賴關系建模,以及Mamba Upsampling Block(MUB)進行細節保留的上采樣。
-
PixMamba Net(PixNet):在像素級別處理整個圖像,捕獲全局視圖中的詳細特征,通過Block-wise Positional Embedding(BPE)提供空間信息。
-
狀態空間模型(SSM):利用SSM的線性復雜度和長距離建模能力,實現高效的全局依賴關系建模。
創新點:
-
雙層處理:通過結合塊級和像素級處理,PixMamba能夠同時增強微觀細節和宏觀圖像質量,性能優于僅依賴跳過連接的方法。
-
性能提升:在C60數據集上,UIQM從2.667提升到2.868,UCIQE從0.574提升到0.586;在UCCS數據集上,UCIQE從0.55提升到0.561。
-
計算效率:通過引入Mamba Upsampling Block(MUB)和Block-wise Positional Embedding(BPE),在保持高效計算的同時,提高了圖像增強的質量。
?
?
?
?
?