深度學習水論文:mamba+圖像增強

🧀當前視覺領域對高效長序列建模需求激增,對Mamba+圖像增強這方向的研究自然也逐漸火熱。原因在于其高效長程建模,以及動態計算優勢,在圖像質量提升和細節恢復方面有難以替代的作用。

?

?🧀因此短時間內,就有不少Mamba+圖像增強的成果陸續發表,比較突出的有字節等團隊提出的圖像恢復網絡VmambaIR,僅使用26%的計算成本就實現了超越SOTA的重建精度,還有華為諾亞方舟實驗室等提出的基于Mamba的圖像增強方法TAMambaIR,計算效率起飛。?

?

為幫助大家緊跟領域發展,我總結了11篇熱點研究成果,有代碼的也都有

我還整理出了相關的論文+開源代碼,以下是精選部分論文

?

?

論文1

標題:

MambaUIE: Unraveling the Ocean's Secrets with Only 2.8 GFLOPs

僅用2.8 GFLOPs解開海洋秘密的MambaUIE

法:

          • Mamba架構:基于狀態空間模型(SSM)的Mamba架構,能夠以線性復雜度對長距離依賴關系進行建模。

          • 動態交互-視覺狀態空間塊(DI-VSS):引入視覺狀態空間(VSS)塊來捕獲全局上下文信息,同時挖掘局部信息。

          • 空間前饋網絡(SGFN):設計SGFN來處理DI-VSS獲得的特征圖,進一步增強Mamba的局部建模能力。

          • 動態交互塊(DIB):通過空間交互(S-I)和通道交互(C-I)操作,動態地對兩個分支的特征圖進行加權,以更好地融合全局和局部信息。

          創新點:

            • 首次將Mamba應用于UIE任務:打破了FLOPs對UIE準確性的限制,為未來探索更高效的UIE提供了新的基準。

            • 性能提升:相比之前的方法,MambaUIE在UIEB數據集上將GFLOPs降低了67.4%(從2.715G降低到2.8 GFLOPs),同時在PSNR和SSIM指標上取得了最佳性能。

            • 全局與局部信息融合:通過DI-VSS和DIB的設計,有效地將全局和局部信息結合在一起,提高了模型的準確性和效率。

            ?

            論文2

            標題:

            Mamba-UIE: Enhancing Underwater Images with Physical Model Constraint?

            Mamba-UIE:用物理模型約束增強水下圖像

            法:

            • 物理模型約束框架:基于修訂的水下圖像形成模型,將輸入圖像分解為四個組件:水下場景輻射度、直接傳輸圖、后向散射傳輸圖和全局背景光。

            • Mamba-UIE網絡:結合CNN和Mamba的混合架構,利用Mamba在通道和空間層面上對長距離依賴關系進行建模,同時保留CNN主干以恢復局部特征和細節。

            • 重建一致性約束:在重建圖像和原始圖像之間應用重建一致性約束,以實現對水下圖像增強過程的有效物理約束。

            創新點:

                      • 物理模型約束:通過引入物理形成模型,考慮了圖像形成過程中的物理定律和現實世界特征,提高了生成圖像的真實性和魯棒性。

                      • 性能提升:在UIEB數據集上,Mamba-UIE實現了27.13的PSNR和0.93的SSIM,超越了現有的最先進方法。

                      • 全局與局部依賴關系建模:通過結合CNN和Mamba,同時實現了全局和局部依賴關系的建模,提高了圖像增強的效果

                      ?

                      論文3

                      標題:

                      O-Mamba: O-shape State-Space Model for Underwater Image Enhancement

                      O-Mamba:O型狀態空間模型用于水下圖像增強

                      方法:

                            • O型雙分支網絡:采用O型雙分支網絡分別對空間和跨通道信息進行建模,利用狀態空間模型的高效全局感受野。

                            • 多尺度雙向促進模塊(MSBMP):設計MSBMP模塊以增強兩個分支之間的信息交互,并有效利用多尺度信息。

                            • 多尺度混合專家(MS-MoE):在每個分支內融合多尺度信息,通過多個Mamba專家學習不同尺度的特征表示。

                            • 循環多尺度優化策略(CMS):通過循環優化不同尺度的損失,減少同時優化多個尺度損失時的潛在沖突。

                            創新點:

                                    • 雙分支結構:通過空間Mamba分支和通道Mamba分支,從不同維度對水下圖像增強過程進行建模,空間分支起主導作用,通道分支從通道維度進行補充。

                                    • 性能提升:在多個數據集上實現了SOTA性能,例如在LSUI數據集上,PSNR從29提升到30,SSIM從0.9139提升到0.9245。

                                    • 多尺度信息利用:通過MS-MoE和CMS策略,充分利用多尺度信息,提高了模型對不同尺度特征的建模能力。

                                    ?

                                    ?

                                    論文4

                                    標題:

                                    PixMamba: Leveraging State Space Models in a Dual-Level Architecture for Underwater Image Enhancement

                                    PixMamba:利用狀態空間模型的雙層架構進行水下圖像增強

                                    法:

                                          • 雙層架構:PixMamba包含兩個關鍵組件:用于重建增強圖像特征的Efficient Mamba Net(EMNet)和用于確保增強圖像全局一致性的PixMamba Net(PixNet)。

                                          • Efficient Mamba Net(EMNet):結合Efficient Mamba Block(EMB)進行高效的塊級特征提取和依賴關系建模,以及Mamba Upsampling Block(MUB)進行細節保留的上采樣。

                                          • PixMamba Net(PixNet):在像素級別處理整個圖像,捕獲全局視圖中的詳細特征,通過Block-wise Positional Embedding(BPE)提供空間信息。

                                          • 狀態空間模型(SSM):利用SSM的線性復雜度和長距離建模能力,實現高效的全局依賴關系建模。

                                          創新點:

                                                  • 雙層處理:通過結合塊級和像素級處理,PixMamba能夠同時增強微觀細節和宏觀圖像質量,性能優于僅依賴跳過連接的方法。

                                                  • 性能提升:在C60數據集上,UIQM從2.667提升到2.868,UCIQE從0.574提升到0.586;在UCCS數據集上,UCIQE從0.55提升到0.561。

                                                  • 計算效率:通過引入Mamba Upsampling Block(MUB)和Block-wise Positional Embedding(BPE),在保持高效計算的同時,提高了圖像增強的質量。

                                                  ?

                                                  ?

                                                  ?

                                                  ?

                                                  ?

                                                  本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
                                                  如若轉載,請注明出處:http://www.pswp.cn/news/908893.shtml
                                                  繁體地址,請注明出處:http://hk.pswp.cn/news/908893.shtml
                                                  英文地址,請注明出處:http://en.pswp.cn/news/908893.shtml

                                                  如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

                                                  相關文章

                                                  今天對C語言中static和extern關鍵字的作用認識又深刻了

                                                  用了這么久的C語言,之前對于static關鍵字的用法總是一知半解,今天終于搞清楚了,寫個文章簡單記錄一下。 用static修飾的變量,不管是全局變量還是局部變量,其存儲位置都是靜態存儲區,全局變量作用域是當前文…

                                                  河北對口計算機高考MySQL筆記(完結版)(2026高考)持續更新~~~~

                                                  MySQL 基礎概念 數據(Data):文本,數字,圖片,視頻,音頻等多種表現形式,能夠被計算機存儲和處理。 **數據庫(Data Base—簡稱DB):**存儲數據的倉庫…

                                                  vmware ubuntu擴展硬盤(可用)

                                                  一、 右鍵需要的虛擬機,選擇設置,調整最大內存 二、安裝gparted軟件 sudo apt-get install gparted 三、搜索應用然后打開 四、右鍵/dev/sda3 五、調整大小 六、勾選確定 點綠色勾:

                                                  RoBERTa 和 BERT 的簡介與對比

                                                  RoBERTa 和 BERT 是什么 一、BERT(Bidirectional Encoder Representations from Transformers) 提出背景:由谷歌于2019年提出,是自然語言處理領域的里程碑模型,基于Transformer編碼器架構,通過預訓練生成雙向語言表示。 核心特點: 雙向預訓練:通過掩碼語言模型(MLM)…

                                                  前端繪制道路魚骨圖

                                                  項目背景&#xff1a;需要實現道路情況魚骨圖&#xff0c;根據上下行道路分別顯示對應的道路情況和沿路設施狀況&#xff0c;箭頭根據所示方向平滑移動 1.封裝組件&#xff0c;創建FishboneDiagram.vue文件 <template><div class"fishedOneBox flex items-cente…

                                                  selinux firewalld

                                                  一、selinux 1.說明 SELinux 是 Security-Enhanced Linux 的縮寫,意思是安全強化的 linux; SELinux 主要由美國國家安全局(NSA)開發,當初開發的目的是為了避免資源的誤用 DAC(Discretionary Access Control)自主訪問控制系統MAC(Mandatory Access Control)強制訪問控…

                                                  RSS 2025|從說明書學習復雜機器人操作任務:NUS邵林團隊提出全新機器人裝配技能學習框架Manual2Skill

                                                  視覺語言模型&#xff08;Vision-Language Models, VLMs&#xff09;&#xff0c;為真實環境中的機器人操作任務提供了極具潛力的解決方案。 盡管 VLMs 取得了顯著進展&#xff0c;機器人仍難以勝任復雜的長時程任務&#xff08;如家具裝配&#xff09;&#xff0c;主要受限于人…

                                                  NPOI Excel用OLE對象的形式插入文件附件以及插入圖片

                                                  static void Main(string[] args) {XlsWithObjData();Console.WriteLine("輸出完成"); }static void XlsWithObjData() {// 創建工作簿和單元格,只有HSSFWorkbook,XSSFWorkbook不可以HSSFWorkbook workbook new HSSFWorkbook();HSSFSheet sheet (HSSFSheet)workboo…

                                                  企業數字化轉型實戰:某行業研究院如何通過SD-WAN技術優化網絡架構?

                                                  一、引言 隨著企業數字化轉型的深入推進&#xff0c;傳統網絡架構在靈活性、可靠性和管理效率方面逐漸暴露不足。SD-WAN&#xff08;軟件定義廣域網&#xff09;技術憑借其智能化、自動化和高效的特點&#xff0c;逐漸成為企業網絡架構優化的首選方案。本文以某研究院數字化基…

                                                  數字證書_CA_詳解

                                                  目錄 一、數字證書簡介 二、 CA&#xff08;證書頒發機構&#xff09; (一) 證書鏈&#xff08;信任鏈&#xff09; 1. 根證書 2. 中間證書 3. 網站證書 (二) 抓包軟件的證書鏈與信任機制 1. 抓包通信流程 2. 證書鏈偽造與信任驗證流程 (三) 關于移動設備的CA 一、數…

                                                  Android協程學習

                                                  目錄 Android上的Kotlin協程介紹基本概念與簡單使用示例協程的高級用法 結構化并發線程調度器(Dispatchers)自定義調度器并發:同步 vs 異步 異步并發(async 并行執行)同步順序執行協程取消與超時 取消機制超時控制異步數據流 Flow協程間通信 使用 Channel使用 StateFlow /…

                                                  統計學(第8版)——假設檢驗學習筆記(考試用)

                                                  一、假設檢驗核心框架 &#xff08;一&#xff09;解決的核心問題 判斷樣本與總體 / 樣本與樣本的差異是由抽樣誤差還是本質差異引起 典型場景&#xff1a; 產品合格率是否達標&#xff08;比例檢驗&#xff09;工藝改進后均值是否顯著變化&#xff08;均值檢驗&#xff09…

                                                  Java求職者面試:微服務技術與源碼原理深度解析

                                                  Java求職者面試&#xff1a;微服務技術與源碼原理深度解析 第一輪&#xff1a;基礎概念問題 1. 請解釋什么是微服務架構&#xff0c;并說明其優勢和挑戰。 微服務架構是一種將單體應用拆分為多個小型、獨立的服務的軟件開發方法。每個服務都運行在自己的進程中&#xff0c;并…

                                                  c# 局部函數 定義、功能與示例

                                                  C# 局部函數&#xff1a;定義、功能與示例 1. 定義與功能 局部函數&#xff08;Local Function&#xff09;是嵌套在另一個方法內部的私有方法&#xff0c;僅在包含它的方法內可見。 ? 作用&#xff1a;封裝僅用于當前方法的邏輯&#xff0c;避免污染類作用域&#xff0c;提升…

                                                  ava多線程實現HTTP斷點續傳:原理、設計與代碼實現

                                                  一、引言 在當今互聯網環境下&#xff0c;大文件下載需求日益增長。傳統單線程下載方式效率低下&#xff0c;且一旦下載中斷&#xff0c;需要重新開始。斷點續傳技術通過將文件分塊并利用多線程并行下載&#xff0c;顯著提升了下載效率&#xff0c;同時支持中斷后繼續下載。本…

                                                  vla學習 富

                                                  # 基于diffusion # π0 ## 架構 其核心思想是在預訓練好的視覺語言模型&#xff08;VLM&#xff09;基礎上添加一個“動作專家”&#xff08;action expert&#xff09;&#xff0c;通過流匹配&#xff08;flow matching&#xff09;的方式生成連續的高頻控制指令。整個架構可以…

                                                  降雨預測系統(機器學習)

                                                  這是一個基于Python開發的降雨預測系統,使用機器學習算法對指定月份的降雨概率進行預測。該系統提供了友好的圖形用戶界面(GUI),支持數據可視化和交互式操作。 ## 功能特點 - ?? 生成歷史降雨數據(2015-2024年) - ?? 使用邏輯回歸模型進行降雨預測 - ?? 可視化…

                                                  邏輯回歸與Softmax

                                                  Softmax函數是一種將一個含任意實數的K維向量轉化為另一個K維向量的函數,這個輸出向量的每個元素都在(0, 1)區間內,并且所有元素之和等于1。 因此,它可以被看作是某種概率分布,常用于多分類問題中作為輸出層的激活函數。這里我們以拓展邏輯回歸解決多分類的角度對Softmax函…

                                                  基于PSO與BP神經網絡分類模型的特征選擇實戰(Python實現)

                                                  說明&#xff1a;這是一個機器學習實戰項目&#xff08;附帶數據代碼文檔&#xff09;&#xff0c;如需數據代碼文檔可以直接到文章最后關注獲取。 1.項目背景 在機器學習建模過程中&#xff0c;特征選擇是提升模型性能、降低計算復雜度的重要環節。尤其在高維數據場景下&…

                                                  深度學習之模型壓縮三駕馬車:基于ResNet18的模型剪枝實戰(1)

                                                  一、背景&#xff1a;為什么需要模型剪枝&#xff1f; 隨著深度學習的發展&#xff0c;模型參數量和計算量呈指數級增長。以ResNet18為例&#xff0c;其在ImageNet上的參數量約為1100萬&#xff0c;雖然在服務器端運行流暢&#xff0c;但在移動端或嵌入式設備上部署時&#xf…