傳統視覺模型在處理大規模或高分辨率圖像時存在一定限制，為解決這個問題，研究者們就最近依舊火熱的Mamba，提出了Mamba結合CNN的策略。

這種結合可以讓Mamba在處理長序列數據時既能夠捕捉到序列中的時間依賴關系，又能夠利用CNN的局部特征提取能力來加速處理過程，實現計算效率與模型性能的雙贏，因此被廣泛應用于各大領域。

比如在醫學圖像分割領域的應用中，Weak-Mamba-UNet等網絡架構通過結合兩者優勢，有效地解決了醫學圖像中復雜的結構和模式識別問題，準確率高達99.63%。

另外還有HC-Mamba、InsectMamba等，都是最新提出的效果nice的結合成果。為幫助大家快速了解并掌握前沿，我挑選并整理了2024新發表的9篇Mamba+CNN高質量工作，可參考的創新點都提煉好了，開源代碼已附。

論文原文+開源代碼需要的同學看文末

HC-MAMBA: VISION MAMBA WITH HYBRID CONVOLUTIONAL TECHNIQUES FOR MEDICAL IMAGE SEGMENTATION

方法：論文提出了新型醫學圖像分割模型HC-Mamba。HC-Mamba基于Mamba結合了多種為醫學圖像優化的卷積技術，包括擴張卷積和深度可分離卷積。這些技術的結合使得HC-Mamba能夠在保持高性能的同時，以更低的計算成本處理大規模醫學圖像數據。

HC-Mamba模型在醫學圖像分割任務中表現出色，實驗結果顯示其具有高準確率(94.84%)、mIoU(80.72%)和DSC(89.26%)的有效性，證明了其在醫學圖像分割領域的有效性和實用性。

創新點：

• 提出了一種用于醫學圖像分割的混合卷積 Mamba 模型（HC Mamba），它結合了多種針對醫學圖像優化的卷積方法，以提高模型的感受野并減少模型的參數。

• 引入了 HC-Mamba 模型中的擴張卷積技術，讓模型能夠在不增加計算成本的情況下捕捉更廣泛的上下文信息，通過擴展卷積核的感知域來增強模型對不同尺度圖像結構的感知能力。

InsectMamba: Insect Pest Classification with State Space Model

方法：論文介紹了一個名為InsectMamba的新型方法，它結合了SSMs、CNNs、多頭自注意力機制以及MLPs。InsectMamba通過在Mix-SSM塊中整合這些不同的視覺編碼策略，來提取更全面的視覺特征，用于昆蟲害蟲分類任務。論文還提出了一個選擇性模塊，用于自適應地聚合不同編碼策略中的特征，增強模型識別害蟲特征的能力。

創新點：

• 首次嘗試將基于SSM的模型應用于昆蟲害蟲分類，提出了InsectMamba模型。

• 提出了一種選擇性聚合模塊，可以自適應地組合來自不同編碼策略的視覺特征，從而使模型能夠選擇用于分類的相關特征。

• 實驗結果顯示，InsectMamba在準確率、精確度、召回率和F1分數等評價指標上均優于現有模型，特別是在農業害蟲數據集上達到了91%的準確率。

Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation

方法：論文介紹了一個名為Weak-Mamba-UNet的新型弱監督學習框架，它結合了CNN、ViT以及最新的視覺Mamba架構，用于基于涂鴉（scribble-based）注釋的醫學圖像分割。其在公開可用的MRI心臟分割數據集上表現出色，Dice系數達到0.9171，準確率達到0.9963。

創新點：

• Weak-Mamba-UNet是一種創新的弱監督學習框架，通過結合CNN、ViT和VMamba的特征學習能力，顯著降低了注釋所需的成本和資源。

• 該框架采用多視角交叉監督學習方法，增強了不同網絡架構的適應性，使它們能夠相互受益。

Large Window-based Mamba UNet for Medical Image Segmentation: Beyond Convolution and Self-attention

方法：論文介紹了一個名為LMa-UNet的新型網絡結構，用于2D和3D醫學圖像分割。LMa-UNet利用了Mamba進行長距離依賴建模，并且結合了大窗口的優勢，以實現局部空間建模和全局建模的高效性。論文中還設計了一種新穎的分層和雙向Mamba塊（LM塊），以進一步增強Mamba在全局和鄰域空間建模能力。

創新點：

• 提出了一種用于2D/3D醫學圖像分割的大內核Mamba UNet模型（LKM-UNet）。

• 通過給SSM層分配大內核，實現了大感受野的空間建模能力。

• 設計了一種雙向和分層的Mamba模塊，增強了SSM的局部和全局特征建模能力。

關注下方《學姐帶你玩AI》🚀🚀🚀

回復“曼巴CNN”獲取全部論文+開源代碼

碼字不易，歡迎大家點贊評論收藏