YOLO12 改進|融入 Mamba 架構:插入視覺狀態空間模塊 VSS Block 的硬核升級

????????在醫學圖像分割領域,傳統卷積神經網絡(CNNs)受限于局部感受野,難以捕捉長距離依賴關系,而基于 Transformer 的模型因自注意力機制的二次計算復雜度,在處理高分辨率圖像時效率低下。近年來,狀態空間模型(SSMs)如 Mamba 展現出線性復雜度建模長序列的優勢,其視覺變體 Vision Mamba(VMamba)通過引入二維選擇性掃描機制,進一步提升了在圖像任務中的全局特征提取能力。VSS Block 作為 VMamba 的核心組件,旨在解決傳統模型在全局上下文建模與計算效率之間的矛盾,為醫學圖像分割提供更優的特征表達方案。

上面是原模型,下面是改進模型

1. 視覺狀態空間模塊VSS Block介紹?

????????VSS Block 基于狀態空間模型的離散化理論,通過線性常微分方程(ODE)建模動態系統,并通過時間尺度參數 Δ 將連續系統轉化為離散序列處理。其核心模塊 2D 選擇性掃描(SS2D)借鑒結構化狀態空間模型(S4)的多方向掃描策略,將二維圖像沿水平、垂直、對角線等方向展開為一維序列,利用選擇性機制(如 S6 操作)實現線性時間復雜度的全局特征提取。同時,結合 SiLU 激活函數的非線性變換與特征融合策略,VSS Block 能夠動態聚焦關鍵區域,增強模型對復雜圖像結構的適應性。

VSS Block 采用雙分支并行架構(如圖 2.c 所示):

????????主分支:輸入圖像經線性嵌入后,通過 3×3 深度卷積提取局部特征,再由 SS2D 模塊進行四方向掃描,捕捉全局上下文,經層歸一化后輸出結構化特征。

????????副分支:直接對線性嵌入結果應用 SiLU 激活函數,保留原始特征的非線性響應。

????????特征融合:主副分支輸出通過逐元素相乘(Hadamard Product)結合,生成最終特征圖,實現全局結構信息與局部細節的互補。

2. YOLOv12與視覺狀態空間模塊VSS Block的結合? ???? ? ?

?????????將 VSS Block 插入 YOLO12 中,其雙向狀態空間模型與多方向掃描機制可高效捕捉圖像全域上下文及多尺度細節,增強對復雜場景中目標的特征表征能力,尤其提升小目標檢測精度;結合線性計算與動態注意力設計,在輕量化基礎上優化特征跨層融合效率,助力 YOLO12 實現更快速精準的多目標定位與分類。

3. 視覺狀態空間模塊VSS Block代碼部分

YOLO12模型改進方法,快速發論文,總有適合你的改進,還不改進上車_嗶哩嗶哩_bilibili

YOLO12 改進|融入 Mamba 架構 助你輕松發三四區論文_嗶哩嗶哩_bilibili

?更多代碼:YOLOv8_improve/YOLOV12.md at master · tgf123/YOLOv8_improve · GitHub

?4. 將視覺狀態空間模塊VSS Block引入到YOLOv12中

第一: 先新建一個v12_changemodel,將下面的核心代碼復制到下面這個路徑當中,如下圖如所示。E:\Part_time_job_orders\YOLO_NEW\YOLOv12\ultralytics\v12_changemodel。

? ? ?????????????????

第二:在task.py中導入

????????????????

第三:在task.py中的模型配置部分下面代碼

??????????

第四:將模型配置文件復制到YOLOV12.YAMY文件中

?????????

? ???????????????????????????????????????????????第五:運行代碼


from ultralytics.models import NAS, RTDETR, SAM, YOLO, FastSAM, YOLOWorldif __name__=="__main__":# 使用自己的YOLOv12.yamy文件搭建模型并加載預訓練權重訓練模型model = YOLO(r"E:\Part_time_job_orders\YOLO_NEW\YOLOv12\ultralytics\cfg\models\12\yolo12_VMKLA.yaml")\.load(r'E:\Part_time_job_orders\YOLO_NEW\YOLOv12\yolo12n.pt')  # build from YAML and transfer weightsresults = model.train(data=r'E:\Part_time_job_orders\YOLO\YOLOv12\ultralytics\cfg\datasets\VOC_my.yaml',epochs=300,imgsz=640,batch=64,# cache = False,# single_cls = False,  # 是否是單類別檢測# workers = 0,# resume=r'D:/model/yolov8/runs/detect/train/weights/last.pt',amp = True)

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/86316.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/86316.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/86316.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

MATLAB遍歷生成20到1000個節點的無線通信網絡拓撲推理數據

功能: 遍歷生成20到1000個節點的無線通信網絡拓撲推理數據,包括網絡拓撲和每個節點發射的電磁信號,采樣率1MHz/3000,信號時長5.7s,單幀數據波形為實采 數據生成效果: 拓撲及空間位置: 節點電磁…

oss:上傳圖片到阿里云403 Forbidden

訪問圖片出現403Forbidden問題,我們可以直接登錄oss賬號,查看對應權限是否開通,是否存在跨域問題

香橙派3B學習筆記8:snap安裝管理軟件包_打包倆個有調用的python文件

現在嘗試一下打包多個有互相調用的 py程序: ssh : orangepi本地ip 密碼 : orangepi 操作系統發行版: 基于 Ubuntu 20.04.6 LTS(Focal Fossa)的定制版本,專門為 Orange Pi 設備優化。PRETTY_NAM…

Spring Boot 中實現 HTTPS 加密通信及常見問題排查指南

Spring Boot 中實現 HTTPS 加密通信及常見問題排查指南 在金融行業安全審計中,未啟用HTTPS的Web應用被列為高危漏洞。通過正確配置HTTPS,可將中間人攻擊風險降低98%——本文將全面解析Spring Boot中HTTPS的實現方案與實戰避坑指南。 一、HTTPS 核心原理與…

前端對WebSocket進行封裝,并建立心跳監測

WebSocket的介紹: WebSocket 是一種在客戶端和服務器之間進行全雙工、雙向通信的協議。它是基于 HTTP 協議,但通過升級(HTTP 升級請求)將連接轉換為 WebSocket 協議,從而提供更高效的實時數據交換。 WebSocket 的特點…

【AI】智駕地圖在不同自動駕駛等級中的作用演變

一、功能價值動態模型:基于自動駕駛等級的權重遷移 功能演變四階段: █ 輔助階段(L2):單功能補足 → █ 拓展階段(L2 NOA):多模態增強 → █ 融合階段(L3)…

Java處理字符數組轉換為開始日期和結束日期

在Java中處理字符數組表示的TransactionTime(例如["2025-06-01","2025-06-10"]),將其轉換為開始時間和結束時間,推薦使用Java 8的java.time API(如LocalDate)。以下是完整代碼示例&…

【筆記】Poetry虛擬環境創建示例

#工作記錄 【筆記】結合 Conda任意創建和配置不同 Python 版本的雙軌隔離的 Poetry 虛擬環境-CSDN博客 在PowerShell中: Windows PowerShell Copyright (C) Microsoft Corporation. All rights reserved.Install the latest PowerShell for new features and improv…

20242817李臻-安全文件傳輸系統-項目驗收

安全文件傳輸系統項目報告 項目概述 本實驗旨在設計并實現一個完整的安全文件管理系統,基于SM2SM3SM4混合密碼體系,構建了一個具備高安全性的C/S架構文件傳輸平臺。項目采用C/S架構,使用Qt框架開發,滿足Linux系統調用、Socket網…

2025年- H76-Lc184--55.跳躍游戲(貪心)--Java版

1.題目描述 2.思路 只要是在最大覆蓋范圍覆蓋了,就是覆蓋了。 局部最優:每遍歷一個元素取它最大的覆蓋范圍 全局最優:在這個序列里,可以得到最大的覆蓋范圍。如果覆蓋范圍能達到最后一個元素,就是全局最優 &#xff0…

05.查詢表

查詢表 字段顯示可以使用別名: col1 AS alias1, col2 AS alias2, … WHERE子句:指明過濾條件以實現“選擇"的功能: 過濾條件: 布爾型表達式算術操作符:,-,*,/,%比較操作符:,<>(相等或都為空),<>,!(非標準SQL),>,>,<,<范圍查詢: BETWEEN min_num …

Python學習——數組的行列互換

數組的行列互換 data [ [col for col in range (4)] for row in range (4)] for row in data: print (row) print(“--------------”) for r_index,row in enumerate(data): for c_index in range (r_index,len(row)): tmp data [c_index] [r_index] data[c_index] [r_index…

bugku 應急加固1

Linux的應急加固 一、JS劫持 獲取JS劫持域名 JS劫持&#xff0c;JavaScript Hijacking介紹&#xff1a; 攻擊者通過某種方式篡改網頁中的JavaScript代碼&#xff0c;從而使網頁跳轉到惡意域名。 常見攻擊方式有&#xff1a; 中間人攻擊&#xff0c;在網絡傳輸過程中攔截并修…

ant-design4.xx實現數字輸入框; 某些輸入法數字需要連續輸入兩次才顯示

目錄 一、問題 二、解決方法 三、總結 一、問題 1.代碼里有一個基于ant封裝的公共組件數字輸入框&#xff0c;測試突然說 無效了&#xff0c;輸入其他字符也會顯示&#xff1b;改了只有又發現某些 輸入法 需要連續輸入兩次 才能顯示出來。 二、解決方法 1.就離譜&#xff0…

鄭州工程技術學院赴埃文科技開展訪企拓崗促就業活動

6 月 3 日&#xff0c;鄭州工程技術學院信息工程學院&軟件學院黨總支書記尚德基、校企合作處處長吳博、軟件學院院長葉愷、信息工程學院院長馬耀鋒、副院長黃繼海、河南省人工智能產業創新發展聯盟執行秘書長孟松濤等領導一行到訪鄭州埃文科技有限公司。埃文科技總經理助理…

pandas 字符串存儲技術演進:從 object 到 PyArrow 的十年歷程

文章目錄 1. 引言2. 階段1&#xff1a;原始時代&#xff08;pandas 1.0前&#xff09;3. 階段2&#xff1a;Python-backed StringDtype&#xff08;pandas 1.0 - 1.3&#xff09;4. 階段3&#xff1a;PyArrow初次嘗試&#xff08;pandas 1.3 - 2.1&#xff09;5. 階段4&#xf…

[特殊字符] 在 React Native 項目中封裝 App Icon 一鍵設置命令(支持參數與默認路徑)

?? 前置依賴 使用的是社區維護的 CLI 工具: @bam.tech/react-native-make它擴展了 react-native 命令,支持 set-icon 功能。 安裝: yarn add -D "@bam.tech/react-native-make"?? 封裝目標 我們希望能夠通過以下方式調用: # 默認使用 ./icon.png yarn …

[論文閱讀] 人工智能 | 搜索增強LLMs的用戶偏好與性能分析

【論文解讀】Search Arena&#xff1a;搜索增強LLMs的用戶偏好與性能分析 論文信息 作者: Mihran Miroyan, Tsung-Han Wu, Logan King等 標題: Search Arena: Analyzing Search-Augmented LLMs 來源: arXiv preprint arXiv:2506.05334v1, 2025 一、研究背景&#xff1a;…

[2025CVPR]確定性圖像轉換新突破:雙逼近器布朗橋模型(Dual-approx Bridge)技術詳解

本文深入解析CVPR 2024頂會論文《Deterministic Image-to-Image Translation via Denoising Brownian Bridge Models with Dual Approximators》,揭示確定性圖像轉換的核心突破 一、問題背景:確定性圖像轉換的挑戰 在圖像轉換任務中(如超分辨率、醫學影像處理),?確定性…

Python Pytest

1.Pytest用例發現規則 1.1 模塊名(python文件)名必須以 test_ 開頭或 _test 結尾&#xff0c;如 test_case&#xff0c;case_test&#xff0c;下劃線都不能少 1.2 模塊不能放在 . 開頭的隱藏目錄或者叫 venv的目錄下&#xff0c;virtual environment&#xff0c;叫venv1都可以…