STM32N6引入NPU,為邊緣AI插上“隱形的翅膀”

2025年的春天格外特別。伴隨著人形機器人、DeepSeek的強勢刷屏,AI成了最有前景的賽道。萬物皆可AI,萬物也在尋覓用上AI或者讓AI“轉正”的“aha moment”。

幫助機器更好地“思考”,讓更多的AI走向邊緣,是AI發展的重要趨勢之一。在MCU中加入NPU單元是落實這一趨勢的芯片技術路線之一,STM32N6便是MCU+NPU架構的開山之作,它擁有MPU級的AI性能,同時具備MCU級的功耗和成本。這一獨特的價值定位,讓邊緣AI部署更輕松。

我們發現,在人工智能芯片技術持續創新的過程中,許多神經網絡算法對傳統MCU的要求過高,為了運行這些算法,實現邊緣AI功能,開發者不得不采用集成神經處理單元(NPU)的MPU。當集成ST自研NPU的STM32N6問世之后,它可以替代那些性能強大的MPU,在保持貼近原始輸入數據源、降低延遲、增強數據安全性和隱私性等優勢的同時,還能降低系統成本(BOM成本更低)、加強系統的實時操作性、滿足更低的功耗要求。

1. STM32N6特性概覽

STM32N6是意法半導體最新且性能最強勁的STM32 MCU,它強在:

  • 專用嵌入式神經處理單元(NPU)STM32N6集成ST自研硬件NPU,處理能力達600GOPS;同時具有3TOPS/W的極低功耗,在運行AI模型時,不需要任何散熱裝置。
  • Arm Cortex-M55內核?STM32N6內核為Cortex-M55,主頻達800MHz,新增150個DSP矢量擴展指令集(MVE),可實現在數據被送到NPU之前的預處理,或從NPU得到結果的后處理。
  • 大容量嵌入式RAM?STM32N6內置4.2 Mbytes嵌入式RAM,支持實時數據處理和多任務處理,如存儲NPU運算中的推理數據,或作為幀緩存,或H264壓縮時的中間數據。
  • 強大的計算機視覺能力?STM32N6集成并行和MIPI CSI-2攝像頭接口及專用圖像處理單元(ISP),提供600GOPS的AI處理算力,可勝任很多機器視覺應用。
  • 擴展的多媒體功能?STM32N6集成2.5D圖形加速器、H264編碼器,以及JPEG編解碼的硬件加速,能輕松實現在運行AI處理時,把從攝像頭獲取的視頻通過以太網口或USB(UVC協議)傳輸到外部。
  • 增強的安全功能?STM32N6包括為Cortex-M55核和NPU配備的Arm TrustZone,目標認證SESIP3、PSA L3。

2. NPU引入MCU,將觸發邊緣AI應用新場景的“aha moment”

STM32N6之所以能夠實現MPU級別的AI性能,是因為它搭載了神經網絡硬件加速單元—Neural-ART加速器,這是ST自研的神經處理單元(NPU),運算吞吐量高達600 GOPS(每秒6000億次操作),比不具備NPU的STM32H7高出600倍。

NPU是專為加速神經網絡計算和人工智能相關任務而設計的,針對矩陣乘法、卷積和其他線性代數運算進行了優化。因此,NPU在運行和處理AI算法非常高效,非常擅長處理圖像分類、語音處理以及自然語言等多模態模型。NPU在處理AI相關任務時,功耗非常低,尤其適合電池供電的設備。不僅如此,它還可以減少微控制器上處理AI任務的延遲,這對于實時應用來說非常重要。

通過將NPU引入MCU,它將為您的人工智能應用開辟出一系列全新的可能性,為更高級和更復雜的AI用例甚至多模態場景打開大門,而不僅僅是單模態場景。

NPU帶來的性能提升也是非常顯著的。如上圖,選取一些如圖像分類、對象檢測、語音識別等非常經典的神經網絡模型,讓這些模型分別運行在STM32N6的NPU上,也運行在STM32N6的Cortex-M55內核上,通過比較,可以發現運行這些神經網絡模型時,推理性能提升了26倍到134倍。

3. STM32N6完備開發工具鏈邂逅成熟產品生態

AI應用的開發,除了硬件性能,軟件支持也非常重要。STM32N6擁有完備的開發工具鏈和成熟的軟件生態系統,原生支持多種主流人工智能框架,如TensorFlow和Keras。對于其他人工智能框架,如PyTorch,STM32N6通過ONNX格式來支持。ONNX是一種中間轉換格式,可用于將任何神經網絡模型格式轉換為開放和標準化的格式。這體現了STM32N6 NPU工具鏈的靈活性,未來將支持更多的人工智能框架和應用層。

ST還提供一個完整的軟件生態系統,極大地促進并優化基于STM32N6的新型人工智能應用的開發過程。這一生態系統的核心是ST Edge AI Suite,它由三部分組成:首先是Edge AI Model Zoo,這是一個免費軟件工具的資源庫,匯聚了免費的軟件工具、實用的邊緣AI模型和代碼示例,以及詳盡的文檔資料。無論開發者經驗豐富與否,都能在其中找到創建邊緣人工智能應用所需的支持。其次是Edge AI Developer Cloud在線平臺,開發者可以通過托管在這個云平臺上的板卡對自己的AI模型進行遠程性能基準測試。最后是STM32Cube.AI和ST Edge AI Core,這兩款工具是模型優化器,可以將您的神經網絡轉換為可以在設備上執行的C代碼。

4. 結語

在AI蓬勃發展的當下,STM32N6以MCU+NPU架構破局,性能飛升,為邊緣AI解鎖更多場景,成為邊緣AI落地的插上“隱形的翅膀”。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/96006.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/96006.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/96006.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

演練:使用VB開發多智能體協作的榮格八維分析器

在大語言模型高速發展的時代,我們面對困難的語義分析任務,通過構建智能體進行處理是一個流行趨勢。本文將介紹如何使用 Visual Basic .NET 開發一個多智能體協作系統,用于分析聊天記錄中特定人物的榮格八維人格類型。 本文使用 CC-BY-NC-SA …

llamafactory使用qlora訓練

llamafactory使用qlora訓練 1.環境搭建 conda create -n qlora python3.10 -y conda activate qlora# 克隆LLaMA-Factory倉庫 git clone https://github.com/hiyouga/LLaMA-Factory.git# 進入倉庫目錄 cd LLaMA-Factory# 切換到0.9.4版本 git checkout v0.9.4pip install -e .2…

模型微調/量化技術整理

一、模型微調技術1.模型微調簡介大模型微調(Fine-tuning),是指在已經預訓練好的大語言模型基礎上(基座模型),使用特定的數據集進行進一步訓練,讓模型適應特定任務或領域。通常LLM的預訓練是無監督的,但微調…

實踐筆記-VSCode與IDE同步問題解決指南;程序總是進入中斷服務程序。

一、VSCode 修改文件后,IDE 未同步如果你在 VSCode 中異步修改了項目文件內容,但 S32DS 或 Keil(等集成開發環境)中的項目沒有同步更新,有兩個解決方法:檢查文件是否已保存:確保 VSCode 中修改的…

C#WPF實戰出真汁04--登錄功能實現

1、登錄功能實現要點對于登錄系統,應該注意幾個要點:用戶認證流程設計,密碼存儲與驗證,會話管理,防暴力破解措施,錯誤處理與提示2、登錄功能的視圖模型首先在xaml文件中必須指定該頁面使用的視圖模型&#…

鴻蒙入門簡化版

第一步: 首先下載DEVStudio https://developer.huawei.com/consumer/cn/deveco-studio/ 第二步: 了解基本的ArkTs語言 https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/introduction-to-arkts 第三步 : 教學視頻有兩個途徑&a…

day25|學習前端js

函數聲明,被提升(hoisting)。函數表達式必須先定義才能用。對象解構,按屬性名數組解構按順序點運算符. 對象.屬性名哪些可迭代(可以被for..of循環的東西):array,string,m…

quic協議與應用開發

quic為什么出現?quic主要是為了解決TCP協議的局限性而提出的,具體來說是要解決如下問題:1. 加密連接建立時間長TCP協議是傳輸層協議,而TLS是會話層協議,在Linux等主流操作系統中TCP在內核實現而TLS一般在用戶態實現&am…

【淺學】tflite-micro + ESP32S3 + VScode + ESP-IDF 基于例程快速實現自己的圖像分類模型訓練部署全流程

如果你用Pytorch訓練的模型那么可以參考我的步驟,使用的是Tensorflow的話參考官方文檔即可,但流程都是一樣的,每一步我都會提到部分操作細節及注意事項 官方教程 要詳細學習的話tflite-micro里的微控制器章節下都詳細看(頁面左側…

【HarmonyOS】應用設置全屏和安全區域詳解

【HarmonyOS】應用設置全屏和安全區域詳解 一、前言 IDE創建的鴻蒙應用,默認采取組件安全區布局方案。頂部會預留狀態欄區域,底部會預留導航條區域。這就是所謂的安全區域。 如果不處理,界面效果很割裂。所以業內UI交互設計,都會設…

openfeign 只有接口如何創建bean的

OpenFeign 能夠為純接口創建 Spring Bean,其核心機制是通過動態代理和 Spring 的 FactoryBean 機制實現的。以下是詳細的工作原理:1. EnableFeignClients 注解的啟動在 Spring Boot 主類上添加 EnableFeignClients 注解:SpringBootApplicatio…

【展廳多媒體】互動地磚屏怎么提升展廳互動感的?

在數字化展廳設計中,互動地磚屏 正成為提升觀眾參與度的重要工具。這種融合視覺科技與交互體驗的裝置,通過動態影像與即時反饋,讓參觀者從被動觀看轉變為主動探索,從而大幅增強展廳的互動感。 Led地面互動屏的優勢在于其強大的視…

AI賦能電力巡檢:變壓器漏油智能檢測系統全解析

🔥 AI賦能電力巡檢:變壓器漏油智能檢測系統全解析 📖 前言 在電力系統的日常運維中,變壓器作為核心設備,其安全運行直接關系到整個電網的穩定性。傳統的人工巡檢方式不僅效率低下,還存在安全隱患和漏檢風險…

GitHub上值得Star的計算機視覺項目

GitHub上值得Star的計算機視覺項目 前言 一、OpenCV:計算機視覺領域的瑞士軍刀 1.1 項目簡介 1.2 核心功能與技術特點 1.3 代碼示例 二、YOLO 系列:實時目標檢測的領導者 2.1 項目簡介 2.2 核心功能與技術特點 2.3 代碼示例 三、Detectron2:Facebook AI Research 的目標檢測…

【深度學習】pytorch深度學習框架的環境配置

文章目錄1. 配置cuda環境2. 配置conda環境3. 配置pytorch gpu環境1. 配置cuda環境 在命令行輸入以下命令可以查看當前顯卡驅動版本和最高支持的cuda版本 nvidia-smi根據cuda版本去官網下載并安裝cuda 下載鏈接:https://developer.nvidia.com/cuda-toolkit-archive…

數據處理與統計分析 —— 房源數據集分析案例

數據集網盤下載: 鏈接:https://pan.quark.cn/s/0e577858dba3?pwdFJnb 提取碼:FJnb代碼僅供參考具體可打開ipynb文件進行學習和練習:鏈接:https://pan.quark.cn/s/8efbe3061fad?pwdT47B 提取碼:T47Bimport…

藍牙如何測試?

車載藍牙測試需覆蓋 連接穩定性、功能完整性、兼容性、交互體驗等核心維度,結合車載場景的特殊性(如行駛中信號干擾、多設備交互、安全需求),具體測試點如下: 一、基礎配對與連接測試 1. 首次配對 觸發配對:車機端 “藍牙設置” 中搜索設備、手機端搜索車機(車機名稱是…

算法02 二進制與位運算

二進制作為計算機底層數據的核心表示方式,其獨特的位結構和運算規則在算法設計中有著廣泛且關鍵的應用。以下從基礎操作、算法技巧、數據結構、經典問題等多個維度,全面梳理二進制在算法中的應用: 一、基礎位運算:算法的“原子操作…

PAT 1071 Speech Patterns

題目大意是說給出一個文本,找出里面出現最多的單詞,如果有多個單詞出現次數一樣多,則輸出字典序最小的。 需要注意的是: 給出的文本字符串不僅有數字還有字母,還有一些特殊的字符,還有空格。 而單詞是只包含…

CSS中的 :root 偽類

在CSS中&#xff0c;偽類是一種用于選擇元素特定狀態的選擇器。:root 偽類專門用于選擇文檔的根元素&#xff08;在HTML中通常是<html>元素&#xff09;&#xff0c;它是CSS變量&#xff08;Custom Properties&#xff09;的理想載體&#xff0c;常用于定義全局樣式變量&…