沉淀、分享、成長，讓自己和他人都能有所收獲！??

?? 本篇將給大家介紹嵌入式AI模型的部署。

一、嵌入式AI模型的部署

---

模型的部署，是指將訓練好的模型放到運行環境中進行推理的過程。

一般需要經過以下操作：

• 將訓練模型轉換推理模型->需要轉換框架的轉換器/轉換工具，轉換為符合硬件要求的數據結構，模型的預處理等
• 部署階段的一些性能優化->如算子融合、算子替換、自定義算子、模型的預編譯（加快加載模型的時間）等
• 模型壓縮->量化，以減少模型精度，剪枝神經網絡的稀疏，知識蒸餾等
• 安全保護->模型的加密
• 模型推理->涉及前處理、執行推理、后處理

瑞芯微對應的工具：