隨著智能 IPC 設備（如安防攝像頭、寵物陪伴機器人、嬰兒監視器等）日益普及，越來越多的生活場景被實時記錄。然而在實際使用中，由于設備安裝位置不當、廣角鏡頭視野過大等原因，經常會出現拍攝主體占比過小的問題，導致"全景清晰而主體模糊"，嚴重影響用戶的觀看體驗。
一、涂鴉 AI 推理模型自動突出主體
因此，涂鴉重磅推出 On-App AI 視頻主體突出解決方案，利用涂鴉賦能 App 的 AI 能力對畫面進行實時目標檢測，自動定位、識別主體后，再利用圖像算法對其進行智能自適應放大，使主體更突出、畫面更聚焦。最后，對處理完成的視頻進行編碼與封裝，即可輸出經過優化的視頻內容。
該方案適合拓展應用至生活各個場景中，如：
- 在室內監護中，可用于嬰兒看護、寵物監測、寵物機器人等設備；
- 在醫療影像或科研中，可結合內鏡或其他醫療設備突出術野關鍵區域；
- 在戶外記錄時，可用于智能喂鳥器、狩獵攝像機、自然景觀攝像機等設備；
- 在安防與工業檢測中，可用于巡檢、維修等需要檢查局部細節的設備。
a.例如針對家庭場景里的小貓，攝像頭會自動識別主體并進行畫面放大👇：
b.在戶外復雜場景下，涂鴉 On-App AI 視頻主體方案依然能夠精準識別目標對象，并進行動作追蹤和畫面放大。戳視頻，直觀體驗生成效果👇：
【插入視頻】
二、詳解涂鴉 AI 視頻主體突出技術
1、整體技術架構介紹
在涂鴉所有的 AI 產品/硬件解決方案中, 我們打通了端到端的 AI 能力：即設備端、云端、App 端三端協同。通過將先進的 AI 推理模型部署到涂鴉賦能 App 上，能夠助力品牌商與開發者將先進的 AI 技術無縫集成到移動設備中，打造更靈活的 AI 架構、更優的用戶體驗、更安全的計算能力。
- 在移動端模型的部署中，涂鴉采用了輕量化技術架構（ TensorFlow Lite 等），這種技術架構的優勢就在于具備高效推理、低延遲、低功耗等特點，并且支持本地模型實現離線運行、系統更新、部署等按需加載的機制，助力提高運行效率，打造更靈活的 AI 架構。
- 圖像處理技術涂鴉采用了 OpenGL ES，可實現更高效的渲染與優化，充分利用 GPU 對圖像處理過程進行加速；
- 視頻編解碼技術采用涂鴉平臺提供的硬件解碼，能夠提升視頻處理性能、降低 CPU 負載，確保視頻流暢播放與低功耗運行。
（涂鴉 AI 視頻主體突出技術架構圖）
2、技術亮點
2.1 擁有更靈活的 AI 架構：輕量化和動態化
（輕量化與動態化運行流程示意圖）
2.1.1 輕量級檢測模型
涂鴉采用專門優化移動端的輕量級對象檢測模型 EfficientDet-D0，該模型參數少、計算量小、推理速度快，可以精準檢測視頻中指定主體（如寵物、人物）的位置與類別。同時，基于智能分析能力可快速篩除無主體片段，有效降低計算負擔，提升處理效率。
2.1.2 模型動態化
采用按需加載的動態模型管理機制，支持模型在線下載、更新與部署，確保視頻應用始終使用最優模型版本，同時減少初始安裝包體積，提高運行效率。
2.2 更優的用戶體驗：實時性和高效率
2.2.1 實時交互處理
該方案支持實時響應用戶的交互需求。依托本地計算的高效運行，可確保流暢無延遲的用戶體驗，無需依賴網絡，即可實現快速響應與實時處理。
2.2.2 新增防抖圖像算法
在檢測視頻主體位置的過程中，檢測框可能會發生抖動偏移，從而導致主體放大的畫面也會產生抖動；針對這一問題，涂鴉增加抖動閾值，確保視頻處理畫面時的平滑流暢。
2.2.3 微調模型以提高準確度
涂鴉積累了海量不同場景下的主體圖片，覆蓋不同光照條件下白天黑夜等多個場景，數據脫敏之后，涂鴉對這些模型進行精心的訓練微調，確保模型推理過程中的泛化能力。
2.3 更安全的計算能力：低成本和隱私保護
2.3.1 降低處理成本
涂鴉支持開發者動態調整視頻幀的推理策略。在沒有檢測到視頻主體的時候，系統會間隔多幀識別一幀；當檢測到主體時，就會自動調整為間隔 3 幀檢測一幀。這樣就能充分利用移動端的硬件加速，顯著提升視頻編解碼速度，降低 CPU 負載，提高整體性能。
而且，本地化處理相比云端處理的成本更低、更能節約云端負荷，算力消耗每萬次減少 25 TFLOPs，節省成本約 10% 左右。
2.3.2 保護隱私安全
該方案的所有數據處理均在本地完成，顯著降低時延、提高響應速度，同時避免數據外傳，增強用戶隱私保護，為應用提供更安全高效的計算環境。
三、開發教程與問題咨詢
1、如何實現 AI 視頻主體突出功能的開發？
涂鴉 On-App AI 視頻主體突出方案是基于涂鴉智能 IPC 功能所打造，如要開發該方案需要先對接 IPC SDK，設備端方案可參考 IPC SDK 開發：
具體開發教程見如下鏈接👇：
https://t.tuya.com/AY1D3VbxRO
2、技術原理介紹
如需了解更多有關 AI 視頻主體突出的技術原理和開發介紹，可復制下方鏈接查看詳情介紹👇：
https://developer.tuya.com/cn/miniapp/solution-ai/case
3、開發者問題咨詢
開發中如遇到任何問題，可以登錄涂鴉開發者論壇進行提問，將有技術小哥隨時為你解答👇：
https://www.tuyaos.com/viewforum.php?f=3
