一 前言
上一篇,我們實現了用YOLO對圖片上的物體進行檢測,并在圖片上框出具體的對象并打出標簽。但只是應用在單張圖片,且還沒用上FastRTC。
本篇,我們希望結合FastRTC的能力,實現基于YOLO的實時視頻流的物體檢測。
本篇文字將不會太多。學習完本篇,對比前面的文章,你會發現FastRTC框架的有趣之處就在于框架極簡且優美,我們只需要重點關注我們的算法部分即可。
二 需求及分析
我們本次目標是對實時視頻流進行處理,參照
AI框架工具FastRTC快速上手4——視頻流案例之鏡像反轉-CSDN博客
其實我們不難得出,只要在handler中對視頻幀進行物體識別即可。那每一幀做物體識別,不就是每一張圖片處理一次物體識別的意思么,對于圖片的物體識別,上一篇已經完成。
完美契合。直接上代碼。
三 完整過程
3.1 依賴引入
首先引入相關依賴
from fastrtc import Stream
import gradio as gr
import cv2
from huggingface_hub import hf_hub_download
from inference import YOLOv10
本次會引入gradio自身的組件,增加一個滑動條來調整置信度閾值。</