文章目錄
前言
一、智能警戒哨兵是什么?
二、方案流程圖
三、硬件方案
四、軟件方案
五、演示視頻鏈接
總結
前言
? ? ? ? 最近參加了第三屆“玄鐵杯”RISC-V應用創新大賽,我的創意題目是基于? yolov5和OpenCv算法 — 智能警戒哨兵
? ? ? ? 先介紹一下比賽:如下
賽事介紹:
????????玄鐵杯全球RISC-V應用創新大賽,由芯片開放社區發起,已連續舉辦至第三屆。過去兩年,大賽共吸引近3000名開發者參賽,產生500余份創意方案,涵蓋工業智能、泛機器人、視覺及可穿戴設備、車載設備、碳中和、智慧社區、智慧家居等領域。
一、智能警戒哨兵是什么?
? ? ? ? 創意方案主題:智能警戒哨兵系統
????????方案:矽速 · LicheePi 4A? +? 智能警戒哨兵 ?+? 崇德隊
????????一、智能警戒哨兵 — 創意設計方案背景
????????在現代社會中,交通安全一直是人們關注的重要問題之一。吸煙駕駛和疲勞駕駛是導致交通事故的常見原因之一,對駕駛員和乘客的生命安全構成威脅。為了提高道路安全,并減少交通事故的發生,我們需要一種創新的方法來監測車內吸煙行為和主駕駛員的疲勞程度。
????????基于這個背景,我們提出了一種創意設計,利用矽速·LicheePi 4A開發板和攝像頭來制作一個車內吸煙及主駕駛員是否疲勞駕駛的監測系統。該系統旨在通過實時監測車內吸煙行為以及主駕駛員的疲勞程度,提供及時的警示和提醒,以保障駕駛安全。
????????通過圖像處理算法和計算機視覺技術,我們可以對攝像頭捕獲的圖像進行分析和處理。針對司機疲勞駕駛程度,并及時發出警報。? ??
? ? ? ? 二、智能警戒哨兵 — 硬件設計
????????1. 矽速·LicheePi 4A開發板:作為核心處理器,提供強大的計算能力和豐富的接口。
????????2. 語音模塊,用于語音提示和報警
????????3. USB攝像頭
????????5. 顯示屏顯示模塊
? ? ? ? 三、智能警戒哨兵 — 主要軟件設計
????????在智能警戒哨兵的軟件設計中,主要涉及領域:疲勞檢測。這兩個領域通過圖像處理和計算機視覺算法相互交互,實現對駕駛員行為的監測和分析,以提供準確的警示和提醒。
????????在疲勞檢測領域,系統使用圖像處理算法來實時分析駕駛員的眼睛狀態、面部表情和頭部姿態,以判斷是否處于疲勞狀態。具體的交互過程可以描述如下:
????????1.駕駛員眼睛狀態監測:系統通過圖像處理算法實時分析駕駛員的眼睛狀態,監測眼睛的閉合頻率和眨眼頻率。如果檢測到駕駛員的眼睛頻繁閉合或眨眼頻率降低,系統將判斷駕駛員處于疲勞狀態。
????????2.駕駛員面部表情分析:系統利用面部表情識別算法分析駕駛員的面部表情,例如嘴巴的張合程度和眉毛的位置。如果檢測到駕駛員的嘴巴關閉時間較長或眉毛位置下降,系統將判斷駕駛員處于疲勞狀態。
????????3. 頭部姿態監測:系統通過頭部姿態識別算法實時監測駕駛員的頭部姿態,檢測頭部是否開始下沉。如果檢測到駕駛員頭部姿態下沉,系統將判斷駕駛員處于疲勞狀態。
????????系統能夠實時監測駕駛員的疲勞狀態,并根據分析結果提供相應的警示和提醒。這種交互的人體+數據分析能力的整合使得系統能夠準確地判斷駕駛員的狀態,提高道路安全性并降低交通事故的發生率。
二、方案流程圖
三、硬件方案
板卡介紹:
????????LicheePi 4A 是基于?Lichee Module 4A?核心板的 高性能 RISC-V Linux 開發板,以?TH1520?為主控核心(4xC910@1.85G, RV64GCV,4TOPS@int8 NPU, 50GFLOP GPU),板載最大 16GB 64bit LPDDR4X,128GB eMMC,支持 HDMI+MIPI 雙4K 顯示輸出,支持 4K 攝像頭接入,雙千兆網口(其中一個支持POE供電)和 4 個 USB3.0 接口,多種音頻輸入輸出(由專用 C906 核心處理)。
????????LicheePi 4A 是截止目前(2023Q2)為止最強的 RISC-V SBC。性能約為上一代 RISC-V SBC?VisionFive2的2倍;未開啟專用指令集加速的情況下,性能逼近基于 ARM A72 的樹莓派 4,在開啟相關指令集加速的情況下,可以與樹莓派 4 持平。而且最高具備 16GB 超大內存,是樹莓派 4 最高配置 8GB 內存的兩倍!
我個人使用實物圖:
? ? ? ? ? ? ?
我個人使用usb攝像頭:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
四、軟件方案
? ? ? ? 由window電腦pycharm編寫程序,再由XFTP軟件將程序放入licheepi 4A中,運行程序,由VNC遠程桌面查看運行效果。
對坐標進行判斷。
????????疲勞駕駛檢測系統的實現。它使用了圖像處理庫OpenCV和人臉識別庫dlib來實時監測駕駛員的疲勞狀態。系統通過攝像頭捕獲駕駛員的面部圖像,然后分析眨眼頻率、打哈欠頻率等指標來評估駕駛員的疲勞程度。根據評估結果,系統會在界面上顯示實時變化圖表,并通過語音播報警告駕駛員。整個系統使用了wxPython構建了一個GUI界面,包括了圖表展示、語音播報等功能。
????????
主要使用的庫:
五、演示視頻鏈接
? ? ??【第三屆】:“玄鐵杯”RISC-V應用創新大賽(基于yolov5和OpenCv算法 — 智能警戒哨兵)_嗶哩嗶哩_bilibili
【第三屆】:“玄鐵杯”RISC-V應用創新大賽(基于yolov5和OpenCv算法 — 智能警戒哨兵)
總結
????????通過以上設計方案,車內疲勞駕駛系統能夠實時監測駕駛員的疲勞狀態,提供及時的警示和提醒,以增強駕駛員的安全意識,減少交通事故的發生。這種基于視覺實現的系統可以有效地監測和預防駕駛員的疲勞駕駛和吸煙行為,提高道路安全性和乘車體驗。