項目概述

目標

• 開發一個能夠實時或近實時識別特定動作的系統，如運動姿勢、表情變化或手勢控制。
• 實現對人體關鍵點的精確追蹤，以便于分析和理解人的動態行為。

技術棧

• Intel硬件：可能使用Intel的高性能計算平臺，如Xeon處理器或Movidius神經計算棒（NCS），后者專為邊緣設備上的深度學習推理設計。
• Chainer：這是一個靈活且強大的深度學習框架，可以無縫集成到項目中，用于模型訓練和推理。
• 姿勢檢測模型：可能基于OpenPose或其他類似模型，這些模型被訓練來識別并追蹤多個關鍵點，如關節、面部特征或手指位置。

關鍵組件

1. 數據收集：收集大量標記的數據集，用于訓練模型識別不同的人體、面部和手部姿勢。
2. 模型訓練：使用Chainer框架在Intel平臺上訓練深度學習模型，優化性能和準確性。
3. 實時處理：實現模型在實時視頻流中的應用，可能需要優化算法以適應不同的光照條件和背景。
4. 關鍵點識別：算法應能準確地定位和追蹤人體、面部和手部的關鍵點。
5. 動作分類：基于關鍵點的軌跡和配置，識別和分類特定動作。
6. 反饋機制：可能包括可視化輸出或動作識別后的響應，如在健身應用中提供實時指導。

應用場景

• 健身與健康：在健身應用程序中提供實時姿勢糾正，幫助用戶提高鍛煉效果和預防傷害。
• 虛擬現實/增強現實：用于交互式游戲或培訓模擬，提高沉浸感和互動性。
• 人機界面：在無需接觸的環境中控制設備，如智能家居或工業自動化場景。
• 醫療康復：監測患者的身體運動，評估康復進展或輔助治療。

結論

此類項目結合了先進的硬件加速能力和現代深度學習技術，旨在創建高度準確和響應迅速的動作識別系統。隨著技術的進步，這種系統可以在多個行業中找到廣泛的應用，改善用戶體驗并增加安全性。

如果你正在考慮實施這樣的項目，你需要準備大量的訓練數據，選擇合適的硬件平臺，并熟練掌握Chainer框架的使用。此外，考慮到Intel和Chainer在開發過程中可能提供的優化工具和支持，你可能還需要與這兩個組織的技術文檔和社區資源保持同步。

環境要求

• Python 3.0+
• Intel Chainer
• NumPy
• Six
• Swig
• Matplotlib
• OpenCV
• COCO API

目錄結構

• ActionRecognition

  • Actions

• data

  • KTH
  • dpt
  • jabbing

• datasets

  • coco
  • KTH
  • UCF101

• img

• PosturalRecognition

  • models
  • test
  • train

• result

安裝 COCO API、

git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI/
make
python setup.py install
cd ../../

如果在windows系統上安裝，必須將VS中的VC++添加到系統PATH，否則會出現找不到相應文件。

獲取COCO數據集

mkdir datasets
cd datasetsmkdir coco
cd cocowget http://images.cocodataset.org/zips/train2017.zip
wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zipunzip train2017.zip
unzip val2017.zip
unzip annotations_trainval2017.ziprm -f train2017.zip
rm -f val2017.zip
rm -f annotations_trainval2017.zip

在Intel devcloud 上應該檢查解壓完全完成后才可以刪除壓縮包

若需要訓練，必須先做數據預處理，在預處理之后執行文件即可。

python3 train_coco_pose_estimation.py

測試

python PosturalRecognition/test/get_person_pose_array.py

動作識別

訓練

python ActionRecognition/train_action_from_pose.py

測試

通過get_person_pose_array獲取信息，然后運行

python ActionRecognition/test_action_from_pose.py

其中，person02_boxing_d2_uncomp?和?person05_walking_d1_uncomp?需要預先通過?PosturalRecognition/test/VideoCapture.py?進行預處理

最后輸出動作發生的概率