項目概述

Face-and-Emotion-Recognition 是一個基于深度學習和計算機視覺技術的項目，能夠實時識別視頻或網絡攝像頭中的人臉，并分析其對應的情緒。該項目結合了 OpenCV、Dlib、face_recognition 庫以及深度學習框架 Keras 和 TensorFlow，功能強大且易于擴展。
項目地址：https://github.com/vjgpt/Face-and-Emotion-Recognition.git

項目功能

1. 人臉檢測與識別：通過攝像頭或視頻文件實時檢測人臉，并識別出人臉身份。
2. 情緒分類：分析人臉的情緒，支持多種情緒分類（如快樂、悲傷、憤怒、驚訝等）。
3. 實時處理：支持從攝像頭實時捕獲視頻流，并進行人臉和情緒識別。

項目目錄結構

• test 文件夾：存放用于測試的圖像或視頻文件。
• images 文件夾：存放用于人臉識別的人員面部圖像。
• models 文件夾：存放預訓練的情緒分類模型。
• emotion.py 文件：用于單獨運行情緒分類功能。
• face-rec-emotion.py 文件：同時實現人臉檢測、識別和情緒分類。
• datasets 文件夾：存放用于訓練情緒分類模型的數據集。

項目運行方式

1. 環境準備

• 安裝依賴庫：

  pip install opencv-python
  pip install cmake
  pip install dlib
  pip install face_recognition
  pip install keras
  

  如果在安裝 dlib 時遇到問題，建議使用 Google Colab，因為 Colab 預裝了 dlib。

2. 數據準備

• 下載人臉關鍵點檢測模型：
  • 下載 shape_predictor_68_face_landmarks.dat 文件，可以從 這里 下載，并將其放置在項目目錄中。
• 準備情緒分類數據集：
  • 下載 fer2013.tar.gz 文件，可以從 Kaggle 獲取。
  • 將下載的文件移動到項目目錄下的 datasets 文件夾中，并解壓：

    tar -xzf fer2013.tar
    

3. 模型訓練

• 訓練情緒分類模型：
  • 下載 train_emotion_classifier.py 文件，可以從 orriaga 的倉庫 獲取。
  • 運行訓練腳本：

    python train_emotion_classifier.py
    

4. 模型運行

• 運行情緒分類：

  python emotion.py
  

• 同時運行人臉檢測、識別和情緒分類：

  python face-rec-emotion.py
  

常見問題及解決方法

1. 安裝依賴問題

• 問題：安裝 dlib 時出現編譯錯誤。

  • 解決方法：使用預編譯的 dlib 輪，運行以下命令：

    pip install dlib==19.24.0
    

    或者使用 Google Colab，因為 Colab 預裝了 dlib。

• 問題：安裝 face_recognition 時出現錯誤。

  • 解決方法：確保 dlib 已正確安裝，然后重新安裝 face_recognition：

    pip install face_recognition
    

2. 數據集問題

• 問題：下載的 fer2013.tar.gz 文件無法解壓。

  • 解決方法：檢查文件是否完整下載。如果文件損壞，重新下載并確保下載過程完整。

• 問題：數據集路徑錯誤導致無法加載數據。

  • 解決方法：確保數據集路徑正確。例如，數據集應放置在 datasets/fer2013 文件夾中。

3. 模型訓練問題

• 問題：訓練情緒分類模型時出現內存不足錯誤。

  • 解決方法：減少數據批量大小（batch size），或者使用更小的數據集進行訓練。

• 問題：訓練過程中出現 ValueError: Input data shape is not compatible with the model input shape。

  • 解決方法：檢查輸入數據的形狀是否與模型定義一致。例如，如果模型輸入形狀為 (48, 48, 1)，則需要確保數據預處理代碼將圖像調整為該形狀。

4. 模型運行問題

• 問題：運行 emotion.py 或 face-rec-emotion.py 時出現 ModuleNotFoundError。

  • 解決方法：確保所有依賴庫已正確安裝。運行以下命令檢查依賴庫是否安裝完整：

    pip list
    

• 問題：運行時出現 cv2.error: OpenCV(4.x.x) error: (-215:Assertion failed) in function 'VideoCapture'。

  • 解決方法：檢查攝像頭設備是否可用。確保攝像頭索引正確（通常為 0 或 1）：

    cap = cv2.VideoCapture(0)
    if not cap.isOpened():print("Error: Camera not found.")
    

• 問題：運行時出現 ValueError: logits and labels must have the same first dimension。

  • 解決方法：檢查模型的輸出層和標簽數據的形狀是否一致。確保標簽數據是獨熱編碼形式，且類別數量與模型輸出層一致。

項目實戰建議

1. 優化模型性能：

   • 使用遷移學習，加載預訓練的模型（如 VGG16、ResNet 等）進行微調。
   • 使用數據增強技術（如隨機翻轉、旋轉、縮放等）擴充數據集。

2. 提高實時性：

   • 使用輕量級的模型（如 MobileNet-V2）減少計算量。
   • 對視頻流進行降幀處理，減少處理的幀數。

3. 擴展功能：

   • 添加語音識別功能，結合語音和表情進行情感分析。
   • 將項目部署到 Web 或移動應用中，提高用戶體驗。

項目參考文獻

• OpenCV：用于計算機視覺任務，如人臉檢測和圖像處理。
• Keras：用于構建和訓練深度學習模型。
• TensorFlow：作為 Keras 的后端，提供強大的計算能力。
• Dlib：用于人臉檢測和關鍵點檢測。
• face_recognition：基于 FaceNet 實現的人臉識別庫。
• CNN 模型架構：參考 Octavio Arriaga 等人的研究論文。

通過以上介紹和實戰建議，希望你能順利運行和擴展 Face-and-Emotion-Recognition 項目。如果還有其他問題，歡迎隨時提問！