什么是人臉識別

人臉識別，是基于人的臉部特征信息進行身份識別的一種生物識別技術。用攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部識別的一系列相關技術，通常也叫做人像識別、面部識別。

目前的人臉識別技術已經非常成熟了，還發展成3D人臉識別。而且現在各大廠商也都提供了人臉識別的API接口供我們調用，可以說幾行代碼就可以完成人臉識別。但是人臉識別的根本還是基于圖像處理。在Python中最強大的圖像處理庫就是OpenCV。

OpenCV簡介

OpenCV是一個基于BSD許可(開源)發行的跨平臺計算機視覺庫，可以運行在Linux、Windows、Android和Mac OS操作系統上。OpenCV可用于開發實時的圖像處理、計算機視覺以及模式識別程序。它輕量級而且高效——由一系列 C 函數和少量 C++ 類構成，同時提供了Python、Ruby、MATLAB等語言的接口，實現了圖像處理和計算機視覺方面的很多通用算法。

OpenCV基本使用

安裝

pip install opencv-python  # 基礎庫pip install opencv-contrib-python  # 擴展庫pip install opencv-python-headless

讀取圖片

讀取和顯示圖片是最基本的操作了，OpenCV當中使用imread和imshow實現該操作

import cv2 as cv# 讀取圖片，路徑不能含有中文名，否則圖片讀取不出來image = cv.imread('1111.jpg')# 顯示圖片cv.imshow('image', image)# 等待鍵盤輸入，單位是毫秒，0表示無限等待cv.waitKey(0)# 因為最終調用的是C++對象，所以使用完要釋放內存cv.destroyAllWindows()

將圖片轉為灰度圖

OpenCV中數百中關于不同色彩控件之間轉換的方法。目前最常用的有三種：灰度、BGR、HSV。

• 灰度色彩空間是通過去除彩色信息來講圖片轉換成灰階，灰度圖會大量減少圖像處理中的色彩處理，對人臉識別很有效。
• BGR每個像素都由一個三元數組來表示，分別代碼藍、綠、紅三種顏色。python中還有一個庫PIL，讀取的圖片通道是RGB，其實是一樣的，只是顏色順序不一樣
• HSV，H是色調，S是飽和度，V是黑暗的程度
  將圖片轉換為灰度圖

import cv2 as cv# 讀取圖片，路徑不能含有中文名，否則圖片讀取不出來image = cv.imread('1111.jpg')# cv2讀取圖片的通道是BGR，# PIL讀取圖片的通道是RGB# code選擇COLOR_BGR2GRAY，就是BGR to GRAYgray_image = cv.cvtColor(image, code=cv.COLOR_BGR2GRAY)# 顯示圖片cv.imshow('image', gray_image)# 等待鍵盤輸入，單位是毫秒，0表示無限等待cv.waitKey(0)# 因為最終調用的是C++對象，所以使用完要釋放內存cv.destroyAllWindows()

繪制矩形

image = cv.imread('1111.jpg')x, y, w, h = 50, 50, 80, 80# 繪制矩形cv.rectangle(image, (x, y, x+w, y+h), color=(0, 255, 0), thickness=2)# 繪制圓形cv.circle(image, center=(x + w//2, y + h//2), radius=w//2, color=(0, 0, 255), thickness=2)cv.imshow('image', image)cv.waitKey(0)cv.destroyAllWindows()

人臉檢測

人臉檢測實際上是對圖像提取特征，Haar特征是一種用于實現實時人臉跟蹤的特征。每個Haar特征都描述了相鄰圖像區域的對比模式。比如邊、定點和細線都能生成具有判別性的特征。OpenCV給我們提供了Haar特征數據，在cv2/data目錄下，使用特征數據的方法def detectMultiScale(self, image, scaleFactor=None, minNeighbors=None, flags=None, minSize=None, maxSize=None)

• scaleFactor: 指定每個圖像比例縮小多少圖像
• minNeighbors: 指定每個候選矩形必須保留多少個鄰居，值越大說明精度要求越高
• minSize：檢測到的最小矩形大小
• maxSize: 檢測到的最大矩形大小

檢測圖片中人臉

import osimport cv2 as cvdef face_detect_demo(image):    # 將圖片轉換為灰度圖    gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)    # 加載特征數據    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))    faces = face_detector.detectMultiScale(gray)    for x, y, w, h in faces:        cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)# 讀取圖片，路徑不能含有中文名，否則圖片讀取不出來image = cv.imread('2222.jpg')face_detect_demo(image)# 顯示圖片cv.imshow('image', image)# 等待鍵盤輸入，單位是毫秒，0表示無限等待cv.waitKey(0)# 因為最終調用的是C++對象，所以使用完要釋放內存cv.destroyAllWindows()

采用默認參數，檢測人臉數據不全，需要調整detectMultiScale函數的參數，調整為faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)

我們發現除了檢測到人臉數據，還有一些其他的臟數據，這個時候可以打印檢測出的人臉數據位置和大小

faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)for x, y, w, h in faces:    print(x, y, w, h) # 打印每一個檢測到的數據位置和大小    cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)

從大小中我們看到最大的兩個矩形，剛好是人臉數據，其余都是臟數據，那么繼續修改函數參數faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3, minSize=(80, 80))

檢測視頻中人臉

視頻就是一張一張的圖片組成的，在視頻的幀上面重復這個過程就能完成視頻中的人臉檢測了。視頻讀取OpenCV為我們提供了函數VideoCapture，參數可以是視頻文件或者0(表示調用攝像頭)

import cv2 as cv# 人臉檢測def face_detect_demo(image):    try:        # 將圖片轉換為灰度圖        gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)        # 加載特征數據        face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))        faces = face_detector.detectMultiScale(gray)        for x, y, w, h in faces:            print(x, y, w, h)            cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)    except Exception as e:        passcap = cv.VideoCapture('人臉識別.mp4')while cap.isOpened():    flag, frame = cap.read()    face_detect_demo(frame)    cv.imshow('result', frame)    if ord('q') == cv.waitKey(5):        breakcap.realse()cv.destroyAllWindows()

這個我們是做的人臉識別，怎么把愛好都識別了，這么先進嗎？很顯然這不太符合我們的要求，愛好只能藏在心里，你給我檢測出來就不行了。所以我們必須要進行優化處理。OpenCV為我們提供了一個機器學習的小模塊，我們可以訓練它，讓它只識別我們需要的部分，不要亂猜測。

訓練數據

訓練數據就是我們把一些圖片交給訓練模型，讓模型熟悉她，這樣它就能更加準確的識別相同的圖片。訓練的數據一般我們可以從網上搜索：人臉識別數據庫，或者從視頻中保存美幀的數據作為訓練集。所有的人臉識別算法在他們的train()函數中都有兩個參數：圖像數組和標簽數組。這些標簽標示進行識別時候的人臉ID，根據ID可以知道被識別的人是誰。

獲取訓練集

從視頻中每隔5幀截取一個圖片，保存成圖片

import cv2cap = cv2.VideoCapture('人臉識別.mp4')number = 100count = 1while cap.isOpened() and number > 0:    flag, frame = cap.read()    if not flag:        break    if count % 5 == 0:        # 按照視頻圖像中人臉的大體位置進行裁剪，只取人臉部分        img = frame[70:280, 520:730]        cv2.imwrite('data/{}.png'.format(number), img)        number -= 1    count += 1cap.release()cv2.destroyAllWindows()

使用LBPH訓練模型

def getImageAndLabels(path_list):    faces = []    ids = []    image_paths = [os.path.join(path_list, f) for f in os.listdir(path_list) if f.endswith('.png')]    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))    for image in image_paths:        img = cv.imread(image)        gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)        faces = face_detector.detectMultiScale(gray)        _id = int(os.path.split(image)[1].split('.')[0])        for x, y, w, h in faces:            faces.append(gray[y:y+h, x:x+w])            ids.append(_id)    return faces, idsfaces, ids = getImageAndLabels('data')# 訓練recognizer = cv.face.LBPHFaceRecognizer_create()recognizer.train(faces, np.array(ids))# 保存訓練特征recognizer.write('trains/trains.yml')

基于LBPH的人臉識別

LBPH將檢測到的人臉分為小單元，并將其與模型中的對應單元進行比較，對每個區域的匹配值產生一個直方圖。調整后的區域中調用predict函數，該函數返回兩個元素的數組，第一個元素是所識別的個體標簽，第二個元素是置信度評分。所有的算法都有一個置信度評分閾值，置信度評分用來衡量圖像與模型中的差距，0表示完全匹配。LBPH有一個好的識別參考值要低于50。基本步驟為：

• cv.VideoCapture讀取視頻
• Haar算法檢測人臉數據
• 基于LBPH訓練集得到準確人臉數據，并輸出標記此人是誰
• 按置信度取準確度高的人臉標記出來

import osimport cv2 as cvdef face_detect_demo(image):    try:        global number        # 將圖片轉換為灰度圖        gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY)        # 加載特征數據        faces = face_detector.detectMultiScale(gray, scaleFactor=1.02, minNeighbors=3)        for x, y, w, h in faces:            # 獲取置信度，大于80表示取值錯誤            _id, confidence = recognizer.predict(gray[y:y + h, x:x + w])            if confidence < 80:                cv.rectangle(image, (x, y), (x + w, y + h), color=(0, 255, 0), thickness=2)    except Exception as e:        passdef check_face():    cap = cv.VideoCapture('人臉識別.mp4')    while cap.isOpened():        flag, frame = cap.read()        if not flag:            break        face_detect_demo(frame)        cv.imshow('img', frame)        cv.waitKey(2)    cv.destroyAllWindows()if __name__ == '__main__':    # 加載訓練數據文件    recognizer = cv.face.LBPHFaceRecognizer_create()    recognizer.read('trains/trains.yml')    face_detector = cv.CascadeClassifier(os.path.join(cv.data.haarcascades, 'haarcascade_frontalface_default.xml'))    check_face()

總結

通過上面一步步的學習，你是不是對OpenCV人臉識別有個基本的認識了呢?但是我們也看到了，整個人臉識別的主要算法還是基于Haar，而且準確度并不是特別高，主要是會檢測出很多非人臉的數據。LBPH是讓我們給某個人臉進行標記，告訴我們他是誰，并沒有提高實際的檢測準確度。現在機器學習是非常火爆的，基于OpenCV的機器學習人臉識別也精確度也很高，下次我們在來對比幾種機器學習人臉識別的庫。