張正友相機標定Opencv實現以及標定流程&&標定結果評價&&圖像矯正流程解析（附標定程序和棋盤圖）

使用Opencv實現張正友法相機標定之前，有幾個問題事先要確認一下，那就是相機為什么需要標定，標定需要的輸入和輸出分別是哪些？

相機標定的目的：獲取攝像機的內參和外參矩陣（同時也會得到每一幅標定圖像的選擇和平移矩陣），內參和外參系數可以對之后相機拍攝的圖像就進行矯正，得到畸變相對很小的圖像。

相機標定的輸入：標定圖像上所有內角點的圖像坐標，標定板圖像上所有內角點的空間三維坐標（一般情況下假定圖像位于Z=0平面上）。

相機標定的輸出：攝像機的內參、外參系數。

這三個基礎的問題就決定了使用Opencv實現張正友法標定相機的標定流程、標定結果評價以及使用標定結果矯正原始圖像的完整流程：

1. 準備標定圖片

2. 對每一張標定圖片，提取角點信息

3. 對每一張標定圖片，進一步提取亞像素角點信息

4. 在棋盤標定圖上繪制找到的內角點（非必須，僅為了顯示）

5. 相機標定

6. 對標定結果進行評價

7. 查看標定效果——利用標定結果對棋盤圖進行矯正

1. 準備標定圖片

標定圖片需要使用標定板在不同位置、不同角度、不同姿態下拍攝，最少需要3張，以10~20張為宜。標定板需要是黑白相間的矩形構成的棋盤圖，制作精度要求較高，如下圖所示：

2.對每一張標定圖片，提取角點信息

需要使用findChessboardCorners函數提取角點，這里的角點專指的是標定板上的內角點，這些角點與標定板的邊緣不接觸。

?findChessboardCorners函數原型：

第一個參數Image，傳入拍攝的棋盤圖Mat圖像，必須是8位的灰度或者彩色圖像；

第二個參數patternSize，每個棋盤圖上內角點的行列數，一般情況下，行列數不要相同，便于后續標定程序識別標定板的方向；

第三個參數corners，用于存儲檢測到的內角點圖像坐標位置，一般用元素是Point2f的向量來表示：vector<Point2f> image_points_buf;

第四個參數flage：用于定義棋盤圖上內角點查找的不同處理方式，有默認值。

3. 對每一張標定圖片，進一步提取亞像素角點信息

為了提高標定精度，需要在初步提取的角點信息上進一步提取亞像素信息，降低相機標定偏差，常用的方法是cornerSubPix，另一個方法是使用find4QuadCornerSubpix函數，這個方法是專門用來獲取棋盤圖上內角點的精確位置的，或許在相機標定的這個特殊場合下它的檢測精度會比cornerSubPix更高？

cornerSubPix函數原型：

第一個參數image，輸入的Mat矩陣，最好是8位灰度圖像，檢測效率更高；

第二個參數corners，初始的角點坐標向量，同時作為亞像素坐標位置的輸出，所以需要是浮點型數據，一般用元素是Pointf2f/Point2d的向量來表示：vector<Point2f/Point2d> iamgePointsBuf；

第三個參數winSize，大小為搜索窗口的一半；

第四個參數zeroZone，死區的一半尺寸，死區為不對搜索區的中央位置做求和運算的區域。它是用來避免自相關矩陣出現某些可能的奇異性。當值為（-1，-1）時表示沒有死區；

第五個參數criteria，定義求角點的迭代過程的終止條件，可以為迭代次數和角點精度兩者的組合；

find4QuadCornerSubpix函數原型：

第一個參數img，輸入的Mat矩陣，最好是8位灰度圖像，檢測效率更高；

第二個參數corners，初始的角點坐標向量，同時作為亞像素坐標位置的輸出，所以需要是浮點型數據，一般用元素是Pointf2f/Point2d的向量來表示：vector<Point2f/Point2d> iamgePointsBuf；

第三個參數region_size，角點搜索窗口的尺寸；

在其中一個標定的棋盤圖上分別運行cornerSubPix和find4QuadCornerSubpix尋找亞像素角點，兩者定位到的亞像素角點坐標分別為：

? ?cornerSubPix： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??find4QuadCornerSubpix：

? ? ? ? ? ? ? ? ? ? ? ?

雖然有一定差距，但偏差基本都控制在0.5個像素之內。

4. 在棋盤標定圖上繪制找到的內角點（非必須，僅為了顯示）

drawChessboardCorners函數用于繪制被成功標定的角點，函數原型：

第一個參數image，8位灰度或者彩色圖像；

第二個參數patternSize，每張標定棋盤上內角點的行列數；

第三個參數corners，初始的角點坐標向量，同時作為亞像素坐標位置的輸出，所以需要是浮點型數據，一般用元素是Pointf2f/Point2d的向量來表示：vector<Point2f/Point2d> iamgePointsBuf；

第四個參數patternWasFound，標志位，用來指示定義的棋盤內角點是否被完整的探測到，true表示別完整的探測到，函數會用直線依次連接所有的內角點，作為一個整體，false表示有未被探測到的內角點，這時候函數會以（紅色）圓圈標記處檢測到的內角點；

以下是drawChessboardCorners函數中第四個參數patternWasFound設置為true和false時內角點的繪制效果：

patternWasFound=ture時，依次連接各個內角點：

patternWasFound=false時，以（紅色）圓圈標記處角點位置：

5. 相機標定

獲取到棋盤標定圖的內角點圖像坐標之后，就可以使用calibrateCamera函數進行標定，計算相機內參和外參系數，

calibrateCamera函數原型：

第一個參數objectPoints，為世界坐標系中的三維點。在使用時，應該輸入一個三維坐標點的向量的向量，即vector<vector<Point3f>> object_points。需要依據棋盤上單個黑白矩陣的大小，計算出（初始化）每一個內角點的世界坐標。

第二個參數imagePoints，為每一個內角點對應的圖像坐標點。和objectPoints一樣，應該輸入vector<vector<Point2f>> image_points_seq形式的變量；

第三個參數imageSize，為圖像的像素尺寸大小，在計算相機的內參和畸變矩陣時需要使用到該參數；

第四個參數cameraMatrix為相機的內參矩陣。輸入一個Mat cameraMatrix即可，如Mat cameraMatrix=Mat(3,3,CV_32FC1,Scalar::all(0));

第五個參數distCoeffs為畸變矩陣。輸入一個Mat distCoeffs=Mat(1,5,CV_32FC1,Scalar::all(0))即可；

第六個參數rvecs為旋轉向量；應該輸入一個Mat類型的vector，即vector<Mat>rvecs;

第七個參數tvecs為位移向量，和rvecs一樣，應該為vector<Mat> tvecs；

第八個參數flags為標定時所采用的算法。有如下幾個參數：

CV_CALIB_USE_INTRINSIC_GUESS：使用該參數時，在cameraMatrix矩陣中應該有fx,fy,u0,v0的估計值。否則的話，將初始化(u0,v0）圖像的中心點，使用最小二乘估算出fx，fy。?
CV_CALIB_FIX_PRINCIPAL_POINT：在進行優化時會固定光軸點。當CV_CALIB_USE_INTRINSIC_GUESS參數被設置，光軸點將保持在中心或者某個輸入的值。?
CV_CALIB_FIX_ASPECT_RATIO：固定fx/fy的比值，只將fy作為可變量，進行優化計算。當CV_CALIB_USE_INTRINSIC_GUESS沒有被設置，fx和fy將會被忽略。只有fx/fy的比值在計算中會被用到。?
CV_CALIB_ZERO_TANGENT_DIST：設定切向畸變參數（p1,p2）為零。?
CV_CALIB_FIX_K1,…,CV_CALIB_FIX_K6：對應的徑向畸變在優化中保持不變。?
CV_CALIB_RATIONAL_MODEL：計算k4，k5，k6三個畸變參數。如果沒有設置，則只計算其它5個畸變參數。

第九個參數criteria是最優迭代終止條件設定。

在使用該函數進行標定運算之前，需要對棋盤上每一個內角點的空間坐標系的位置坐標進行初始化，標定的結果是生成相機的內參矩陣cameraMatrix、相機的5個畸變系數distCoeffs，另外每張圖像都會生成屬于自己的平移向量和旋轉向量。

6. 對標定結果進行評價

對標定結果進行評價的方法是通過得到的攝像機內外參數，對空間的三維點進行重新投影計算，得到空間三維點在圖像上新的投影點的坐標，計算投影坐標和亞像素角點坐標之間的偏差，偏差越小，標定結果越好。

對空間三維坐標點進行反向投影的函數是projectPoints，函數原型是：

第一個參數objectPoints，為相機坐標系中的三維點坐標；

第二個參數rvec為旋轉向量，每一張圖像都有自己的選擇向量；

第三個參數tvec為位移向量，每一張圖像都有自己的平移向量；

第四個參數cameraMatrix為求得的相機的內參數矩陣；

第五個參數distCoeffs為相機的畸變矩陣；

第六個參數iamgePoints為每一個內角點對應的圖像上的坐標點；

第七個參數jacobian是雅可比行列式；

第八個參數aspectRatio是跟相機傳感器的感光單元有關的可選參數，如果設置為非0，則函數默認感光單元的dx/dy是固定的，會依此對雅可比矩陣進行調整；

下邊顯示了某一張標定圖片上的亞像素角點坐標和根據標定結果把空間三維坐標點映射回圖像坐標點的對比：

find4QuadCornerSubpix查找到的亞像素點坐標： ? ? ? ? ? ? ? ? ? ? ? ? ??projectPoints映射的坐標：

? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????

以下是每一幅圖像上24個內角點的平均誤差統計數據：

7. 查看標定效果——利用標定結果對棋盤圖進行矯正

利用求得的相機的內參和外參數據，可以對圖像進行畸變的矯正，這里有兩種方法可以達到矯正的目的，分別說明一下。

方法一：使用initUndistortRectifyMap和remap兩個函數配合實現。

initUndistortRectifyMap用來計算畸變映射，remap把求得的映射應用到圖像上。

initUndistortRectifyMap的函數原型：

第一個參數cameraMatrix為之前求得的相機的內參矩陣；

第二個參數distCoeffs為之前求得的相機畸變矩陣；

第三個參數R，可選的輸入，是第一和第二相機坐標之間的旋轉矩陣；

第四個參數newCameraMatrix，輸入的校正后的3X3攝像機矩陣；

第五個參數size，攝像機采集的無失真的圖像尺寸；

第六個參數m1type，定義map1的數據類型，可以是CV_32FC1或者CV_16SC2；

第七個參數map1和第八個參數map2，輸出的X/Y坐標重映射參數；

remap函數原型：

第一個參數src，輸入參數，代表畸變的原始圖像；

第二個參數dst，矯正后的輸出圖像，跟輸入圖像具有相同的類型和大小；

第三個參數map1和第四個參數map2，X坐標和Y坐標的映射；

第五個參數interpolation，定義圖像的插值方式；

第六個參數borderMode，定義邊界填充方式；

方法二：使用undistort函數實現

undistort函數原型：

第一個參數src，輸入參數，代表畸變的原始圖像；

第二個參數dst，矯正后的輸出圖像，跟輸入圖像具有相同的類型和大小；

第三個參數cameraMatrix為之前求得的相機的內參矩陣；

第四個參數distCoeffs為之前求得的相機畸變矩陣；

第五個參數newCameraMatrix，默認跟cameraMatrix保持一致；

方法一相比方法二執行效率更高一些，推薦使用。

以下是使用某一張標定圖使用方法一和方法二進行矯正的效果圖對比。

原始標定圖像：

方法一，使用initUndistortRectifyMap和remap實現矯正效果：

方法二，使用undistort函數實現矯正效果：

兩個方法從矯正效果上看，結果是一致的。

以下是完整的工程代碼：

標定圖例1：

標定圖例2：

標定結果1：

標定結果2：

矯正效果1：

矯正效果2：

以上程序已經是完整程序，需要棋盤標定圖或者整個項目包的可以到這里下載：張正友相機標定Opencv實現（完整程序+棋盤圖）。