1基本原理

1.1 單應性矩陣（Homography）的建立

相機模型：世界坐標系下棋盤格平面（Z=0）到圖像平面的投影關系為：
$$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$

其中：

• $(X,Y)$：棋盤格角點的世界坐標（Z=0）。

• $(u,v)$：圖像平面上的像素坐標。

• $K$：內參矩陣，形式為：
  $$K=\left[\begin{array}{ccc}{f}_x& \gamma & u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]$$

• $r_1,r_2,t$：外參（旋轉矩陣的前兩列和平移向量）。

• $s$：尺度因子。

單應性矩陣：將投影關系簡化為：
$$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$

其中 $H=K[r_1{r}_{2}t]$ 是一個3×3矩陣，稱為單應性矩陣。

---

1.2 單應性矩陣的求解

對每個棋盤格圖像，利用至少4組對應點（世界坐標和圖像坐標），通過最小二乘法或直接線性變換（DLT）求解 $H$。對于每組點：
$$\left[\begin{array}{ccccccccc}X& Y& 1& 0& 0& 0& ?uX& ?uY& ?u\\ 0& 0& 0& X& Y& 1& ?vX& ?vY& ?v\end{array}\right]\left[\begin{array}{c}{h}_{11}\\ h_{12}\\ h_{13}\\ h_{21}\\ h_{22}\\ h_{23}\\ h_{31}\\ h_{32}\\ h_{33}\end{array}\right]=0$$

通過SVD分解求解 $H$ 的9個參數（歸一化后）。

---

1.3 內參矩陣的約束條件

張正友標定法中，通過旋轉矩陣的正交性推導兩個約束方程的過程是核心步驟。以下是結合正交矩陣性質與單應性矩陣的詳細推導：

1.3.1 旋轉矩陣的正交性

在張正友標定法中，旋轉矩陣 $R$ 是正交矩陣，滿足以下性質：

1. 列向量正交性：$R$ 的列向量 $r_1,r_2,r_3$ 兩兩正交。
2. 單位模長約束：每個列向量的模長為1，即 $\Vert r_1\Vert =\Vert r_2\Vert =\Vert r_3\Vert =1$。

由于標定棋盤格平面位于世界坐標系的 $Z=0$ 平面，投影模型中僅涉及 $R$ 的前兩列 $r_1$ 和 $r_2$，因此正交性約束簡化為：
$$\{\begin{array}{l}{r}_1^T{r}_2=0\text{（正交性）}\\ r_1^T{r}_1=r_2^T{r}_2=1\text{（單位模長）}\end{array}$$

1.3.2 單應性矩陣 $ H $ 與旋轉矩陣的關聯

單應性矩陣 $H$ 將棋盤格平面（$Z=0$）映射到圖像平面，其表達式為：
$$H=\lambda K[r_1{r}_{2}t]$$

其中：

• $\lambda$：尺度因子，
• $K$：內參矩陣，
• $r_1,r_2$：旋轉矩陣的前兩列，
• $t$：平移向量。

將 $H$ 的列向量表示為 $h_1,h_2,h_3$，則有：
$$h_1=\lambda K{r}_1,h_2=\lambda K{r}_2,h_3=\lambda Kt$$

1.3.3 正交性約束的代數轉化

通過 $h_1$ 和 $h_2$ 表達正交性條件：

1. 正交性條件 $r_1^T{r}_2=0$:
   $$(\frac{1}{\lambda }{K}^{?1}{h}_1{)}^T(\frac{1}{\lambda }{K}^{?1}{h}_2)=0$$

   化簡后得到：
   $$h_1^T{K}^{?T}{K}^{?1}{h}_2=0$$

2. 單位模長條件 $ r_1^T r_1 = r_2^T r_2 = 1 $:
   $$(\frac{1}{\lambda }{K}^{?1}{h}_1{)}^T(\frac{1}{\lambda }{K}^{?1}{h}_1)=(\frac{1}{\lambda }{K}^{?1}{h}_2{)}^T(\frac{1}{\lambda }{K}^{?1}{h}_2)$$

   化簡后得到：
   $$h_1^T{K}^{?T}{K}^{?1}{h}_1=h_2^T{K}^{?T}{K}^{?1}{h}_2$$

1.3.4 引入對稱矩陣 $ B $ 簡化計算

定義對稱矩陣 $B=K^{?T}{K}^{?1}$，其元素僅與內參矩陣 $K$ 相關。將上述兩個條件轉化為：
$$\{\begin{array}{l}{h}_1^{T}B{h}_2=0\\ h_1^{T}B{h}_1=h_2^{T}B{h}_2\end{array}$$

矩陣 $ B $ 的表達式為：
$$B=\left[\begin{array}{ccc}\frac{1}{f_x^2}& ?\frac{\gamma }{f_x^2{f}_y}& \frac{\gamma v_0?f_y{u}_0}{f_x^2{f}_y}\\ ?\frac{\gamma }{f_x^2{f}_y}& \frac{{\gamma }^2}{f_x^2{f}_y^2}+\frac{1}{f_y^2}& ?\frac{\gamma (\gamma v_0?f_y{u}_0)}{f_x^2{f}_y^2}?\frac{v_0}{f_y^2}\\ \frac{\gamma v_0?f_y{u}_0}{f_x^2{f}_y}& ?\frac{\gamma (\gamma v_0?f_y{u}_0)}{f_x^2{f}_y^2}?\frac{v_0}{f_y^2}& \frac{(\gamma v_0?f_y{u}_0{)}^2}{f_x^2{f}_y^2}+\frac{v_0^2}{f_y^2}+1\end{array}\right]$$

其中 $f_x,f_y,u_0,v_0,\gamma$ 為內參參數。

1.3.5 構建線性方程組求解 $B$

將單應性矩陣 $H$ 的元素代入約束方程：

1. 正交性方程：
   $$h_{11}{h}_{21}{B}_{11}+(h_{11}{h}_{22}+h_{12}{h}_{21})B_{12}+?+h_{31}{h}_{32}{B}_{33}=0$$

2. 單位模長方程：
   $$h_{11}^2{B}_{11}+2h_{11}{h}_{12}{B}_{12}+?+h_{31}^2{B}_{33}=h_{21}^2{B}_{11}+?+h_{32}^2{B}_{33}$$

每幅標定圖像提供一個 $ H $，對應兩個方程。B為對稱矩陣所以有6個自由度，內參矩陣有5個自由度，因此最少需要3張照片提供6個方程求解B及內參。若使用 $n$ 幅圖像，可構建 $2n$ 個方程的線性方程組：
$$Vb=0$$

其中：

• $V$ 是系數矩陣，
• $b=[B_{11},B_{12},B_{13},B_{22},B_{23},B_{33}{]}^T$ 是 $B$ 的向量化形式。

通過 奇異值分解（SVD） 求解 $b$，再通過 Cholesky分解 從 $B$ 中恢復內參矩陣 $K$ 。

這一過程將幾何約束（旋轉矩陣的正交性）與代數計算（線性方程求解）結合，是張正友標定法能夠僅用平面棋盤格實現高精度標定的核心。

1.4 外參求解

已知 $ K $ 后，通過 $ H $ 分解外參：
$$r_1=\lambda K^{?1}{h}_1,r_2=\lambda K^{?1}{h}_2,t=\lambda K^{?1}{h}_3$$

其中 $\lambda =1/\Vert K^{?1}{h}_1\Vert$。
旋轉矩陣 $R=[r_1{r}_2{r}_1\times r_2]$，需正交化處理（如QR分解）。

---

1.5 非線性優化與畸變校正

優化目標函數：最小化重投影誤差：
$$\sum _{i=1}^n\sum _{j=1}^m\Vert p_{ij}?\hat{p}(K,R_i,t_i,k_1,k_2,X_j){\Vert }^2$$

其中 $ k_1, k_2 $ 為徑向畸變系數，畸變模型為：
$$u_{\text{畸變}}=u(1+k_1{r}^2+k_2{r}^4)$$

采用Levenberg-Marquardt算法優化所有參數。

---

總結

張正友標定法通過單應性矩陣將棋盤格平面與圖像平面關聯，利用旋轉矩陣的正交性建立內參約束，最終通過線性與非線性優化聯合求解參數。公式推導的關鍵在于：

1. 單應性矩陣的線性求解；
2. 內參約束條件的正交性展開；
3. 非線性優化的重投影誤差最小化。

該方法僅需平面棋盤格，無需精密設備，且精度較高，成為計算機視覺中廣泛應用的標定方法。

2opencv源碼解析

OpenCV的cv::calibrateCamera函數是相機標定算法的核心實現，其源碼邏輯融合了張正友標定法的數學原理與非線性優化技術。以下從源碼層面對其核心流程和關鍵模塊進行深度剖析，并結合OpenCV 4.8版本代碼結構展開說明。

---

2.1 函數入口與參數解析

函數原型（簡化自modules/calib3d/src/calibration.cpp）：

double calibrateCamera(InputArrayOfArrays objectPoints,  // 世界坐標點集（Z=0平面）InputArrayOfArrays imagePoints,   // 圖像坐標點集Size imageSize,                  // 圖像尺寸InputOutputArray cameraMatrix,    // 輸入/輸出內參矩陣InputOutputArray distCoeffs,     // 輸入/輸出畸變系數OutputArrayOfArrays rvecs,       // 輸出旋轉向量OutputArrayOfArrays tvecs,       // 輸出平移向量int flags,                       // 標定標志位TermCriteria criteria)           // 優化終止條件

關鍵參數說明：

• flags：控制標定行為的標志位，例如：
  • CALIB_USE_INTRINSIC_GUESS：使用用戶提供的初始內參矩陣。
  • CALIB_FIX_ASPECT_RATIO：固定焦距比（fx/fy）。
  • CALIB_ZERO_TANGENT_DIST：忽略切向畸變（p1=p2=0）。
• criteria：優化終止條件（默認迭代30次或誤差<1e-6）。

---

2.2 源碼核心流程

階段1：數據校驗與初始化

// 檢查輸入數據合法性
CV_Assert(objectPoints.type() == CV_32FC3 || objectPoints.type() == CV_64FC3);
CV_Assert(imagePoints.type() == CV_32FC2 || imagePoints.type() == CV_64FC2);// 初始化內參矩陣和畸變系數
if (!(flags & CALIB_USE_INTRINSIC_GUESS)) {cameraMatrix = Mat::eye(3, 3, CV_64F);  // 默認初始化為單位矩陣distCoeffs = Mat::zeros(5, 1, CV_64F);  // 默認僅考慮k1,k2,p1,p2,k3
}

---

階段2：計算單應性矩陣（Homography）

代碼路徑：modules/calib3d/src/homography.cpp

// 對每幅圖像計算H矩陣
for (int i = 0; i < nimages; i++) {Mat H = findHomography(objectPoints[i], imagePoints[i], RANSAC);homographies.push_back(H);
}

數學原理：單應性矩陣 $H$ 滿足 $s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$，通過SVD分解最小化重投影誤差求解。

---

階段3：構建約束方程求解內參矩陣

核心代碼（簡化自modules/calib3d/src/calibration.cpp）：

// 步驟1：定義對稱矩陣B = K^{-T}K^{-1}
Mat B(3, 3, CV_64F);
B.at<double>(0,0) = 1.0 / (fx*fx);
B.at<double>(0,1) = -gamma / (fx*fx*fy);
// ... 其他元素根據內參展開// 步驟2：構建線性方程組V*b=0
Mat V(2*nimages, 6, CV_64F);  // 每幅圖像貢獻2個方程
for (int i = 0; i < nimages; i++) {Mat h1 = homographies[i].col(0);Mat h2 = homographies[i].col(1);// 填充正交性約束和單位模長約束V.row(2*i) = ...; // h1^T*B*h2=0V.row(2*i+1) = ...; // h1^T*B*h1 = h2^T*B*h2
}// 步驟3：SVD求解最小特征值對應的b向量
SVD::solveZ(V, b);// 步驟4：Cholesky分解恢復內參矩陣K
Mat KInv = chol(B);
K = KInv.inv();

數學推導：通過旋轉矩陣的正交性 $ r_1^T r_2 = 0 $ 和單位模長約束 $ |r_1| = |r_2| = 1 $，將單應性矩陣 $ H $ 分解為內參矩陣 $ K $ 和外參的線性組合。

---

階段4：外參（R,t）估計

for (int i = 0; i < nimages; i++) {Mat h1 = homographies[i].col(0);Mat h2 = homographies[i].col(1);Mat h3 = homographies[i].col(2);// 計算尺度因子λdouble lambda = 1.0 / norm(K.inv() * h1);// 分解外參Mat r1 = lambda * K.inv() * h1;Mat r2 = lambda * K.inv() * h2;Mat r3 = r1.cross(r2);  // 通過叉乘保證正交性Mat t = lambda * K.inv() * h3;// 構建旋轉矩陣并正交化Mat R;Rodrigues(rvec, R);  // 旋轉向量轉矩陣SVDecomp(R, S, U, V, SVD::FULL_UV);  // 正交化處理R = U * V.t();
}

---

階段5：非線性優化（Levenberg-Marquardt算法）

代碼路徑：modules/calib3d/src/lm.cpp

// 定義目標函數：最小化重投影誤差
class CalibFunc : public LMSolver::Function {
public:int getDims() const { return totalPoints * 2; }void compute(const Mat& params, Mat& err) const {// 解析參數：內參、畸變、外參Mat K = params.rowRange(0, 9).reshape(3,3);Mat dist = params.rowRange(9, 14);Mat rvecs = params.rowRange(14, 14 + 3*nimages);Mat tvecs = params.rowRange(14 + 3*nimages, end);// 計算重投影誤差for (int i = 0; i < nimages; i++) {projectPoints(objectPoints[i], rvecs[i], tvecs[i], K, dist, reproj);err += norm(imagePoints[i] - reproj);}}
};// 調用優化器
LMSolver lm(solverFunc, criteria);
lm.run(params);

優化變量：將所有參數（內參、畸變、每幅圖像的外參）拼接為一個長向量，通過迭代更新使重投影誤差最小化。

---

2.3 畸變模型與參數處理

畸變系數定義（modules/calib3d/src/distortion_model.hpp）：

enum DistCoeffs {K1 = 0, K2 = 1, P1 = 2, P2 = 3, K3 = 4  // 默認支持5參數模型
};

畸變校正公式：
$$\{\begin{array}{l}{x}_{\text{corrected}}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_{1}xy+p_2(r^2+2x^2)\\ y_{\text{corrected}}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1(r^2+2y^2)+2p_{2}xy\end{array}$$

其中 $ r^2 = x^2 + y^2 $。優化過程中會根據flags決定是否固定某些系數（如CALIB_FIX_TANGENT_DIST）。

---

寫在后面的話

旋轉矩陣性質

一、旋轉矩陣作為正交矩陣的數學定義

旋轉矩陣是正交矩陣的一種特殊形式。根據正交矩陣的定義：

1. 正交性：列向量（或行向量）兩兩正交，即內積為零。
2. 單位模長：每個列向量的模長為1。
3. 行列式為1：若行列式為+1，則為純旋轉矩陣；若為-1，則為反射矩陣（含鏡像變換）。

數學推導：

• 正交矩陣滿足 $ R^T R = I $，展開后得到：
  $$\{\begin{array}{l}{r}_i^T{r}_j=0(i\ne j)\\ \Vert r_i\Vert =1(i=j)\end{array}$$

  因此，旋轉矩陣的列向量 $ r_1, r_2, r_3 $ 必然滿足正交性和單位模長。對于n階正交矩陣，其列向量組是n維向量空間的一組標準正交基。

---