1. 項目概述

Camera-Calibration是一個基于Python和OpenCV實現的相機標定工具，旨在通過張正友標定法（Zhang’s Method）計算相機的內參矩陣、畸變系數和外參參數。該項目適用于計算機視覺、機器人導航、增強現實（AR）等領域，能夠有效校正鏡頭畸變并建立圖像像素坐標與真實世界坐標的映射關系。

技術核心

• 張正友標定法：通過多視角棋盤格圖像計算相機參數，具有高精度和低實現復雜度的特點。
• OpenCV集成：利用findChessboardCorners檢測棋盤格角點，通過calibrateCamera進行參數優化。
• 非線性優化：采用Levenberg-Marquardt算法最小化重投影誤差，確保標定結果的準確性。

---

2. 技術原理與數學模型

2.1 相機模型

相機的成像模型基于小孔成像原理，數學表達為：
$$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$
其中：

• $(u,v)$為像素坐標，$(X_w,Y_w,Z_w)$為世界坐標
• $f_x,f_y$為焦距，$(c_x,c_y)$為主點坐標
• $r_{ij}$和$t_i$構成旋轉矩陣和平移向量（外參）

2.2 畸變模型

徑向畸變和切向畸變的校正公式：
$$\begin{array}{rl}{x}_{corrected}& =x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_{1}xy+p_2(r^2+2x^2)\\ y_{corrected}& =y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1(r^2+2y^2)+2p_{2}xy\end{array}$$
其中$k_1,k_2,k_3$為徑向畸變系數，$p_1,p_2$為切向畸變系數。

---

3. 實戰指南：項目運行與標定流程

3.1 環境配置

# 依賴安裝
pip install opencv-python numpy matplotlib

3.2 數據準備

1. 標定板要求：
   • 使用棋盤格（如9×6內角點），打印時需保證1:1比例且平整
   • 每個方格的物理尺寸需精確測量（例如25mm×25mm）
2. 圖像采集：
   • 在不同角度、距離下拍攝15-20張圖像（覆蓋畫面中心與邊緣）
   • 示例代碼自動檢測有效圖像：

     images = glob.glob('calib_images/*.jpg')
     

3.3 執行步驟

import cv2
import numpy as np# 初始化參數
CHECKERBOARD = (9, 6)  # 內角點行列數
objpoints = []  # 3D點
imgpoints = []  # 2D點# 生成世界坐標系點
objp = np.zeros((CHECKERBOARD[0]*CHECKERBOARD[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2)for fname in images:img = cv2.imread(fname)gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)ret, corners = cv2.findChessboardCorners(gray, CHECKERBOARD, None)if ret:objpoints.append(objp)corners_refined = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001))imgpoints.append(corners_refined)# 標定相機
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

3.4 結果驗證

# 校正測試圖像
img = cv2.imread('test.jpg')
h, w = img.shape[:2]
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w,h), 1, (w,h))
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)# 計算重投影誤差
mean_error = 0
for i in range(len(objpoints)):imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)error = cv2.norm(imgpoints[i], imgpoints2, cv2.NORM_L2)/len(imgpoints2)mean_error += error
print(f"重投影誤差: {mean_error/len(objpoints):.2f} 像素")

合格標準：誤差應小于1.0像素，理想值在0.5像素以下。

---

4. 常見問題與解決方案

4.1 角點檢測失敗

• 現象：findChessboardCorners返回False
• 原因與解決：
  1. 棋盤格尺寸錯誤：確認CHECKERBOARD設置為內角點數（實際方格數-1）
  2. 圖像模糊/反光：調整光照，確保棋盤格清晰可見
  3. 邊緣未完全顯示：至少需完整顯示全部內角點

4.2 標定結果異常

• 焦距值過大（如fx=42880）：
  • 檢查物理尺寸單位是否錯誤（例如將毫米誤設為米）
  • 增加圖像多樣性，覆蓋不同視角
• 畸變校正無效：
  • 確認dist系數已正確應用
  • 嘗試啟用CALIB_RATIONAL_MODEL以支持高階畸變模型

4.3 運行時錯誤

# 錯誤：Assertion failed (dims == 2 && ...)
# 解決：檢查objpoints和imgpoints維度一致性
assert len(objpoints) == len(imgpoints), "數據對數量不匹配"

---

5. 相關論文與技術演進

5.1 經典論文

1. 張正友標定法（2000）：

   • 提出基于平面模板的靈活標定方法，成為OpenCV實現的基礎
   • 論文標題：A Flexible New Technique for Camera Calibration

2. 多傳感器標定（2019）：

   • 悉尼大學ACFR實驗室改進VOQ策略，提升標定魯棒性

5.2 前沿方向

• 在線標定：通過SLAM實時更新相機參數
• 深度學習標定：使用CNN直接估計畸變參數（如DeepCalib）
• 多相機協同標定：適用于自動駕駛多視角系統

---

6. 項目擴展建議

6.1 功能增強

• 自動化數據篩選：根據角點檢測質量自動過濾低質量圖像
• GUI交互界面：集成PyQt實現參數可視化調整
• ROS支持：與camera_calibration包對接，實現標定結果實時發布

6.2 性能優化

• GPU加速：使用CUDA加速角點檢測與圖像校正
• 多線程處理：并行處理圖像加載與角點細化

---

通過本項目實踐，開發者不僅能掌握相機標定的核心算法，還能深入理解計算機視覺系統的幾何建模原理。結合重投影誤差分析與參數優化策略，可進一步提升視覺應用的精度與魯棒性。