教程

畸變和校正

單目和雙目標定

單雙，rgb-d原理

單目相機

只有一個攝像頭的相機。

原理

小孔成像。

缺點

單目相機無法測量物體點的深度信。

因為物體的Z軸坐標系無法測量。

雙目相機

有兩個攝像頭的相機。

用兩個單目相機組成的雙目相機就可以測量深度信息，有些地方也把雙目相機叫深度相機。

RGB-D相機

RGB-D相機一般有3個鏡頭：中間的鏡頭是普通的攝像頭，采集彩色圖像；另外兩個鏡頭分別用來發射紅外光和接收紅外光。

RGB-D相機也利用和激光一樣得到方法測距：

三角測距和TOF。

相機內參

相機內參通常用一個3×3的矩陣?K表示：

2，主點：定義了相機光軸（Optical Axis）與成像平面（Image Plane）的交點在圖像像素坐標系中的位置。

3，傾斜系數（Skew Coefficient）

• s：描述圖像坐標系中x軸和y軸的不垂直程度（現代相機通常為0）。

-- 相機內參就是求解焦距和主點。

焦距

鏈接

鏈接

決定了相機的視角范圍和成像大小。

• 凸透鏡：焦距為正，光線匯聚。

• 凹透鏡：焦距為負，光線發散。

焦距的含義和作用：

物理焦距：

鏡頭的光學中心到感光元件之間的距離，用f表示。

像素焦距：

相機內參矩陣中的?fx??和?fy??是將物理焦距轉換到像素坐標系的產物，可能不同。

主點

理想相機模型：

傳感器完全對準鏡頭，也就是像素坐標系原點完全對準相機坐標系(鏡頭中心坐標系)。

真實相機：
由于制造誤差（如傳感器安裝偏移、鏡頭與傳感器未嚴格對齊），光軸可能不會精確穿過圖像中心，因此主點?(cx,cy)會略微偏離理論中心。

內參成像模型

(x,y,z)是物體本身的一個點p相對于相機坐標系的位置。

K就是相機內參。

相機外參

在內參模型中，世界環境中的物體點P給的都是點P相對于相機坐標系下的坐標值：

實際情況下，世界環境中的物體點P給出的是點P相對于世界坐標系下的坐標值：

所以為了使用內參成像模型的公式，就需要將點P在世界坐標系下的位姿轉為點P在相機坐標系下的位姿

相機外參：

相機外參本質上就是一個變換矩陣，用于將世界坐標系中的3D點轉換到相機坐標系。

(關于變換矩陣以及坐標系變換--鏈接)

外參成像模型：

旋轉矩陣R：

，我個人理解是世界坐標系到相機坐標系的旋轉矩陣。

就是求解的是相機坐標系下的坐標。

T：

我個人理解是世界坐標系到相機坐標系的變換矩陣。

T就是相機外參。

-- 相機外參就是世界坐標系到相機坐標系的變換矩陣。

成像畸變

徑向畸變

• 桶形畸變（Barrel Distortion）：圖像邊緣向外膨脹，中心收縮（常見于廣角鏡頭）。

• 枕形畸變（Pincushion Distortion）：圖像邊緣向內收縮，中心膨脹（常見于長焦鏡頭）。

原因：

光線穿過鏡頭時，邊緣的光線比中心的光線折射更強烈（桶形畸變）或更弱（枕形畸變）。

桶形徑向畸變會導致像素點在像素坐標系上的位姿(x,y)向中心靠攏。

需要通過校正，擴散像素點坐標。

枕形徑向畸變會導致像素點在像素坐標系上的位姿(x,y)擴散。

校正

• 點：即像素點，即像素坐標。

• 圖像中心（Principal Point）：
  光軸與成像平面的交點，坐標為?(cx,cy)(cx?,cy?)（單位：像素），由相機內參定義。

切向畸變

相機鏡頭和圖像傳感器平面由于安裝誤差導致不平行，因此引入了切向畸變。

校正

徑向畸變和切向畸變融合校正

相機標定

單目相機標定

目的：相機標定就是進行相機內參和畸變進行標定，利用標定得到的內參K和畸變系數,,,,對原始圖像進行修正。

一般相機出廠時就自帶相機內參參數。

雙目相機的標定

與單目標定不同的是，雙目相機除了標定相機內參外，還要標定相機外參。