?在七月算法報的班，老師講的蠻好。好記性不如爛筆頭，關鍵內容還是記錄一下吧，課程入口，感興趣的同學可以學習一下。

-------------------------------------------------------------------------------------------------------------------------------

特征匹配之后，得到了特征點之間的對應關系。根據圖像數據的特征，估計位姿變換的方法有以下三大類。

? 如果只有兩個單目圖像，得到 2D-2D 間的關系 ----對極幾何

? 如果匹配的是幀和地圖，得到 3D-2D 間的關系 ----PnP

? 如果匹配的是 RGB-D圖，得到 3D-3D 間的關系 ----ICP

對極幾何的示意圖

其中，P為三維空間中的一個路標，P在圖像𝐼1與𝐼2的投影： 𝑝1, 𝑝2；相機1到相機2的變換： 𝑇12；𝑂1𝑃，𝑂2𝑃在對方圖像上的投影： 𝑒2𝑝2(𝑙2)，𝑒1𝑝1(𝑙1)；𝑂1𝑂2與兩個圖像的交點： 𝑒1, 𝑒2

以下是對極幾何中幾個名詞術語的定義。

Epipolar Line: 𝑙1, 𝑙2; ----極線

Baseline: 𝑂1𝑂2; ----基線

Epipoles: 𝑒1𝑒2; ----極點

Epipolar Plane: 𝑂1𝑂2𝑃 ----極平面

P在兩個平面上的投影關系如下

對極約束刻畫了O1 O2共面的關系：

兩步計算位姿：

1) 由匹配點計算𝐸或𝐹;

2) 由𝐸或𝐹恢復𝑅,𝑡;

本質矩陣：

八點法的數學公式：

通過奇異值分解，計算可得四個解，只有第一種是真正的解。

八點法的缺點:

? 純旋轉問題：𝑡 = 0時無法求解;

? 在特征點共面時會退化。

單應矩陣

PnP的作用：已知3D點的空間位置和相機上的投影點，求相機的旋轉和平移（外參）。

常用的方法包括：Direct Linear Transform、Bundle Adjustment等

Direct Linear Transform的計算過程

Bundle Adjustment的計算過程

ICP

先求出兩個點云的質心，再做計算的優化

目標公式可以簡化成如下形式

ICP的主要流程簡寫就是如下步驟