?在七月算法報的班，老師講的蠻好。好記性不如爛筆頭，關鍵內容還是記錄一下吧，課程入口，感興趣的同學可以學習一下。

-------------------------------------------------------------------------------------------------------------------------------

特征點法流程：

1.在圖像中提取特征點并計算特征描述????非常耗時約10ms ORB

2.在不同圖像中尋找特征匹配????????? ??? ??? 非常耗時𝑂(𝑛∧2) 暴力匹配

3.利用匹配點信息計算相機位姿?????? ??? ??? 比較快速<1ms

是否可以不使用特征匹配計算VO？

光流法：最小化重投影誤差 Reprojection error

直接法：最小化光度誤差 Photometric error

光流： 追蹤源圖像某個點在其他圖像中的運動。本質→估計像素在不同時刻圖像中的運動。

光流法又分為兩大類，每一類的計算方法也不同。

? 稀疏光流：計算部分像素運動 ---- Lucas Kanade

? 稠密光流：計算全部像素運動 ---- Horn Schunck

光流法的前提假說：灰度不變。

光流法的數學基礎

光流法中的L-K方法

LK光流的結果依賴于圖像梯度

? 但梯度不夠平滑，可能劇烈變化

? 局部的梯度不能用于預測長期圖像走向

解決方式：多層光流

光流法的總結：

? 可以看成最小化像素誤差的非線性優化

? 每次使用了 Taylor 一階近似，在離優化點較遠時效果不佳，往往需要迭代多次

? 運動較大時要使用金字塔

? 可以用于跟蹤圖像中的稀疏關鍵點的運動軌跡

? 得到配對點后，后續計算與特征法VO中相同

光流法的缺點：

? 沒有用到相機本身的幾何結構

? 沒有考慮到相機的旋轉和圖像的縮放

? 對于邊界上的點，光流不好追蹤

直接法：

通過相機模型對相機位姿變化進行估計

建立目標函數

計算過程

左擾動分解中三項的物理意義

根據使用的圖像信息不同，可分為：

? 稀疏直接法：只處理稀疏角點或關鍵點

? 稠密直接法：使用所有像素

? 半稠密直接法：使用部分梯度明顯的像素

直接法的直觀解釋:

? 像素灰度引導著優化的方向

? 要使優化成立，必須保證從初始估計到最優估計中間的梯度一直下降

? 這很容易受到圖像非凸性的影響

直接法的優勢與劣勢

優勢：

? 省略特征提取的時間

? 只需有像素梯度而不必是角點（對白墻等地方有較好效果）

? 可稠密或半稠密

劣勢：

? 灰度不變難以滿足（易受曝光和模糊影響）

? 單像素區分性差

? 圖像非凸性