目錄
多傳感器融合
多傳感器融合的方向
傳感器融合方案介紹
LOAM
LIO-SAM
LVI-SAM
多線激光雷達性質
什么是運動畸變
兩步優化的幀間里程記
IMU 器件介紹及選型建議
IMU 標定方法簡介
視覺里程計 VS 激光里程計
LVI-SAM 激光視覺融合思路簡介
多傳感器融合工程實踐經驗與技巧
多傳感器融合
slam 領域中的多傳感器融合簡單來說就是融合多個傳感器的數據來獲得更準確的定位
信息和建圖結果
有哪些傳感器
跟 slam 相關的傳感器有 相機，激光雷達， GPS ，輪速里程記，慣性測量單元（ IMU ）
等
這些傳感器基本上是自動駕駛車輛必備的傳感器
他們分別的特點有哪些
相機：優點是便宜，輕量，包含信息豐富，可以參照人眼，人工智能的巔峰估計就是
只利用相機可以在任何場景下實現實時建圖、定位、圖像分割、目標檢測和分類、導
航、避障等等高級功能，缺點就是現有的通用的視覺 slam 技術依賴圖像的紋理來進行
特征點的提取，沒有紋理或者黑夜圖像就很難被很好的利用起來，其次，圖像中缺乏
3d 信息，通常建模 slam 問題需要同時優化位姿和地圖點，這給優化問題的計算和精
度帶來了挑戰，另一方面，單目圖像缺乏尺度信息
激光雷達：優點包含了 3d 信息，探測距離遠，同時不受光照條件和環境紋理等影響，
缺點是幾何特點會在部分場景下如長走廊，空曠的草原等失效，同時價格昂貴，當然
16 線的已經降價很多了，但是自動駕駛的乘用車基本不可能使用這么低線束的激光雷
達，改裝成本高，算法上限有限
GNSS ：優點是提供全局定位信息，如果在衛星信號好同時附近有基站的情況下，配
合 RTK （實時動態差分技術）可以實現厘米級定位，不受光照以及環境幾何特征的影
響，缺點是基站作用范圍有限，部署成本高，同時城市內容易發生多路徑效應，定位
結果不穩定，地下等場景完全沒用
輪速里程記：優點是可以提供比較準確的車輪信息，對一定時間內的狀態變化估計有
非常好的作用，同時提供了尺度信息，缺點是基本只是一個 2d 運動模型，打滑算法就
受影響，同時無法進行全局定位
IMU ：優點是對一段時間的運動狀態尤其是旋轉有著比較好的估計，可以感受到重力，
使得 roll 和 pitch 全局能觀，不受任何環境因素的影響，缺點是積分軌跡時間一長容易
發散，重力估計不正確會使得平移的估計偏差較大
我們可以發現基本上每一個傳感器都用著自身無可比擬的優點以及無法規避的缺點，
因此如果把所有的雞蛋放到一個籃子里，無論是精度還是魯棒性都會遇到非常大的問
題，這也是自動駕駛車輛所無法接受的，因此，我們需要揚長避短，取各家所長，形
成一個穩定的魯棒的方案
多傳感器融合的方向
根據主傳感器的類型分別視覺為主的方案以及激光為主的方案，由于視覺激光兩個傳
感器的關聯性以及互補性有限，因此這兩種傳感器緊耦合的方案并不多，比較多的方
案要么以激光為主，要么以視覺為主同時融合其他傳感器的方案。
視覺 slam 方向：常見的方式是一個視覺特征點前端（當然還有基于直接法的前端，如
DSO ），通過光流或者描述子建立不同幀特征點之間的關聯，后端根據前端特征關聯的
結果和其他傳感器數據進行融合，根據融合的方式分為基于優化的后端（ ORBSLAM2 、
3, VINS-MONO ， VINS-FUSION ）以及基于濾波的后端（ MSCKF ），視覺通常會提供
一個重投影誤差作為約束或者更新量
激光 slam 方向：目前性能最好使用最廣的激光 slam 方案是基于 LOAM 的系列方案，
LOAM 主要是為多線激光雷達設計的 lidar 定位和建圖的方案，當然，由于現在其他一
些 lidar 硬件的推出，一些 LOAM 的改進版本也是適當推出，如（ Livox LOAM ）。
基于 LOAM 方案通常前端是對當前幀激光雷達提取特征（通常是面特征和線特征），
通常后端結合其他傳感器信息給當前幀到地圖中的匹配提供一個良好的初值（激光
slam 中最重要的事情就是給 scan matching 提供一個更準確的 init guess ）
傳感器融合方案介紹
為什么選擇激光雷達
激光雷達相比圖像有著對光照、紋理不敏感的優點，激光雷達地圖相比通用的視覺特
征點 + 描述子地圖有著更好的穩定性，在安全性至上的自動駕駛領域，激光雷達方案比
視覺方案魯棒性更優，幾乎所有 L4 級別的自動駕駛解決方案都會帶有激光雷達（像特
斯拉這樣的純視覺方案應用并不多），因此，從實用性上來講，激光雷達有著視覺難以
比擬的優點
LOAM
非常經典的激光里程記和建圖方案，也是其他 LOAM 方案的鼻祖， LOAM 只基于激光
雷達（可選 IMU ），通過把 SLAM 拆分成一個高頻低精的前端以及一個低頻高精的后
端來實現 lidar 里程記的實時性。
LIO-SAM
LOAM 基礎上采用緊耦合的 imu 使用方式，放棄了幀間里程記作為前端里程記，而
使用緊耦合后 imu 的預測值作為前端里程記，后端沿用 LeGO-LOAM ，同時加入了對
)
