在多傳感器融合系統中，相機與雷達的協同感知已成為環境理解的關鍵。相機通過捕捉紋理信息識別物體類別，而雷達利用激光或毫米波實現全天候精確測距。兩者的數據融合既能避免單一傳感器缺陷（如相機受光照影響、雷達缺乏語義信息），顯著提升了動態障礙物跟蹤的穩定性和準確性。

應用場景

自動駕駛在自動駕駛中，攝像頭負責獲取環境的視覺信息，對行人、車輛、交通標志等目標進行分類與識別；雷達則提供高精度的距離和速度測量，避免誤判（如區分路牌和真實障礙物）。

機器人地面機器人用雷達實時探測前方障礙物距離，用攝像頭識別障礙物類型。對于空中的無人機可以使用雷達測量離地高度，使用攝像頭識別降落平臺標記（如二維碼）等進行目標識別，實現精準著陸。
定位與建圖激光SLAM可生成環境的三維輪廓圖，結合攝像頭提供的語義地標，為高精度定位和路徑規劃提供更穩定的支撐。

時間同步的重要性

目前多傳感器融合技術在SLAM(同時定位與建圖)領域得到廣泛應用，其中確保各傳感器數據的時間同步是提升系統魯棒性和精度的關鍵。由于相機和雷達在采樣頻率、啟動延遲和數據傳輸等方面存在差異，若未進行有效的時間對齊，可能導致數據融合誤差，影響系統性能。因此，在設計相機與雷達的融合系統時，首先應解決傳感器之間的時間同步問題，以實現高精度的環境感知和定位。

常見的時間同步方式

NTP時間同步

NTP（Network Time Protocol）：通過網絡服務器同步系統時間，精度通常為毫秒級，適合低精度需求。部署簡便，受網絡延遲影響較大。廣泛應用于服務器、工業設備、機器人等領域。

PTP時間同步

PTP（Precision Time Protocol, IEEE 1588）：是一種高精度時間同步協議，主要用于局域網（LAN）中實現納秒級的時間同步。其核心原理基于主從架構和雙向報文交換，通過測量和補償網絡延遲來實現設備間的時鐘對齊。

GPS時間同步

GPS 接收機輸出與 UTC 秒脈沖嚴格對齊的 PPS 信號。其他設備通過硬件接口（GPIO、TTL）捕獲 PPS 上升沿，并將此硬件脈沖作為時間基準，對本地時鐘或觸發器進行校正。

硬件觸發同步

使用專用觸發器或 FPGA/MCU 產生統一的物理觸發脈沖（如 TTL 低電平/高電平信號）。所有設備在同一時刻采集數據幀，時間戳直接由硬件產生。

如何測試相機與雷達是否同步？

以四目相機和Livox Mid-360激光雷達為例，為了對相機和雷達的數據進行融合，我們首先需要測試相機與雷達是否達到時間同步，因此我們需要測試兩者的數據時間戳的差值保持在一個穩定的區間。

同步方式

根據雷達和相機參數，兩臺設備均支持硬件同步的方式。雷達的硬件同步方式如下圖所示。在這里我們采用串口的方式來進行同步，具體的引腳信號要求如下表所示。在這里為了同時滿足雷達和相機的硬件觸發方式，該測試采用STM32來發送脈沖信號。

• 配置相機為等間距采樣，這樣相機在采樣時將發出一個脈沖，通過STM32單片機接收這個脈沖并將其轉化為1Hz同步信號（1PPS）

• 在STM32中將雷達和相機的硬件觸發要求配置完成，并將對應的引腳連接雷達和相機的硬件觸發口。本次的測試的觸發頻率為10Hz，其原理如下圖所示，其中t0為相鄰兩次秒脈沖上升沿的間隔；t1: 秒脈沖的高電平時間；t2: GPRMC的傳輸時間；t3: GPRMC數據開始發送相對于脈沖上升沿的延遲。

• 為了測試相機和雷達有沒有同步成功，我們編寫了一個測試Demo,主要是通過將接收到雷達和相機每幀的時間戳記錄下來，通過對比兩者差值是否收斂來判斷同步是否成功。這里注意的是雷達和相機的時間戳格式不同，需要轉成統一格式，本次測試采用統一的UTC格式。

測試結果

測試的結果如下圖所示，從圖（a）中結果可以看出兩者的差值一直處于收斂。在圖（b）中兩者的差值始終小于1ms，該實驗結果表明雷達和相機的時間同步成功。

圖（a）

圖（b）

如果您有感興趣的技術話題，請在留言區告訴我們！關注阿木實驗室，更多技術干貨不斷更新！ 開發遇到棘手難題可以上阿木官方論壇：bbs.amovlab.com
有工程師親自解答10000+無人機開發者和你共同進步！