0. 簡介

由于多相機之間通常存在有限或無重疊的視場，因此在估計外參相機參數時面臨著一定的挑戰，為了解決這個問題，本文提出了CamMap：一種新穎的6自由度外參標定流程。根據三個操作規則，使一個多相機系統單獨捕捉一些類似的圖像序列，以使用SLAM系統創建基于稀疏特征的地圖。我們構建了一個兩階段的優化問題來對齊這些地圖，并基于雙向投影得到它們之間的變換，這些變換即為外參參數。該方案支持各種相機類型，在任何紋理豐富的環境中都可以使用。它可以同時標定任意數量的相機，無需標定板、同步、相同分辨率和頻率。我們對具有有限和無重疊視場的相機進行了實驗評估，結果顯示我們的方法具有較高的準確性和效率。Kalibr和CamMap之間的絕對姿態誤差（APE）小于0.025。代碼已經在Github上開源了。我們這里文字主要是基于《CamMap：基于SLAM地圖對不共視相機進行外參標定》的，當中插入代碼以供學習。

1. 主要貢獻

準確估計相機外參對于關聯多個相機的信息至關重要。然而，如圖1(a)所示，重疊視場通常很小或不存在，這給外參標定帶來了重大挑戰。為了讓標定板能夠被同時捕捉到，標定板必須遠離相機放置。由于角點提取像素誤差的增加，標定精度會降低，對于沒有重疊視場的情況，需要一個充滿已知相對位置模式的標定房間，這既昂貴又不方便。

圖1. 非重疊相機的組合示例。(a) 配備兩個RealSense D455和兩個L515的TurtleBot。我們移除了連接線以清晰顯示。(b) RealSense D455的組成，右側圖像傳感器和左側圖像傳感器可以組合成立體攝像頭，并且左側圖像傳感器的坐標系被用作參考，中間的RGB模塊可以單獨用作單目攝像頭。? RealSense L515的結構，它可以用作RGB-D或單目攝像頭。

針對解決上述問題并充分利用ORB-SLAM3，本文提出了CamMap：一種6自由度外參標定流程，它可以對非重疊相機進行高精度的外參標定，并可應用于多種類型的相機，如單目、立體和RGB-D相機。該標定方法CamMap通過對ORB-SLAM3創建的地圖進行對齊來實現，換句話說，自然場景可以用作標定模式。在分別使用兩個相機構建兩個相似地圖并找到所有匹配的地圖點后，外參參數正好是地圖之間的變換關系。標定過程僅耗費幾十秒時間。所提出的方法的應用要求在表I中可以找到。

本文的主要貢獻如下：

1. 提出了一種相機外參標定流程，將ORB-SLAM3系統集成到不重疊視場的各種相機類型中，在任何紋理豐富的自然環境中都可以使用，無需標定板，并且可以同時標定任意數量的相機。并將所提出的方法開源。

2. 為不同位置的多相機提出了三個操作規則，這旨在消除相機不同步時的理論誤差，并減少SLAM漂移引起的誤差。

3. 我們在兩階段優化問題中引入了基于雙向投影的代價函數來計算外參參數，然后提供了一種用于確定標定是否成功的SLAM漂移評估方法。

2. 主要內容

2.1 概述

這里詳細描述了所提出的方法，如圖2所示，一個裝有兩個剛性連接相機A和B的支架，在支架上進行一系列規定的運動后，相機捕捉圖像流，這些圖像流將由ORB-SLAM3處理，用于創建地圖，包括關鍵幀$A_i$、$B_j$（其中$i=1，...，m$，$j=1，...，n$）和地圖點$P$，值得注意的是地圖坐標系與相機的第一個關鍵幀坐標系重合，這意味著地圖之間的變換$$T_{BA}^{Map}$實際上是$A_1$和$B_1$之間的變換$T_{A_1}^{B_1}$，也即是外參參數。然后執行類似關鍵幀檢測以在兩個地圖中找到匹配的關鍵幀。最后使用兩階段優化通過對所有匹配地圖點對（$P_k^{A_1}，P_k^{B_1}$）進行對齊來估計外參參數（其中 k ∈ N ， N = { 1 ， . . . ， l } k ∈ N，N = \{1，...，l\} k∈N，N={1，...，l}）。CamMap的流程包括以下步驟：

1. 通過相機捕捉一些圖像序列，當多相機支架進行一組固定運動時，例如在小圓圈上旋轉，這應該根據相機的相對位置進行規劃，在標定開始和結束時，支架應保持靜止。

2. 使用ORB-SLAM3系統處理圖像序列，以創建基于ORB特征的地圖。

3. 使用詞袋（BoW）模塊對兩個地圖之間的所有關鍵幀進行相似性檢測，找到相似關鍵幀并匹配地圖點。

4. 對相似關鍵幀捕捉的尺度和局部地圖進行對齊，以估計外參參數，這個過程是“幀到幀”的對齊，是第一個優化階段。同時，使用卡方檢驗來刪除錯誤匹配的地圖點對。

5. 對于第二階段的優化，使用所有正確匹配的地圖點對來優化外參參數，這是“地圖對地圖”的對齊。卡方檢驗用于獲得內點的數量。最后根據內點數量和$T_{B_1}^{A_1}$與$T_{B_m}^{A_n}$之間的差異判斷標定是否成功。

…詳情請參照古月居