論文標題：

NGM-SLAM: Gaussian Splatting SLAM with Radiance Field Submap

論文作者：

Mingrui Li, Jingwei Huang, Lei Sun Aaron, Xuxiang Tian, Tianchen Deng, Hongyu Wang

導讀：

3DGS技術因其性能卓越而備受關注，3DGS-SLAM系統應運而生。然而，當前3DGS-SLAM系統通常在大場景表示、有效的閉環校正和場景泛化能力方面存在缺陷。為此，論文作者設計了NGM-SLAM，這是第一個利用神經輻射場子圖用于漸進式場景表示的GS-SLAM系統，有效地結合了神經輻射場和3DGS的優勢，實現了最先進的場景重建和跟蹤性能。??【深藍AI】編譯

1. 背景簡介

長期以來，SLAM技術一直是機器人學與AR/VR領域的核心議題。密集SLAM系統因廣泛的應用潛力而備受重視。傳統密集SLAM系統利用體素、點云和TSDF等顯式表示，在追蹤方面表現出色，但受限于高保真建模、空缺填補及紋理細節的處理，其應用范圍受到一定局限。神經隱式SLAM系統，基于NERF的隱式表示，顯著增強了SLAM系統的感知能力，但依舊面臨實時性、運行速度和內存需求的瓶頸。

近期，3DGS-SLAM系統在保持NERF-SLAM系統的建圖精度同時，在渲染速度和精度上取得了突破，挑戰了神經隱式 SLAM 在密集重建中的主導地位。然而，值得注意的是，與NERF相比，3DGS-SLAM系統依賴點云輸入，在空缺填補能力上有所欠缺，且未充分利用神經網絡的泛化能力。此外，它缺乏穩健的閉環檢測機制，導致在大場景中累積漂移問題凸顯，影響了地圖的穩定性和準確性。

2. 方案提出

針對上述挑戰，作者創新性地設計了融合神經子圖與3DGS表示的SLAM體系。

首先，構建以神經輻射場為基礎的子圖與一個全局關鍵幀索引。當達到地圖構建閾值時，基于前序子圖作為先驗，將會創建新的神經子圖，并實施高斯渲染。隨后，執行局部捆綁調整（BA），并在子圖間實施融合策略及高斯體修剪。閉環一旦被識別，即刻啟用實時由粗到細的閉環校正，通過調整對應錨框的地圖姿態，并運用全局BA及高斯渲染損失函數，以最小的計算成本有效修正累積漂移。

實驗結果表明，本方法在跟蹤和建圖方面實現了SOTA性能，并且可擴展到大規模場景。

▲圖1｜NGM-SLAM系統架構??【深藍AI】編譯

3. 細節解析

圖1展示了NGM-SLAM的系統架構。該系統包括跟蹤和建圖兩個模塊。在初始子圖開始建立后，跟蹤模塊持續估計相機姿態并檢測環路，同時將子圖的關鍵幀傳遞給建圖模塊。建圖模塊首先構造神經子圖，該神經子圖也用作多尺度GS（高斯拋雪球）子圖的先驗，并在子圖之間執行并行渲染。在子圖內執行局部束縛調整（BA）以校正姿態和建圖誤差，一旦檢測到閉環，就對所有錨框執行全局BA。最后，生成的GS地圖被縫合在一起。

■3.1 先驗神經子圖渲染

考慮到3DGS-SLAM系統在泛化推理能力上的不足，本文引入了基于數據驅動的增量神經子圖作為基礎監督機制，來填補空白并增強地圖表示。基于ORB特征點追蹤，僅在當前幀提取特征，減少了與子圖創建和空缺填充相關的漂移問題。通過設立局部與全局關鍵幀列表，優化了局部與全局BA流程，并在子圖積累至預設關鍵幀閾值時新建局部子圖。為優化地圖融合并減少融合誤差，借助DBOW模型評估關鍵幀間的共視關系，確保地圖結構的穩定性。

■3.2 多尺度高斯子圖渲染

利用神經子圖提供的先驗信息，采用一組各向異性3DGS分布來描繪場景，利用位置、不透明度、三階球諧系數、3D尺度及四元數描述的3D旋轉來豐富場景細節。通過多尺度渲染技術，解決了小高斯體渲染中的鋸齒問題，通過不同分辨率下的高斯體聚合，提高了渲染質量，同時在保證渲染速度的前提下，通過射線引導的高斯體修剪策略進一步提升了精度與效率。

■3.3 高效子圖融合策略

為適應大規模場景并有效管理內存資源，本文提出了一套高效的子圖融合機制。場景被劃分為多個局部子圖，每個子圖依據關鍵幀的空間位置進行定位。在每次局部BA后，地圖的中心姿態得到更新，以確保子圖間的良好對齊。為了避免子圖邊界處出現視覺上的重疊或縫隙，從每個子圖的邊緣剔除了多余的高斯體，從而減輕了拼接時可能出現的偽影現象。接下來，采用高斯聚合技術，將相鄰子圖邊界的較小高斯體合并為更大的單元，以實現無縫過渡。這一系列操作確保了子圖間的平滑拼接，即使在多次閉環校正和全局BA之后，也能維持地圖的一致性和完整性，同時控制了內存占用的增長。

■3.4 閉環檢測與全局優化

閉環檢測是確保地圖整體一致性的關鍵步驟。采用局部與全局相結合的策略，首先在每個子圖內部進行局部BA，專注于局部關鍵幀的校正。對于全局一致性，利用詞袋模型（BoW）來檢測全局關鍵幀之間的關聯性，一旦發現閉環條件滿足，即啟動一個由粗到精的全局調整流程。這一過程首先通過BA優化錨定子圖的姿態，接著執行子圖融合，以消除邊界漂移。在此之后，保持錨定子圖姿態固定，基于全局關鍵幀列表執行全局BA，進一步細化姿態調整，并再次進行子圖融合，以最終完成閉環校正。通過在整個過程中整合射線采樣，能夠指導高斯體的生成與融合，進而利用高斯渲染損失進一步細化地圖，確保了全局地圖的一致性和準確性，同時保持了系統的實時性。

4. 實驗

實驗結果表明，與現有基于3DGS的SLAM方法相比，本方法在多個維度上實現了顯著提升，不僅提高了跟蹤和建圖的精度，還優化了系統運行效率，特別是在處理大規模多房間序列時展現了其優越性能。

▲圖2｜展示了在Replica數據集房間序列上，單目與RGB-D重建技術的對比結果??【深藍AI】編譯

▲圖3｜展示了在Replica數據集四個大型公寓序列上的重建結果，證明了本方法有效避免了災難性遺忘，并且能夠實現背景的合理填充及場景的廣泛適應性??【深藍AI】編譯

▲圖4｜在ScanNet數據集的大規模多房間序列上，本方法展現了其在累積誤差校正方面，相較于傳統基于高斯拋雪球的方法有著更優的表現??【深藍AI】編譯

▲表1｜在Replica數據集的8個小房間序列上，本方法在平均PSNR(dB)、SSIM、LPIPS、ATE(cm)、跟蹤FPS、系統FPS和GPU使用情況等方面的表現??【深藍AI】編譯

▲表2｜在Replica數據集的5個大規模場景序列上，本方法在ATE RMSE(cm)性能方面的表現??【深藍AI】編譯

▲表3｜在ScanNet數據集的6個大規模場景序列上，本方法在ATE RMSE(cm)性能方面的表現??【深藍AI】編譯

▲表4｜在TUM RGB-D數據集上，本方法在ATE RMSE(cm)性能方面的表現??【深藍AI】編譯

▲表5｜在EuRoC數據集上，使用立體視覺相機輸入時，本方法在ATE RMSE(cm)性能方面的表現??【深藍AI】編譯

5. 總結

總的來說，作者提出的NGM-SLAM系統成功地將神經輻射場的表達力與3DGS的高效渲染能力相結合，通過創新性的子圖管理和閉環檢測策略，克服了大場景建圖和實時性要求的挑戰，并以其穩健的跟蹤性能和監督精度，展現出廣泛的應用前景，這無疑將開啟一股融合NeRF與3DGS技術的SLAM系統研究新浪潮。

編譯｜Deep藍同學

審核｜Los

移步公眾號【深藍AI】，第一時間獲取自動駕駛、人工智能與機器人行業最新最前沿論文和科技動態。