什么是SLAM？
SLAM，即同時定位與地圖構建技術，SLAM可以讓機器人、無人機和其他自動化系統能夠在未知環境中同時進行自我定位和環境映射。
為什么是NeRF-Based SLAM？
傳統CG將輸入圖像重新投影再融合到新的視圖攝像機中，利用幾何結構來進行重投影。在很多情況下，傳統CG方法重建地圖都能有相當好的效果，但是對于地圖上的未知區域，進行三維重建恢復就有些困難了。
深度學習很早就在應用在重建方面。Volumetric 表達由Soft3D提出，隨后與Volumetric ray-marching 相結合的深度學習技術出現，這是一種基于連續可微密度場的Geometry（幾何）表示方法。
神經輻射場引入了Importance Sampling（重要性采樣）和Positional Encoding（位置編碼），使得三維重建的質量得到顯著提升；同時NeRF神經渲染算法大大減少了傳統三維重建中生成的偽影，在大多數情況下效果都比傳統算法好。目前重建圖像質量最好的是Mip-NeRF360。
此外，將SLAM技術融入到深度學習中，更容易使得所有算法能夠統一到一個框架中，方便不同算法之間的數據傳輸和通信，方便了上下游兄弟部門的協同合作。比如建好的地圖可以用于語義標注，從而接到BEV感知中訓練，又或者可以生成 Occupancy 網格，交給規控部門去做路徑的規劃和智能體的控制。
為什么是Gaussian-Based SLAM？
基于NeRF的SLAM算法采用全局地圖和圖像重建損失函數，通過可微分渲染捕獲稠密的光度信息，具有高保真度。但是用Implicit Neural Representation（隱式神經表達）對場景建模導致了許多問題：
-
query過程（可以理解為射線渲染）需要大量的采樣，渲染方法成本很高
-
用了大型多層MLP，運算量大，占用內存高
-
不容易編輯
-
不能顯式地對空間幾何建模
-
導致“遺忘”問題
SLAM技術通常部署在機器人身上，性能尤為關鍵。后續出現了一系列解決NeRF重建效果和性能的論文，基于3D高斯輻射場的SLAM有以下好處:
-
快速渲染和豐富的優化：Gaussian Splatting可以以高達400 FPS的速度渲染，使其比隱式表達更快地可視化和優化。
-
有明確空間范圍的建圖：現有地圖的空間邊界可以通過在之前觀察到的部分場景中添加高斯函數來控制。給定一個新的圖像幀，我們可以通過渲染剪影識別場景的哪些部分是新內容（在地圖的空間邊界之外）。這對于Tracking任務很重要，因為我們只想將已經建好圖的部分與新圖像幀進行比較。隱式表達就不行了，因為在對未知區域建圖優化的時候，全局的優化會影響到神經網絡。
-
顯式地圖:我們可以通過添加更多的Gaussian函數來任意地增加地圖容量。而且這種顯式的表達讓我們可以編輯場景中的某些部分，同時仍然允許真實的渲染。隱式方法不能輕易地增加其容量或編輯其所表示的場景。
課程大綱
課程亮點
-
本門課程從理論和代碼實現兩方面展開，帶你從零入門NeRF/Gaussian Based SLAM的原理學習、論文閱讀、代碼梳理等。
-
理論層面，從線性代數入手到傳統的計算機圖形學，讓大家明了現代三維重建的理論基礎和源頭；
-
代碼層面通過多個練習手把手教會大家復現計算機圖形學、NeRF相關工作。
學后收獲
-
入門基于NeRF/Gaussian的SLAM領域
-
學會如何在快速抓取一篇論文的關鍵點和創新點
-
如何快速跑通一篇論文的代碼并結合代碼掌握論文的思想
-
逐行NeRF代碼進行解析，掌握每個實現細節，并手動復現并作改進
課程設置
-
系統要求：Linux
-
編程語言：Python
-
基礎要求：有Python、PyTorch基礎
適合人群
-
對一篇新論文配套開源代碼無從下手的小白
-
SLAM定位建圖、NeRF三維重建小白
-
從事三維重建工作的人員可參考
-
NeRF論文的初始閱讀者
-
對SLAM、NeRF感興趣的學員
開課時間
2024年2月24日晚上8點（周六），每周更新一章節。
課程答疑
本課程答疑主要在本課程對應的鵝圈子中答疑，學員學習過程中，有任何問題，可以隨時在鵝圈子中提問。
▲長按購買課程，前50名，享早鳥價，立減70元
▲長按添加小助理微信：cv3d007，咨詢更多
備注：以上圖片和視頻部分來自網絡，如果侵犯了您的權益，還請聯系刪除！
