自動駕駛---Tesla的自動駕駛技術進化史（PerceptionPlanning）

1 前言

????????筆者在專欄《自動駕駛Planning模塊》中已經詳細講解了傳統自動駕駛Planning模塊的內容：包括行車的Behavior Planning和Motion Planning，以及低速記憶泊車的Planning（最開始有15篇，目前逐漸更新到17篇）。讀者對整個傳統的自動駕駛Planning模塊的內容也有了一個清晰的認識。

? ? ? ? 在之前的技術普及類博客《自動駕駛---Tesla之FSD簡介》中，筆者也曾簡單闡述了特斯拉自動駕駛目前的兩個等級：AutoPilot和FSD，并介紹了這兩個功能的特點。目前特斯拉基本代表自動駕駛量產技術的最高水平，因此通過了解特斯拉的技術發展，對于國內自動駕駛量產從業者也有較大的幫助。

????????在本篇博客中，筆者將詳細介紹特斯拉是如何從早期傳統的自動駕駛系統遷移到完整的端到端自動駕駛系統。

????????前排提示：篇幅較長，耐心觀看；不妥之處，歡迎討論。

2 FSD迭代進程

? ? ? ? 本篇博客主要通過以下3個時間節點來闡述特斯拉FSD的進化史，主要參考了特斯拉每年AI Day的內容。

特斯拉在2021年：推出HydraNets和BEV
特斯拉在2022年：增加Occupancy網絡
特斯拉在2023年：向端到端過渡

? ? ? ? 從技術發展的迭代過程中會發現：特斯拉實際上已經為端到端做好了很長時間的準備。以下的每一個點都是一個很大的技術方案，筆者受限于掌握的知識深度，不能涉及到每一個技術的細節，盡量從宏觀上讓讀者更容易明白。技術細節后面會進一步整理之后再慢慢闡述給各位讀者朋友們。

2.1?時間點：2021年

? ? ? ? 首先說說特斯拉感知模塊，特斯拉感知的發展歷程，也正是國內很多自動駕駛大廠或者主機廠的發展迭代的過程，像無圖方案（無高精地圖），BEV，Occupancy等，基本都是在引領著量產技術的潮流，因此特斯拉舉辦的AI Day也算是自動駕駛量產技術的盛宴了。

2.1.1 傳感器

? ? ? ?特斯拉攝像頭（一共8個）布局如下，當然早期還有雷達（后續舍棄）。

????????特斯拉自動駕駛負責人是這樣解釋去掉雷達的原因。?

????????"The reason people are squeamish about using Vision?is [...]?people are not certain if neural networks are able to do range finding of depth estimation?of these objects. So obviously humans drive around with vision, so obviously?our neural net is able to process the inputs to understand depth and velocity of all the objects around us." Andrej Karpathy

2.1.2 數據標注

????????為了訓練神經網絡來預測深度，需要一個包含數百萬視頻的龐大數據集。如何收集呢？這就體現出特斯拉的優勢了，每天都有成千上萬的車主開著特斯拉，因此特斯拉的數據集是非常容易獲取的。

????????但是如何給數千小時的視頻貼標簽呢？特斯拉使用神經網絡，并且標簽在某種程度上是半監督的。特斯拉開始離線進行自動標注，這樣做有幾個優點，神經網絡可以是超重型的，甚至可以組合雷達或激光雷達輸入。

2.1.3 網絡訓練

? ? ? ? 一旦數據集標注完畢，就可以使用這些數據集進行神經網絡的訓練了。

? ? ? ? 下面詳細說明整個原理：

所有8幅圖像首先由圖像提取器進行處理。為此，使用了類似于ResNets（殘差網絡）的體系結構。
然后，有一個多載波融合。這個想法是將所有8個圖像組合成一個超級圖像。為此，九頭蛇使用了類似Transformer的架構。
再就是時間融合。其想法是將時間帶入等式，并將超級圖像與之前的所有超級圖像融合。為此，有一個由N個圖像組成的視頻隊列。例如，如果他們想用2秒融合，并且假設相機以每秒36幀的速度工作，N將是72。時間融合是用3D CNN、RNN和Transformer完成的。
最后，將輸出拆分為HEADS。每個頭都負責一個特定的用例，并且可以自己進行微調。如果說頭過去只是頭，那么它們現在有了主干（trunk）和終端（terminals）。這是一種更深入、更具體地了解用例類型的方法。每個終端都可以處理自己的任務（行人檢測、紅綠燈等）。

????????需要注意的是，整個過程被一分為二：有兩個時間融合過程，兩個藍色的頭和兩個綠色的頭。這實際上是一種表明神經網絡在兩個芯片上并行運行的方式，推測是為了安全做的冗余備份。

2.1.4?HydraNets

????????特斯拉的自動駕駛系統起步時，其感知模塊依賴于Mobileye系統。同時也在推出HydraNets，整體架構圖如下，這8個圖像都是使用共享主干（Backbone）進行同步和融合的。然后，可以定制使用多個“頭”（Objects，Traffic Lights，Markings等）。這種結構就是特斯拉所說的HydraNets：幾個頭，一個身體。

????????這種結構的優點是，可以針對特定的用例（如障礙物檢測）微調神經網絡，而不會干擾其他任務（車道線等）。特斯拉不需要激光雷達，因為這些傳感器的成本和尺寸，系統是由攝像頭和雷達組成的。

2.1.5?Bird-Eye-View

? ? ? ? 同時在2021年Tesla AI Day，Andrej Karpathy 介紹了Bird-Eye-View概念。

?????????自動駕駛感知中的BEV（Bird's-Eye-View），即鳥瞰視圖，是一種在自動駕駛領域中廣泛使用的環境感知方法。它模擬了從車輛正上方垂直向下觀看地面的視角，能夠提供一個全面、清晰且空間一致性的環境感知視圖。以下是關于自動駕駛感知BEV的介紹：

（1）工作原理

????????BEV算法主要將來自不同傳感器（特斯拉主要是攝像頭）的數據轉換為車輛正上方俯瞰視角下的統一表示。這種轉換涉及到圖像到點云投影、坐標變換以及特征融合與映射等步驟。

圖像到點云投影：對于視覺傳感器，如攝像頭，首先通過立體匹配、單目或多目深度估計等技術獲取場景的三維信息，然后將這些信息投影到車輛坐標系下的垂直平面上，生成點云數據。
坐標變換：車載傳感器的數據通常需要從各自傳感器坐標系下轉換到全局或車輛坐標系下，這涉及到坐標變換和校準過程。
特征融合與映射：在BEV空間上進行多傳感器數據的融合，提取特征，如使用卷積神經網絡或Transformer架構對這些特征進行處理，以生成BEV特征圖。

（2）優點

全面的環境視圖：BEV提供了車輛周圍環境的全面視圖，使得自動駕駛汽車能夠更準確地感知和理解周圍環境。
無遮擋或縮放問題：與2D感知相比，BEV不存在遮擋或縮放問題，能夠更好地處理交叉或遮擋的車輛等復雜場景。
空間一致性：BEV提供了空間一致性的視圖，有利于后續模塊（如規劃）的開發和部署。
全局視野：BEV能提供車輛周圍較大范圍的全景視野，不受單一傳感器視線局限，對于復雜路口、交叉口以及交通擁堵等場景尤其重要。

2.1.6?Planning

? ? ? ? 在2021年的AI day上，特斯拉介紹了三種規劃方法：

（1）傳統的A*算法

? ? ? ? 在特定場景下，搜索節點到44000個才能完成搜索過程。A*的算法講解可參考筆者之前寫過的博客文章《自動駕駛---OpenSpace之Hybrid A*規劃算法》，兩者有著比較高的相似度。

（2）通過導航信息增強版的A*算法

????????這種方法不是傳統的調整“啟發式”函數，而是更多的輸入（具體細節沒有透露）。優化完成只需要22000個節點就能完成搜索過程。

（3）神經網絡增強版的MCTS算法

? ? ? ? 通過將神經網絡與傳統的樹搜索相結合，它可以達到少于300個節點的目標。

? ? ? ? 基于蒙特卡洛樹搜索的方法可參考筆者之前的博客《自動駕駛---Behavior Planning之MCTS》。目前還沒看到Tesla發表的MCTS與神經網絡結合相關的論文。

? ? ? ? 特斯拉2021年感知和規控的整體架構如下圖所示：

2.2?時間點：2022年

? ? ? ? 在2022年，特斯拉推出了一種新算法，稱作 “占用網絡”（Occupancy）。因為使用了占用網絡，特斯拉自動駕駛系統不僅能夠提高感知能力，還能夠提升規劃能力。特斯拉在2022年所做的就是在Perception模塊中添加一個占用網絡，因此將Perception模塊分為兩個子塊：第一個是HydraNets，用于查找物體、標志、車道線等，第二個是占用網絡，在3D世界中查找占用塊。

2.2.1?Occupancy

? ? ? ? 在講解Occupancy之前，先理解為什么要使用Occupancy？

????????如果自動駕駛車輛在行駛過程中看到的物體不是數據集的一部分，這個時候容易出現誤判。
而在基于激光雷達的系統中，由于檢測到點云，可以確定障礙物的存在，但是在相機系統中，必須首先使用神經網絡檢測物體，僅憑這一點就造成了許多事故。

????????注意上圖中列出的幾個問題：

對水平線上的深度非常敏感，只有2個左右的像素決定了一個大區域的深度。
不可能透過遮擋物進行檢測，也不可能駛過車輛。
所提供的結構是二維的，但世界是三維的。
對于懸掛的障礙物，通常會進行分類，然后設置成固定的矩形障礙物。
可能存在裂縫、坑等非標注的場景，無法檢測（它不是數據集的一部分）。

（1）概念

????????占用網絡是一種不同的算法，基于機器人的思想命名為占用網格映射；它包括將世界劃分為一個網格單元，然后定義哪個單元被占用，哪個單元是安全的。

????????首先，Occupancy Network的工作原理是將來自多視圖圖像的輸入數據轉換為一個三維特征空間。然后，它使用深度神經網絡來學習這個特征空間中的占用概率。最后，Occupancy Network將這些占用概率轉換為一個三維占用網格，這個網格可以精確地表示車輛周圍環境中的障礙物和其它元素。

????????參照下圖所示，整個Occupancy的過程如下描述：

首先，攝像頭數據被發送到由Regnets和BiFPN組成的主干網（這些都是2022年最先進的特征提取器）。
然后，注意力機制模塊進行位置圖像編碼（這里起始就是Transformer神經網絡），并使用關鍵字、值和固定查詢（汽車與非汽車、公共汽車與非公共汽車、交通標志與非交通標志）來生成占用特征量。
接著產生了一個占用特征體，然后將其與之前的占用體（t-1、t-2等）融合，以獲得4D占用網格。
最后，使用去卷積來檢索原始大小，并獲得兩個輸出：占用體和占用流。

（2）Occupancy Flow

? ? ? ? 占用體比較容易理解，占用流似乎不是那么容易理解，這里其實也涉及到預測的概念了，一輛車在攝像頭視頻數據里的移動，是如何體現到像素的變化里。

????????為了做到這一點，使用了“光流”的技術。如果熟悉傳統的計算機視覺，不少讀者應該知道“光流”是什么意思。但其它領域的人（包括筆者）對這個概念不是很清晰，上網搜索了一番。
????????光流是像素在時間上的運動。它可以通過傳統方法或深度學習技術進行計算。得益于光流，可以使用該運動創建flow MAPS，描述每個像素在時間上的運動。流圖的一個例子，每種顏色代表一個“方向”。

? ? ? ? 在分割圖之后，對圖像的每個像素進行分類，即深度圖，它拍攝兩個立體圖像，并找到每個像素的深度。以兩個連續的圖像作為輸入，可以得到運動矢量。

? ? ? ? 最終呈現的效果如下（紅色：向前，藍色：向后，灰色：靜止，等等）。

（3）NeRFs

? ? ? ? 由于占用網絡會生成3D占用體，然后可以將這些3D體與3D重建體（離線訓練出來的）進行比較，從而比較重建的3D場景是否與“地圖”（NeRF產生的3D重建）匹配。在這些重建過程中也可能出現圖像模糊、下雨、大霧等問題。為了解決這一問題，特斯拉使用車隊（眾多特斯拉的社會車輛）的數據進行平均（每次車輛看到場景時，都會更新全局3D重建場景）。

? ? ? ? 下面簡單介紹一下NeRFs（神經輻射場）的概念：

????????NeRFs（神經輻射場）是一種先進的計算機圖形學和計算機視覺技術，它利用深度學習模型通過連續的3D函數來表示3D對象或場景。與傳統的依賴點云或網格表示的方法不同，NeRFs通過將底層場景建模為神經網絡來生成逼真的重建。

????????NeRFs的核心思想是通過訓練神經網絡來學習場景的體積密度和顏色，從而能夠渲染出從任意角度觀察場景時的圖像。這種技術使得我們能夠以更高的精度和逼真度來捕捉和再現真實世界的三維物體和環境。

（2）應用

????????在自動駕駛系統中，Occupancy Network主要用于以下任務：

障礙物檢測：Occupancy Network能夠檢測車輛周圍的障礙物，包括其他車輛、行人、騎自行車者等。這對于自動駕駛汽車來說至關重要，因為它需要準確地知道周圍環境中的障礙物，以便進行安全的路徑規劃和車輛控制。
路徑規劃：Occupancy Network可以生成車輛的路徑，并確保該路徑避開障礙物。這使得自動駕駛汽車能夠在復雜的環境中安全地行駛，同時考慮到其他交通參與者和潛在的障礙物。

????????Occupancy Network通常與Bird's Eye View（BEV）圖像一起使用，BEV圖像提供了從車輛上方俯瞰的場景視圖，包括車輛前方、后方、兩側和頂部。通過使用BEV圖像和Occupancy Network，自動駕駛汽車可以獲得一個全面且準確的環境感知能力，這對于實現安全的自動駕駛至關重要。

? ? ? ? 針對比較特殊的障礙物（類似液壓支撐臂），可以看下OCC的效果。

? ? ? ? 再看一個例子，如果你的數據集里沒有對類似的物體進行標注，就可能出現危險。

????????新的占用網絡通過實現3個核心技術來解決上述遇到的這些問題：BEV圖、占用檢測和Voxels分類（通過三維被占網格的形狀可訓練得到是哪一種類型障礙物，檢測類別可能錯誤，但是不會漏檢）。

2.2.2?HydraNets 2.0

????????HydraNets與2021年沒有太大區別，只是它有一個額外的“Head”，是一個完整的神經網絡來執行車道線檢測任務。

? ? ? ? 在2022年特斯拉整個感知模塊的整體架構如下所示（Occupancy用于3D建模，HydraNets 2.0用于車道線以及障礙物的檢測）：

2.2.3?Planning

? ? ? ? Planning的流程如下，其實這個和國內很多自動駕駛公司的方案差不多，筆者在《自動駕駛Planning模塊》專欄中基本做過介紹，區別主要在于內部的算法使用。

????????最初的神經網絡規劃已經不錯了，但現在感知的輸出中新增了Occupancy占用網格。因此在新的規劃模塊將占用體和車道集成到由蒙特卡洛樹搜索和神經網絡組成的架構中。為了理解搜索樹的邏輯，以特斯拉在2022年AI Day上給出的例子（路口出現行人）。

? ? ? ? 蒙特卡洛樹搜索（MCTS）的作用前面已經闡述過，這里就不多說了。然后重點說一說規劃器里神經網絡的作用，從特斯拉AI Day中可以得到的信息，全局規劃似乎沒有再使用之前的A*算法，而是直接使用MCTS作為全局規劃的結果，在MCTS中插入自定義的代價函數，并且特斯拉應該用的是神經網絡訓練出的代價函數，原因是神經網絡能夠吸收場景的全局上下文，然后產生一個價值函數，有效地引導它向走向全局最小值，而不是陷入局部最小值，能夠比較快的搜索到目標終點（感慨特斯拉學術量產的能力）。

? ? ? ? 通過對決策軌跡的打分來選擇軌跡，如下有兩種選擇：

????????（1）在行人未走到左轉車道之前，自車加速左轉；

? ? ? ? （2）在行人穿過左轉車道之后，自車減速左轉；

? ? ? ?最終根據以下四個點去選擇軌跡：

碰撞檢測
舒適性
干預可能性
類人駕駛

???????2022年特斯拉整個Planning的架構如下圖所示：

? ? ? ? 那么，再把感知和規控的架構放一起，整個特斯拉2022年自動駕駛的架構圖如下：

2.3?時間點：2023年

????????在2023年，特斯拉在FSD v12版本完成了End-To-End 架構的切換。什么是端到端自動駕駛？端到端的自動駕駛方法將感知和決策集成在一個統一的模型中，通過直接學習從圖像到駕駛行為的映射，簡化了問題復雜性，提高了計算效率。

????????因此，特斯拉做了兩件事：

????????（1）訓練每個模塊的深度神經網絡；

????????（2）端到端模型將這些神經網絡組裝在一起。

2.3.1 Deep Learning

? ? ? ?在這篇博客?《自動駕駛---End-to-end用于Planning行為規劃》中，筆者大概介紹了Deep Learning的基本過程。在目前的自動駕駛中，Transformer神經網絡逐漸被廣泛使用。

2.3.2 End-to-end

? ? ? ? 有了多層的神經網絡，如何將其合在一起又或者如何去訓練數據呢？

????????因此，主要的區別不在于模塊本身，而在于它們是如何訓練和優化的。在端到端系統中，模塊被聯合優化以實現單個總體目標。在非端到端系統中，每個塊都是單獨優化的，而不考慮較大系統的目標。

? ? ? ? 看起來現在更像一個黑盒，但可以看到是如何使用占用網絡和多頭神經網絡的，特斯拉把這些元素組裝在一起。雖然這是一個黑盒，但是可以在任何時間點可視化Occupany的輸出，可視化Object Detection的輸出，直觀Planning的輸出等等。也可以單獨訓練這些元素，然后以端到端的方式進行微調。（具體的內容官方沒有公布）

????????特斯拉并不是唯一家做端到端的公司，雖然目前量產的公司不多。而Elon Musk在社交平臺上表達過：使用端到端方法，不再需要“告訴”車輛在紅燈或停車標志處停車，也不再在變道前驗證決策，這輛車通過“模仿”訓練使用的1000萬視頻中的司機，自己去解決車輛行駛過程中遇到的問題。

????????因此，特斯拉一直在使用1000萬視頻（數據量會越來越多）的數據集，然后對每一個視頻的駕駛員進行評分，并訓練機器模仿“好駕駛員”的行為。理論上來說這個潛力是巨大的，可能會比普通人類司機的駕駛更優秀，因為模型在面對未知場景時可以更好地駕駛——它會在訓練中找到最接近的行為，而不是停滯不前。