一、概要
因為想知道SIL、HIL是什么仿真工具,故而瀏覽了自動駕駛相關的知識。
資料來源《自動駕駛——人工智能理論與實踐》胡波 林青 陳強 著;出版時間:2023年3月
二、圖像的分類、分割與檢測任務區別
如圖所示,這些更高階的圖像理解任務往往都可以歸類為目標檢測、語義分割這兩種基本的任務,或者基于這兩種任務的擴展(實例分割)?。不同于單純的圖像分類,目標檢測需要定位出在一張圖像中每個物體(例如行人)的類別以及位置范圍,而實例分割更進一步,需要以像素為單位給出每個物體的范圍。
目標檢測包括對車輛、行人、非機動車、交通信號燈和標志等進行檢測。這個任務中需要同時做兩件事情:一是分類,識別出目標是什么;二是定位出目標在哪里。前者不言而喻,對于后者,例如定位出目標在一個十字路口,需要能夠分辨出是哪個位置的交通燈及交通燈分別是什么信號,這樣才能相應地根據交通信號的指示移動。更細節地,目標檢測可以分為2D和3D檢測。前者是在一個2D圖像上檢測出物體,它的目標輸出是在圖像坐標系中的一個矩形框。后者是在3D空間中的檢測,目標輸出是3D的邊界框。考慮到2D像素空間仍然只是3D空間的投影,而且如果考慮到畸變、地面的不平等因素,這種投影還存在不規則的因素,因此相對而言,2D像素空間中的檢測與分割都還需要額外的處理才能用于后續的決策,而3D空間中的檢測則可以較方便地用于決策規劃環節。?
三、超參數
常見的超參數及其對模型訓練的敏感性(其數值變化對模型訓練的影響能力)
四、實現自動駕駛功能的流程
?五、自動駕駛系統研發流程
1、按信息處理過程劃分
2、自動駕駛汽車研發工程示意圖
(1)路采規劃:該環節主要是對路采進行詳細的路徑規劃,例如在全國哪些省市進行路采,采集什么樣的路況和場景,有哪些代表性的天氣狀況需要采集,以及車隊的人員配備和管理。
(2)測試車改裝:該環節涉及測試車的功能規劃,傳感器的選擇、安裝、標定,數據獲取系統(包括傳感器記錄儀、預標注系統、存儲系統、車載電源等)的安裝調試。
(3)裸數據采集:該環節需要注意相關法規的監管。在中國,公開道路上的地理信息數據的采集行為受《中華人民共和國測繪法》的約束,需要有地理信息勘測甲級資質的圖商監管。
(4)數據上傳:采集好的數據需要從路測場地通過物流的方式運輸回數據中心上傳,物流的過程同樣也需要接受圖商的監管。到達數據中心后,需要快速地將數據上傳到數據中心的數據湖中存儲,并將存儲介質數據清除后通過物流送回路測場地循環使用。
(5)海量數據存儲:根據不同的項目目標和規劃,每天采集的數據量可能從數太字節(terabyte,TB)到數百太字節不等,由于數據量巨大,因此數據中心的數據上傳應盡量采用自動化手段實現。數據中心側應部署支持海量數據規模的數據湖存儲設備接收每日上傳的路采裸數據,同時應部署元數據庫對路采裸數據的元數據進行管理(數據治理)?。
(6)數據清洗+預處理:一旦有新的裸數據進入數據湖,系統就可以開始數據處理的流程。先由圖商對數據做脫敏(去除車牌等敏感信息)操作以及坐標系的偏轉操作,再通過高性能計算集群對數據進行清洗(去除鏡頭被遮擋等的圖像數據)和相應的預處理(亮度調節、對比度調節等)?。
(7)數據標注:對于需要進行深度學習(deep learning,DL)訓練的數據,通過手動或半自動的標注平臺進行標注(labeling),以生成監督學習需要的真值數據。
(8)自動駕駛產品規劃:由自動駕駛的產品經理對自動駕駛的功能進行產品規劃,并針對不同功能的自適應巡航控制(adaptive cruise control,ACC)系統、自動緊急制動(autonomous emergency braking,AEB)系統、車道偏離警示(lanedeparture warning,LDW)系統等制定不同的測試方案。
(9)算法模型訓練:利用傳感器數據進行物體識別、語義分割、實例分割等基于卷積神經網絡的深度學習訓練,將達到訓練精度的模型用于推理,從傳感器數據中抽取出各種場景要素。
(10)仿真場景庫:使用抽取出來的場景要素生成場景庫,業界比較權威的場景庫是基于自動化及測量系統標準協會(association for standardization ofautomation and measuring systems,ASAM)規定的OpenDrive和OpenScenario場景庫。在后期的虛擬仿真中,此環節生成的場景庫將用于為數字仿真模型車生成虛擬的仿真場景。
(11)虛擬仿真:通過Simulink、Prescan、Carsim等虛擬仿真工具對算法進行“軟件在環(SiL)”虛擬仿真,在仿真環節中仿真道路路面、交通參照物、車輛、行人以及天氣條件下的環境信息(例如雨霧或者夜間照明時的路面信息)?。通過對各種基本要素的排列組合形成各種復雜的場景,盡可能多地覆蓋各種罕見場景(cornercase),讓數字仿真模型車在這些復雜場景中做各種測試并記錄結果。每次測試完 ? 成后利用測試結果對數字仿真模型車的算法和參數進行優化,循環往復,直到得到滿足自動駕駛分級功能要求的結果。
(12)硬件仿真:對SiL仿真過程中達到功能標準的算法進行“硬件在環(HiL)”仿真驗證。在SiL仿真過程的代碼跑通后,再基于必要的硬件在環平臺,檢測代碼在傳感器、計算單元等硬件系統上運行中的錯誤和兼容性問題。然后進行“車輛在環(ViL)”仿真,將相關的軟硬件系統集成到車輛平臺上,在封閉場地中完成相關測試,檢測代碼是否出現問題。
(13)道路測試:基于“司機在環(DiL)”?,在測試場地和政府允許的公開道路進行場地測試,檢測自動駕駛系統的運行情況,獲得司機的主觀評價及驗證人機交互等功能。
(14)量產:以上各項測試都通過后,就可以進入量產階段,在汽車成品中進行大量部署。