1 前言
? ? ? ? 隨著自動駕駛端到端大模型的興起,小鵬、華為、理想、蔚來、小米等公司都對自動駕駛業務部進行了組織架構的調整,準備應對新的或者更高級別的自動駕駛研發任務。
????????近幾年由于自動駕駛技術的快速發展,不少從業者覺得相關職業的未來充滿了挑戰。那么針對傳統的規控算法工程師的現狀到底怎么樣,以及未來的發展如何?
? ? ? ? 本篇博客就筆者了解到的實際情況和讀者朋友們進行分享。
2 招聘市場
? ? ? ? 筆者首先在某招聘網站截取了相關崗位的招聘情況,職位搜索主要以規控算法工程師崗位為主,對于規控算法工程師,目前招聘需求還是比較多的(先給各位看官吃顆定心丸),其中主要以行車的規控算法為主,泊車規控算法招聘相對較少。
? ? ? ? 再往下不難發現,像文遠知行和蔚來都在規控算法中提到了大模型算法,理想甚至都沒有傳統的規控算法工程師的崗位。
? ? ? ? 另外,在英偉達的實習生招聘中,提到了不少L2級功能的開發。由于英偉達的自動駕駛研發起步比較晚,目前還是比較傳統的規控算法,包括行車以及泊車的功能。
????????實習生主要參與的工作:復雜交通場景下駕駛和停車功能的 NDAS 決策和規劃算法的性能調優, 在不同 OEM 合作伙伴的平臺上集成、調整和調整更具競爭力的 NDAS 決策和規劃解決方案。
? ? ? ? 隨后,筆者特意找到了理想汽車的大模型招聘需求,對于從事大模型崗位的讀者可以參考下述的要求,看下來,對于沒有工作經驗的應屆生,頂會論文和相關大廠的實習經歷比較重要:
- 本崗位的主要工作內容為:
- 參與研發端到端、大模型在車端AI芯片上的部署和推理加速方案;
- 跟蹤前沿的大模型、高性能計算方向技術,調研并落地到車端模型部署和加速上,包括但不限于LLM推理框架、投機采樣、模型壓縮、量化、計算圖優化等方向;
- 撰寫高水平學術論文或專利擴大影響力。
- 職位要求:
- 擁有豐富的高性能計算、大模型優化實戰經歷,在相關領域有突破性工作,精通計算機體系結構,對NV GPU芯片有深入理解,有端到端自動駕駛、機器人系統工程化落地經驗更佳;
- 需要至少發表 1篇 人工智能/MLSys等領域頂會論文或者頂級學術比賽成果;
- 有自動駕駛、大模型推理加速相關領域頂尖實習經歷的優先。
3 規控未來發展
3.1?發展趨勢
? ? ? ? 規控算法未來會以神經網絡學習算法為主,這是目前的一個趨勢。逐漸會向強化學習,端到端深度學習,多模態融合發展。
-
強化學習(RL):強化學習在規控算法中的應用將越來越廣泛,尤其是在復雜動態環境下的決策和規劃。
-
多模態融合:第一個方面是針對感知層的視覺、激光雷達等多模態數據,提升規控算法的魯棒性和適應性;第二個方面是針對大模型的多模態軌跡,去做軌跡融合,提升模型軌跡的類人性。
-
端到端:端到端(如基于深度學習的規控)將逐漸成熟,能夠直接從傳感器輸入生成控制指令。由于車型控制之間的差異性,目前大部分公司還是輸出到軌跡層面。
3.2?技術方向
(1)復雜場景下的規劃與控制
????????基于第二小節的闡述,傳統的規控策略目前還有大量需求,大模型上車對很多公司是有門檻的,國內目前除了頭部的三五家智駕公司,其它公司依然以傳統的規控算法為主。
-
動態避障:在動態環境中實現實時避障和路徑規劃,基于決策算法,時空聯合規劃算法等方面。
-
軌跡優化:之前的博客中也多次提到過,目前端到端的玩家輸出均為軌跡,所以優化大模型輸出的軌跡也是一個需求。
(2) 強化學習與模仿學習
-
模仿學習:開發基于深度學習的端到端規控算法,基于人類駕駛員數據進行監督。
-
強化學習:在復雜動態環境中應用強化學習進行決策和規劃。
(3)安全與可靠性
-
功能安全:開發符合功能安全標準的規控算法,無論是高低速的安全冗余,比如AEB。作為智駕安全的最后一道底線,AEB覆蓋的速度范圍也是非常重要的。
4?職業發展建議
(1) 行業需求
-
隨著自動駕駛技術的商業化落地,規控算法工程師的需求將持續增長。
-
自動駕駛出租車、物流車、礦區車等應用場景將創造大量就業機會。
(2)持續學習
-
關注行業前沿技術(如強化學習、端到端學習),主要以看論文為主,關注相關領域的發展狀態。
-
有條件可參加學術會議和技術交流活動(如 CVPR、ICRA),和大牛交流,從中能獲取更多行業相關的知識和經驗。
(3)項目經驗
? ? ? ? 參與自動駕駛相關項目是最能直接提升技能的。筆者認為在求學期間或者職業生涯前兩年能完整接觸一個自動駕駛項目最好,正式步入公司之后,更多的是量產方面的工作(摳細節的工作會比較多),在大公司更趨向于負責其中很小的一塊。
-
參與實際自動駕駛項目,積累實戰經驗。
-
盡量在項目中承擔核心模塊的開發任務。
迎接清晨的曙光,共勉!!!
?