AI大模型如何賦能智能座艙

AI?大模型如何賦能智能座艙

從上海車展上,我們看到由于智能座艙配置性價比較高,已經成為車企的核心競爭點之一,隨著座艙硬件規模化裝車,蔚小理、嵐圖、極狐等新勢力開始注重座艙多模態交互,通過集成語音/手勢/觸控打造智能化差異體驗。車展期間,百度、商湯、華為等擁有大模型的廠商相繼推出智能座艙產品,我們認為?AI?大模型的落地,將加速賦能座艙語音助手向“AI?智能管家”升級,有望推動座艙人機主動式交互時代的到來。

智能座艙演進到了什么階段?——全面朝?4.0?多模態階段邁入

我們將汽車座艙從機械時代到智能時代的發展劃分為?5?個階段,可以看到現階段下座艙正處于從?3.0(以特斯拉?Model3/Y?的簡配為代表)到?4.0(以理想?L9?的高配為代表)的演進階段。該階段重要特征即視聽觸多模塊硬件加速升級,豐富汽車座艙智能生態。我們參加了?2023?年上海國際車展,車展中我們看到造車新勢力、傳統車企、Tier1?等新產品的展出和發布。我們看到智能座艙配置的性價比推動其滲透率快速提升,已經由原先造車新勢力“一騎絕塵”的方式,轉換全行業“齊頭并進”。搭載方案轉向座艙視聽觸多模態硬件全方位升級,印證了?4.0?時代加速到來,

大模型如何賦能座艙?——“AI?管家”打造差異化體驗

我們認為目前多模態交互的背后仍是通過“語音+觸摸屏”來實現控制,靠乘客主動發起方能實現的指令識別型“被動式交互”。大模型的落地,將加速軟件能力升級,推動座艙?5.0?人機主動式交互時代的到來。

大模型有望:

(1)通過賦能語音助手對于乘客的語音語義理解能力。打通其在視覺、聽覺、觸覺等多模態應用上的操控力,形成深度的乘駕人機主動式互動體驗。

(2)擺脫座艙硬件堆棧同質化。通過大模型賦能語音助手或將成為“AI?智能管家”,因算法不同而具有不同的特色和功能,進而形成車企自身獨特的智能化差異,構筑核心競爭力。

比較看好的產品方向:

(1)視覺:傳統車載?TFT-LCD?顯示技術的快速迭代,逐步趨向大屏、高清化。此外?HUD?結合?AR?技術興起,法規允許?E-Mirror?上車,多態顯示技術交互。我們測算?23-30E?全球車載顯示硬件規模有望達?1723?億元,CAGR?為?10.2%。

(2)聽覺:通過搭載更多數量/不同區位揚聲器實現環繞體驗,增加數字功放/低音炮等器件提升聽覺質感。我們測算?23-30E?全球座艙聲學硬件規模有望達到約?483?億元,CAGR?為?14.2%。

(3)觸覺:3DTOF?作為最適合?AI?視覺的傳感器,用于支持手勢交互/DMS/乘客識別功能,目前已經在理想、問界、BBA?等率先上車,大模型發展有望驅動需求快速提升.

智能座艙:4.0?至?5.0,從多模態到大模型

如果我們將汽車座艙從機械時代到智能時代的發展劃分為 5 個階段,我們認為現階段下座艙正處于從 3.0(以特斯拉 Model3/Y 的簡配為代表)到 4.0(以理想 L9 的高配為代表)的全面演進階段。該階段重要特征即視聽觸多模塊硬件加速升級,豐富汽車座艙智能生態。

(1)座艙 1.0-2.0:最開始座艙的 1.0 時代,僅有機械儀表盤和車載收音機等寥寥數個車載元件,座艙主要以功能性為主。行至座艙 2.0 時代(20 世紀 80 年代后),隨著信息技術革命,中控屏應運而生,可以初步顯示行車信息及實現艙內控制功能,同時電氣式儀表盤廣泛應用,為駕駛員提供更多輔助信息。車載 DVD 功能的出現開啟了汽車座艙娛樂化屬性的重要一步。

(2)座艙 3.0-4.0:后隨著汽車實現區域集成架構,高性能、高集成、高擴展性的座艙域控制器以開始助推智能化加速。我們認為在座艙 3.0 時期(2010 年后),中控屏、液晶儀表盤、音響等基礎視聽硬件,以及車燈、座椅等均得到了全方位升級;此外 Carplay 等應用上車也開啟了車機互聯的時代。隨后國內造車新勢力不斷推進座艙往 4.0 時代發展(2020 年后),我們看到 HUD、副駕/后排屏、電子后視鏡開始陸續上車,杜比音效、AI語音及手勢交互甚至 VR 眼鏡等功能不斷創新,快速豐富座艙智能化體驗。

(3)座艙 5.0:展望未來座艙 5.0 生態,在中央集成架構下,整車智能化水平將達到一個新的高度。我們認為隨著大模型的賦能,AI 語音助手將加速轉變為“AI 智能管家”,進行深度人機情感交互。此外,參考 2023 年 CES 大會上寶馬 i Vision Dee 概念車的構思:全息投影、透明顯示、車燈投影、電子墨水、裸眼 3D 等元素或進一步升級。

圖片

2023?年上海國際車展看到造車新勢力、傳統車企等新產品的展出和發布。智能座艙的滲透已經由原先造車新勢力“一騎絕塵”的方式,轉換全行業“齊頭并進”,行業搭載方案轉向座艙多模態升級,印證了?4.0?時代加速到來。具體而言包括:1)視覺:車載屏幕向大屏化、多屏化、高清化的方向發展,HUD?加速上車。2)聽覺:揚聲器、功放數量增加,致力于打造沉浸式聽覺享受。造車新勢力:蔚來發布第二代數字座艙,搭載于?EC7、ET7、新款?ES8;理想:L7?延續L9/L8?亮眼座艙配置,打造家庭座艙體驗;極狐:20.3?英寸中控屏與副駕/儀表/HUD?多屏交互,裝載哈曼卡頓音響;廣汽埃安:Hyper GT14.6?寸?2.5k?中控屏+23?個?HIFI?揚聲器實現?3D?環繞立體聲場。

傳統車企:寶馬:X1?搭載第?8?代?BMW iDrive?操作系統,配備?10.7?寸懸浮式曲面屏及HUD,滿足駕乘者的個性化需求;大眾:新車型?ID.7 VIZZION?主打智能乘坐空間,內置15?英寸?2k?懸浮中控屏及?AR-HUD,配備哈曼卡頓音響。

圖片

4.0?階段是座艙往多模態演進的時期,硬件升級>軟件升級。目前多模態硬件的堆棧背后仍是通過“語音+觸摸屏”來實現控制,主要交互停留在“命令識別”層面,靠乘客主動發起方能實現的“被動式交互”,各模態之間仍互為獨立。

往后隨著硬件逐步上車,座艙交互性和操控便捷性的重要程度逐步凸顯。車企開始探索艙內智能化交互,“語音助手”或成為核心交互載體。看到目前新勢力在座艙交互上已經有所突破。例如智能化領先的小鵬語音助手小?P?可以支持多指令識別、離線響應。蔚來人車交互系統?NOMI?具有較強的學習功能和語音指令識別功能,此外還能根據不同狀況表現出相對應的情感,與車主進行簡單對話。而理想的“理想同學”同樣屬于可以由關鍵詞觸發,能夠執行語音/手勢/觸控命令的初級智能?AI。

往后看大模型的落地,或將加速軟件能力升級,推動座艙?5.0?人機主動式交互時代的到來。大模型有望:(1)通過賦能語音助手對于乘客的語音語義理解能力,提升全功能操控力。打通其在視覺、聽覺、觸覺等多模態應用上的操控力,形成深度的乘駕人機主動式互動體驗。(2)打造智能生態差異化,擺脫座艙同質化。通過大模型賦能語音助手或將成為“AI智能管家”,因算法不同而具有不同的特色和功能,進而形成車企自身獨特的智能化差異。

商湯日日新大模型亮相車展,大模型接入座艙。4 月 18 日上海車展上,商湯亮相了其“日日新 Sensenova”大模型,并展示了其中文語言模型“商量 SenseChat”以及“如影 SenseAvatar”等與座艙的結合,我們看到通過大模型可以賦予座艙多種生成式 AI 能力,提供包括情緒感知、智能助手、基于情感的對話、創意內容生成、個性交互等一系列功能,應用場景也可以拓展到娛樂、辦公、購物、休息等。

1)?AI 數字人:根據乘客偏好設置,形成數字虛擬人與乘客進行交流,形象趨近于“AI 座艙管家”,是乘客與車機的交互對象。

2)信息查詢強化:通過語音詢問乘客可以獲得具體信息查詢輸出,此外還包括關于餐廳推薦、旅行路徑規劃、給兒童創造讀物的創意性輸出。

3)圖片自動生成:類似 Midjourney 可以為乘客自動生成各種各樣的圖片。

4)安全識別:可以根據乘客是否登記分為嘉賓/主人,可以根據不同乘客的記錄的偏好推薦其合適的內容產品。同時具備更好的 DMS(駕駛員監測)、OMS(乘客檢測)、兒童滯留等功能體驗。

5)API 接入:支持外接第三方應用,協助實現會議管理、購物、差旅等功能。

圖片

百度推出座艙產品車載 OS 和語音 SDK,文心一言于多家用戶開展內測。百度 Apollo 在上海車展前夕舉辦汽車智能化發布會,發布了全新升級的駕艙圖產品矩陣,座艙方面百度發布車載 OS 和語音 SDK。其中,語音 SDK 基于大模型的本地化部署,具有全雙工和毫秒級響應的優點,可以為車企提供更先進而出色的智能座艙體驗。百度 SDK 突出優勢包括:(1)將一切座艙功能集成到語音助手,可以通過語音實現艙內全功能調節;

(2)支持“多路對話”,不同的乘客可以在同一時間與語音助手展開交流并下達指令。目前包括集度、吉利、長城、紅旗、嵐圖、東風啟辰等主機廠已經宣布接入基于文心大模型的生成式對話產品文心一言(ERNIE Bot),開啟自身座艙大模型的內測。

華為積極布局座艙 AI,大模型于秋季首發 M9 上落地。華為盤古大模型基于鯤鵬和昇騰算力底座,由 NLP(中文語言)大模型、CV(視覺)大模型、科學計算大模型、多模態大模型和 Graph(圖網絡)大模型 5 個模型組成。4 月 17 日車展前夕,在華為 nova11 系列及全場景新品發布會上,余承東宣布 2023 年秋季發布 AITO 問界 M9 將搭載 AI 大模型。

其語音助手“小藝”通過領先的多模態自適應技術,針對語速、語音、文本,對用戶指令進行多維度綜合判斷,可以實現類似人與人的主動交流。目前“小藝”已經能夠:

(1)根據日常通勤的情況自動提供通勤道路異常的提醒;(2)判斷長途駕駛場景時,檢測到車主有疲勞駕駛狀態主動打開座椅按摩;車內午休/通勤回家后打開自動小憩模式,記錄用戶喜歡的氛圍。(3)推薦適應當前車輛情況的駕駛模式;(4)停車找位的好幫手。

圖片

據高工智能汽車研究院,2022?年中搭載智能數字座艙(大屏+語音+車聯網+OTA)前裝標配交付?795.05?萬輛,搭載率為?39.89%,仍有較高滲透空間。市場規模方面,根據?IHSMarkit?預測,全球智能座艙市場規模將從?2021?年的?420?億美元增長到?2030?年的?681?億美元,2022-2030?年?CAGR?為?5.52%。IHS?預測國內智能座艙市場增速領先全球,國內規模從?2021?年?99?億美元預計提升至?2030?年?247?億美元,2022-2030?年?CAGR?為?10.69%,我國智能座艙規模全球占比將從?2021?年?24%左右上升到?2030?年的?36%。

圖片

現階段下智能座艙已經處于全面向 4.0 階段發展的時期,已經從新勢力領軍轉換

為行業內齊跑。硬件的裝載是實現軟件層交互的基礎,座艙硬件已率先迎來大規模上車機遇,首先看好視聽觸多模態硬件:顯示、音響以及?AI?視覺硬件?TOF?模組等快速裝車,車端業務有望高速增長。在智能座艙大模型生態發展下,擁有大模型和機器視覺技術布局的軟件層企業同樣有望受益。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/14683.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/14683.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/14683.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Leetcode—2769. 找出最大的可達成數字【簡單】

2024每日刷題(139) Leetcode—2769. 找出最大的可達成數字 實現代碼 class Solution { public:int theMaximumAchievableX(int num, int t) {return num t * 2;} };運行結果 之后我會持續更新,如果喜歡我的文章,請記得一鍵三連…

【實戰】SpringBoot整合Websocket、Redis實現Websocket集群負載均衡

文章目錄 前言技術積累什么是Websocket什么是Redis發布訂閱Redis發布訂閱與消息隊列的區別 實戰演示SpringBoot整合WebsoketWebsoket集群負載均衡 實戰測試IDEA啟動兩臺服務端配置nginx負載均衡瀏覽器訪問模擬對話 前言 相信很多同學都用過websocket來實現服務端主動向客戶端推…

【知識蒸餾】deeplabv3 logit-based 知識蒸餾實戰,對剪枝的模型進行蒸餾訓練

本文將對【模型剪枝】基于DepGraph(依賴圖)完成復雜模型的一鍵剪枝 文章中剪枝的模型進行蒸餾訓練 一、邏輯蒸餾步驟 加載教師模型定義蒸餾loss計算蒸餾loss正常訓練 二、代碼 1、加載教師模型 教師模型使用未進行剪枝,并且已經訓練好的原始模型。 teacher_mod…

利用Python去除PDF水印

摘要 本文介紹了如何使用 Python 中的 PyMuPDF 和 OpenCV 庫來從 PDF 文件中移除水印,并將每個頁面保存為圖像文件的方法。我們將深入探討代碼背后的工作原理,并提供一個簡單的使用示例。 導言 簡介:水印在許多 PDF 文件中都很常見&#x…

全國數據庫管理系統設計賽-人大金倉內核實訓安排正式發布

作為數據庫領域國家隊,人大金倉積極響應國家戰略,通過賽題設計、內核技術支撐及賽前培訓等多方面,大力支持全國大學生計算機系統能力大賽-數據庫管理系統設計大賽成功舉辦。目前第二屆全國大賽正在火熱報名中,各種獎項等你來拿&am…

《web應用設計》第八次作業

我的小組長是姚若希,我們組課程設計的題目是:學生管理系統 ,我認領的功能模塊是:課程管理 2.查詢并分頁

Html5 + Css3筆記詳細匯總大全

Html5 + Css3知識點Gitee地址 html5css3知識點: 尚硅谷—HTML5+CSS3知識點 介紹 屬性 屬性:在標簽中(開始標簽或自結束標簽)還可以設置屬性 屬性是一個名值對(x=y) 屬性用來設置標簽中的內容如何顯示 屬性和標簽名或其它屬性應該使用空格隔開 屬性名不能瞎寫,應該根據文…

只需三步,即可配置HTTPS跳轉

HTTPS(全稱:Hyper Text Transfer Protocol over Secure Socket Layer),是以安全為目標的HTTP通道,簡單講是HTTP的安全版。通過SSL/TLS協議對數據進行加密,保證了數據傳輸的安全,防止數據被截獲、…

UWB論文:Introduction to Impulse Radio UWB Seamless Access Systems(2):脈沖;超寬帶;測距;定位

3) 測距/接收器 像全球定位系統(GPS)這樣的系統依賴于單向測距One Way Ranging(OWR),其中多個衛星(代表固定節點,稱為錨點anchors)定期傳輸同步的無線電數據包集合,這允許…

sh控制臺輸入文字多行 按“# ? ?”結束

如果在Unix shell中輸入多行文字,那么這樣操作: 1. 打開您的終端(Terminal)。 2. 輸入您的文字,每行文字后按回車鍵。 3. 當您完成輸入所有文字后,輸入“# ? ?”然后按回車鍵,表示輸入結束。…

將Surface的分辨率減半以省電(二合一本\筆記本電腦適用)

【完全自定義分辨率教程】這篇教程用于將Surface之類的高分屏(高分辨率)的二合一本或筆記本等的分辨率調整為原來的一半,以實現省電等目的。 下載CRU(Custom Resolution Utility)解壓后,打開CRU.exe選擇當…

Java期末復習指南(1):知識點總結+思維導圖,考試速成!

🔖面向對象 📖 Java作為面向對象的編程語言,我們首先必須要了解類和對象的概念,本章的所有內容和知識都是圍繞類和對象展開的! ? 思維導圖1 ? 類和對象的概念 ? 簡單來說,類就是對具有相同特征的一類事…

(全面)Nginx格式化插件,Nginx生產工具,Nginx常用命令

目錄 🎫 前言 🎉 開篇福利 🎁 開篇福利 x2 Double happiness # 介紹 # 地址 # 下載 💻 命令及解析 # 整個文件系統中搜索名為nginx.conf的文件 # 編輯nginx.conf文件 # 重新加載配置文件 # 快速查找nginx.conf文件并使…

建筑施工突發事故應急處置vr安全培訓平臺

在不斷發展的時代背景下,掌握必要的應急安全知識已成為我們生活中不可或缺的一部分。由央企攜手我們華銳推出的3D線上應急宣教虛擬體驗館,標志著民眾應急安全教育的全新里程碑,不僅突破了傳統學習模式的局限,還讓每個人都能在靈活…

防火墻技術基礎篇:基于IP地址的轉發策略

防火墻技術基礎篇:基于IP地址的轉發策略的應用場景及實現 什么是基于IP地址的轉發策略? 基于IP地址的轉發策略是一種網絡管理方法,它允許根據目標IP地址來選擇數據包的轉發路徑。這種策略比傳統的基于目的地地址的路由更靈活,因…

深度學習之Python+OpenCV+Tensorflow實時人體檢測和計數

歡迎大家點贊、收藏、關注、評論啦 ,由于篇幅有限,只展示了部分核心代碼。 文章目錄 一項目簡介 二、功能三、系統四. 總結 一項目簡介 深度學習之PythonOpenCVTensorflow實時人體檢測和計數項目簡介 一、項目背景與意義 隨著科技的不斷發展&#xff…

Java - JsonPath 特殊場景解決方案

我們先看下JSONPath的使用,這里使用的是 GitHub - json-path/JsonPath: Java JsonPath implementation,其README中已經提供了相關的介紹和使用示例,這里再簡單介紹下,我們這里直接使用其中的示例數據。 {"store": {&quo…

macOS 安裝a d b

brew install android-platform-tools

Go微服務: 日志系統ELK的應用

概述 基于前文,我們已經了解并搭建完成ELK的所有環境了,現在我們來結合應用程序來使用ELK參考前文:https://active.blog.csdn.net/article/details/138898538 封裝日志模塊 在通用工具模塊: gitee.com/go-micro-services/common 這個包是通…