流媒體協議
元宇宙業務場景對流媒體傳輸的實時性和互動性提出了更高的要求,這就需要在傳統的 RTMP、SRT、 HLS 等基礎上增加實時互動的支持。實時互動,指在遠程條件下溝通、協作,可隨時隨地接入、實時地傳遞虛實融合的多維信息,身臨其境的交互體驗。實時互動作為下一代互聯網基礎設施,實現了從“在線”到“在場” 的重要轉變,將推動互聯網向以“臨場感”為主要特征的元宇宙方向的升級變革,當前幾個主流的技術方向如下。
?MPEG-DASH 是一項基于 HTTP 的動態自適應流傳輸技術,由 MPEG 在 2012 年推出。它不限制編碼格式及內容,能夠根據當前帶寬容量、網絡性能等情況自適應地實現不同碼率之間的靈活切換,在為用戶提供低卡頓體驗的同時保證播放內容的質量。當前,MPEG-DASH 協議已成為全景視頻的主要傳輸協議。
WebRTC 是一項實時通訊技術,早期由 Google 開源,實現了基于網頁的實時通訊能力,并于 2021 年被萬維網聯盟(W3C)和互聯網工程任務組(IETF)采納為官方標準。WebRTC 可以實現超低延時、低卡頓的實時通訊效果,但是對虛擬現實內容面向元宇宙新的媒體類型媒體傳輸和交互支持不足。WebRTC-NV(Next Version)是下一代 WebRTC,是當前 WebRTC1.0 之后的標準,意在支持當前 WebRTC API 不可能或很難實現的新用例,比如 VR。主要是從通道擴展性、模塊成熟和完善性、采集擴展性、獨立的標準等 4 方面能力提升。
QUIC 是一項基于 UDP 的低時延通用傳輸協議,由 Google 推出,它從可靠傳輸、安全機制、時延等方面對 UDP 協議進行了優化,通過加密、流量控制、擁塞控制等技術,實現了更靈活、更安全、低時延的傳輸。目前,多個瀏覽器已支持 QUIC,比如 Google Chrome 瀏覽器、Microsoft Edge、Firefox 等。同時,該協議已廣泛應用于移動端直播、短視頻、高速圖片文件下載等業務場景。
支撐元宇宙的算力網絡架構圖:
?綜上所述,面向未來元宇宙沉浸式體驗的需求,3D 視覺媒體信息的低時延高效傳輸是亟需解決的問題。因此,如何基于 3D 視覺信息的特點對傳輸協議進行優化以實現低時延傳輸將是傳輸協議進一步發展的方向。
媒體傳輸
元宇宙場景中需要支持多種類型的視音頻數據傳輸,以及對實時性、互動性有較高的要求。
3GPP SA4 正在進行 5G_RTP、iRTCW 、FS_ eiRTCW 等標準研究項目,將針對沉浸的實時業務(如 XR 業務)的沉浸媒體和相關元數據的實時傳輸,以及沉浸的實時通信。
同時,MPEG 已制定或正在制定支持元宇宙場景的全景視頻、多視點視頻、點云數據等沉浸媒體的傳輸標準,使用擴展的 DASH/MMT 協議傳輸 MPEG 的沉浸媒體封裝文件。
IETF 和 W3C 組織于 2021 年將 WebRTC 采納為官方標準,目前也正在研究下一代 WebRTC 標準。
WebRTC 工作組正在開發媒體捕獲和媒體流以及屏幕捕獲等規范,同時審閱支持 WebRTC 新用例的技術提案;探索邊緣計算對 Web 平臺的影響以及有關用例和需求,在 Web 瀏覽器中整合網絡質量監測和預測。為支持元宇宙中不同場景的媒體傳輸,將對潛在的媒體傳輸協議的功能擴展并優化使用(如 RTP 協議、 WebRTC 協議)、傳輸的功能組件等進行標準研究,以及對元宇宙中潛在的、新興的沉浸媒體數據格式提供靈活的傳輸/訪問機制(如基于空間的媒體訪問,基于視角的媒體傳輸)進行標準研究,以提高傳輸效率,減少終端開銷,增加沉浸體驗,滿足不同的業務場景。