元宇宙時代超高清視音頻技術白皮書關于流媒體協議和媒體傳輸解讀

流媒體協議

元宇宙業務場景對流媒體傳輸的實時性和互動性提出了更高的要求,這就需要在傳統的 RTMP、SRT、 HLS 等基礎上增加實時互動的支持。實時互動,指在遠程條件下溝通、協作,可隨時隨地接入、實時地傳遞虛實融合的多維信息,身臨其境的交互體驗。實時互動作為下一代互聯網基礎設施,實現了從“在線”到“在場” 的重要轉變,將推動互聯網向以“臨場感”為主要特征的元宇宙方向的升級變革,當前幾個主流的技術方向如下。

?MPEG-DASH 是一項基于 HTTP 的動態自適應流傳輸技術,由 MPEG 在 2012 年推出。它不限制編碼格式及內容,能夠根據當前帶寬容量、網絡性能等情況自適應地實現不同碼率之間的靈活切換,在為用戶提供低卡頓體驗的同時保證播放內容的質量。當前,MPEG-DASH 協議已成為全景視頻的主要傳輸協議。

WebRTC 是一項實時通訊技術,早期由 Google 開源,實現了基于網頁的實時通訊能力,并于 2021 年被萬維網聯盟(W3C)和互聯網工程任務組(IETF)采納為官方標準。WebRTC 可以實現超低延時、低卡頓的實時通訊效果,但是對虛擬現實內容面向元宇宙新的媒體類型媒體傳輸和交互支持不足。WebRTC-NV(Next Version)是下一代 WebRTC,是當前 WebRTC1.0 之后的標準,意在支持當前 WebRTC API 不可能或很難實現的新用例,比如 VR。主要是從通道擴展性、模塊成熟和完善性、采集擴展性、獨立的標準等 4 方面能力提升。

QUIC 是一項基于 UDP 的低時延通用傳輸協議,由 Google 推出,它從可靠傳輸、安全機制、時延等方面對 UDP 協議進行了優化,通過加密、流量控制、擁塞控制等技術,實現了更靈活、更安全、低時延的傳輸。目前,多個瀏覽器已支持 QUIC,比如 Google Chrome 瀏覽器、Microsoft Edge、Firefox 等。同時,該協議已廣泛應用于移動端直播、短視頻、高速圖片文件下載等業務場景。

支撐元宇宙的算力網絡架構圖:

?綜上所述,面向未來元宇宙沉浸式體驗的需求,3D 視覺媒體信息的低時延高效傳輸是亟需解決的問題。因此,如何基于 3D 視覺信息的特點對傳輸協議進行優化以實現低時延傳輸將是傳輸協議進一步發展的方向。

媒體傳輸

元宇宙場景中需要支持多種類型的視音頻數據傳輸,以及對實時性、互動性有較高的要求。

3GPP SA4 正在進行 5G_RTP、iRTCW 、FS_ eiRTCW 等標準研究項目,將針對沉浸的實時業務(如 XR 業務)的沉浸媒體和相關元數據的實時傳輸,以及沉浸的實時通信。

同時,MPEG 已制定或正在制定支持元宇宙場景的全景視頻、多視點視頻、點云數據等沉浸媒體的傳輸標準,使用擴展的 DASH/MMT 協議傳輸 MPEG 的沉浸媒體封裝文件。

IETF 和 W3C 組織于 2021 年將 WebRTC 采納為官方標準,目前也正在研究下一代 WebRTC 標準。

WebRTC 工作組正在開發媒體捕獲和媒體流以及屏幕捕獲等規范,同時審閱支持 WebRTC 新用例的技術提案;探索邊緣計算對 Web 平臺的影響以及有關用例和需求,在 Web 瀏覽器中整合網絡質量監測和預測。為支持元宇宙中不同場景的媒體傳輸,將對潛在的媒體傳輸協議的功能擴展并優化使用(如 RTP 協議、 WebRTC 協議)、傳輸的功能組件等進行標準研究,以及對元宇宙中潛在的、新興的沉浸媒體數據格式提供靈活的傳輸/訪問機制(如基于空間的媒體訪問,基于視角的媒體傳輸)進行標準研究,以提高傳輸效率,減少終端開銷,增加沉浸體驗,滿足不同的業務場景。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/43363.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/43363.shtml
英文地址,請注明出處:http://en.pswp.cn/news/43363.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

萬賓燃氣管網監測解決方案,守護城市生命線安全

方案背景 城市燃氣管網作為連接天然氣長輸管線與天然氣用戶的橋梁,擔負著向企業和居民用戶直接供氣的重要職責。隨著城市燃氣需求的急劇增加,城市燃氣管網規模日趨龐大,安全隱患和風險也隨之增加。目前,我國燃氣管網的運行仍存在…

Mathematica(42)-計算N個數值的和

比如,我們要用Mathematica求得到下面的式子: 這就需要用到一個函數:Sum 具體地,Sum函數的使用形式如下: 因此,按照公式就可以得到下面的結果: 如果,我們想要將求和號也加進去&#…

Jenkins的流水線啟動jar后未執行問題處理

現象 在流水線里配置了啟動腳本例如,nohup java -jar xxx.jar >nohup.out 2>&1 & 但是在服務器發現服務并未啟動,且nohup日志里沒輸出日志,這樣的原因是jenkins在執行完腳本后,就退出了這個進程。 在啟動腳本執行jar命令的上一步加入以下…

【AIGC 訊飛星火 | 百度AI|ChatGPT| 】智能對比

AI智能對比 🍸 前言🍺 概念類對比🍵 訊飛🍵 百度AI🍵 chatGPT 🍹 功能類對比? 訊飛? 百度AI? chatGPT 🥃 可輸入字數對比🥤 百度AI🥤 訊飛🥤 chatGPT &…

【Django】Task1安裝python環境及運行項目

【Django】Task1安裝python環境及運行項目 寫在最前 8月份Datawhale組隊學習,在這個群除我佬的時代,寫一下blog記錄學習過程。 參考資源: 學習項目github:https://github.com/Joe-2002/sweettalk-django4.2 隊長博客&#xff1a…

RocketMQ 消息消費 輪詢機制 PullRequestHoldService

1. 概述 先來看看 RocketMQ 消費過程中的輪詢機制是啥。首先需要補充一點消費相關的前置知識。 1.1 消息消費方式 RocketMQ 支持多種消費方式,包括 Push 模式和 Pull 模式 Pull 模式:用戶自己進行消息的拉取和消費進度的更新Push 模式:Broker…

探索心律失常:病因、診斷與治療以及與腸道菌群的關聯

谷禾健康 你是否有時會感到心悸、心慌、胸悶、氣短、頭暈、乏力?你是否有時感覺自己的心跳過快或過慢? 如果有上述情況,就要引起重視了,你可能存在心律失常。心律失常是最常見的心臟疾病之一,涉及到心臟的電活動節奏異…

麻辣燙數據可視化,麻辣燙市場將持續蓬勃發展

麻辣燙,這道源自中國的美食,早已成為人們生活中不可或缺的一部分。它獨特的香辣口味,讓人忍不住每每流連忘返。與人們的關系,簡直如同摯友一般。每當寒冷的冬日或疲憊的時刻,麻辣燙總是悄然走進人們的心房,…

i.MX6ULL開發板無法進入NFS掛載文件系統的解決辦法

問題 使用NFS網絡掛載文件系統后卡住無法進入系統。 解決辦法 此處不詳細講述NFS安裝流程 查看板卡掛載在/home/etc/rc.init下的自啟動程序 進入到../../home/etc目錄下,查看rc.init文件,首先從第一行排查,查看/home/etc/netcfg文件代碼內容&…

Flask-SQLAlchemy

認識Flask-SQLAlchemy Flask-SQLAlchemy 是一個為 Flask 應用增加 SQLAlchemy 支持的擴展。它致力于簡化在 Flask 中 SQLAlchemy 的使用。SQLAlchemy 是目前python中最強大的 ORM框架, 功能全面, 使用簡單。 ORM優缺點 優點 有語法提示, 省去自己拼寫SQL,保證SQL…

Python爬蟲——scrapy_crawlspider讀書網

創建crawlspider爬蟲文件: scrapy genspider -t crawl 爬蟲文件名 爬取的域名scrapy genspider -t crawl read https://www.dushu.com/book/1206.htmlLinkExtractor 鏈接提取器通過它,Spider可以知道從爬取的頁面中提取出哪些鏈接,提取出的鏈…

spring的核心技術---bean的生命周期加案例分析詳細易懂

目錄 一.spring管理JavaBean的初始化過程(生命周期) Spring Bean的生命周期: 二.spring的JavaBean管理中單例模式及原型(多例)模式 2.1 . 默認為單例,但是可以配置多例 2.2.舉例論證 2.2.1 默認單例 2.2…

前端常用算法(一):防抖+節流

目錄 第一章 防抖 1.1 防抖(debounce)簡介 1.2 應用場景 1.3 實現思路 1.4 手撕防抖代碼 第二章 節流 2.1 節流(throttle)簡介 2.2 應用場景 2.3 實現思路 2.4 手撕節流代碼(方法:時間戳和計時器…

MR300C工業無線WiFi圖傳模塊 內窺鏡機器人圖像傳輸有線無線的兩種方式

MR300C無線WiFi圖傳模使用方法工業機器人圖像高清傳輸 ? MR300C圖傳模塊基于MIPS處理器實現,電腦/手機連接模塊的WIFI熱點或網口即可查看視頻流 ? 模塊的USB 2.0 Host接口,可接入USB uvc攝像頭/內窺鏡默認輸出的視頻格式必須是MJPG ? 模塊支持接入攝…

計算機競賽 圖像識別-人臉識別與疲勞檢測 - python opencv

文章目錄 0 前言1 課題背景2 Dlib人臉識別2.1 簡介2.2 Dlib優點2.3 相關代碼2.4 人臉數據庫2.5 人臉錄入加識別效果 3 疲勞檢測算法3.1 眼睛檢測算法3.3 點頭檢測算法 4 PyQt54.1 簡介4.2相關界面代碼 5 最后 0 前言 🔥 優質競賽項目系列,今天要分享的是…

在 PyTorch 中使用關鍵點 RCNN 進行人體姿勢估計--附源碼

人體姿態估計是計算機視覺領域的一個重要研究領域。它涉及估計人體上的獨特點,也稱為關鍵點。在這篇博文中,我們將討論一種在包含人類的圖像上查找關鍵點的算法,稱為Keypoint-RCNN。該代碼是使用 Pytorch 使用Torchvision庫編寫的。 假設您想要建立一名私人健身教練,可以通…

MongoDB升級經歷(4.0.23至5.0.19)

MongoDB從4.0.23至5.0.19升級經歷 引子:為了解決MongoDB的兩個漏洞決定把MongoDB升級至最新版本,期間也踩了不少坑,在這里分享出來供大家學習與避坑~ 1、MongoDB的兩個漏洞 漏洞1:MongoDB Server 安全漏洞(CVE-2021-20330) 漏洞2…

SpringBoot + Vue 微人事(十二)

職位批量刪除實現 編寫后端接口 PositionController DeleteMapping("/")public RespBean deletePositionByIds(Integer[] ids){if(positionsService.deletePositionsByIds(ids)ids.length){return RespBean.ok("刪除成功");}return RespBean.err("刪…

工業視覺相機鏡頭選型方法

一、相機選型 1、首先,根據檢測需求確定選用黑白/彩色、面陣/線陣相機,接口類型一般選擇GigE 2、確定檢測精度要求(最小特征尺寸mm)、視野范圍,一個測量精度對應幾個像素數(一般取3-5) 3、計…

GPT法律領域

法律領域 LaWGPT Github: https://github.com/pengxiao-song/LaWGPT 簡介:基于中文法律知識的大語言模型。 數據:基于中文裁判文書網公開法律文書數據、司法考試數據等數據集展開,利用Stanford_alpaca、self-instruct方式生成對話問答數據…