杜比全景聲——空間音頻技術

什么是杜比？
是否是標清、高清、超清之上的更清晰的格式？
杜比全景聲 和傳統多聲道立體聲的差別？
杜比全景聲音頻的渲染方式？
車載平臺上杜比技術的應用？

杜比技術的起源

杜比實驗室（Dolby Laboratories）是一家總部位于美國的公司，由雷·杜比（Ray Dolby）于1965年在英國倫敦創立。雷·杜比是一位物理學家和電子工程師，他的目標是改進錄音質量。他的第一個發明是杜比降噪系統，這是一種可以顯著減少磁帶錄音中背景噪聲的技術。
2010年6月，杜比推出了杜比7.1環繞聲（Dolby Surround 7.1），并在全球范圍建立起與影院的合作，推出配置7.1環繞音箱的杜比影廳
杜比全景聲（Dolby Atmos）是杜比實驗室于2012年推出的高級環繞聲標準，用于電影院，通過將前置、側置、后置和天空揚聲器加上復雜的音頻處理和算法相結合，提供高達最高64聲道的環繞聲，增加空間沉浸感

杜比技術的應用

杜比的技術在電影制作中尤其重要。杜比數字（Dolby Digital）是一種音頻壓縮技術，它使得電影制作人可以在電影中使用更豐富、更逼真的聲音。杜比全景聲（Dolby Atmos）則進一步提升了這種體驗，它允許聲音在三維空間中移動，給觀眾帶來沉浸式的體驗。

杜比的三大核心技術

杜比數字（Dolby Digital）： 一種音頻壓縮技術，比如AC-3格式，將6個聲道的數據壓縮到一個數據流中。應用于DVD、藍光光盤；
杜比全景聲 （Dolby Atoms）： 音頻領域革命性的技術，徹底摒棄傳統聲道概念，將聲音視為“對象”，在三維空間自由移動，從而模擬逼真的場景。應用在電影、電視和音樂制作；
杜比視界（Dolby Vision）： 高動態范圍（HDR）視頻技術，提供更亮、更暗、更豐富的顏色。主要用于投影和高端電視。

基礎概念科普

4.1 音頻編碼技術

PCM 是指脈沖編碼調制（Pulse Code Modulation），是數字通信的編碼方式之一，是一種將模擬信號數字化的方法。主要過程是將話音等模擬信號每隔一定時間進行取樣，使其離散化，同時將抽樣值按分層單位四舍五入取整量化，同時將抽樣值按一組二進制碼來表示抽樣脈沖的幅值。

我們熟悉的MP3、AAC、OPUS通常都是基于PCM進行壓縮編碼的格式

4.2 聲道（Channel）/聲床（Bed）

聲道(Sound Channel )：是指聲音在錄制或播放時在不同空間位置采集或回放的相互獨立的音頻信號，所以聲道數也就是聲音錄制時的音源數量或回放時相應的揚聲器數量。聲床是制作端對于聲道的對應說法。

4.2.1 1維音頻

基于單聲道的PCM編碼，我們稱為一維音頻

4.2.2 2維音頻

用兩個不同的PCM進行雙聲道播放，可以稱為二維音頻

4.2.3 2.5維音頻

多個聲道進行播放，即為2.5維音頻

2.5維音頻常見的配置有：

5.1聲道： 表示有五個普通聲道+1個低音聲道：

7.1：7個普通聲道+1個低音聲道

超重低音聲道提供20-120Hz的聲音

4.1.4 3維音頻

引入天空聲道，即為3維音頻

代表性的是7.1.4： 7個平面聲道+1個低音聲道+4個天空聲道

9.1.6： 9個平面聲道+1個低音聲道+6個天空聲道

x.y.z的涵義：

x通常代表耳平面的傳統環繞聲道的數量(如前置、中置、環繞)；
y代表低音聲道的數量，雖然我們見到的大多都是1，但在“多炮”的揚聲器排布下，甚至可以提高到4個或更多低音揚聲器，在更大的空間中實現理想的低頻響應；
z代表天空聲道的數量，天空(或稱高度)聲道的存在使得揚聲器排布從平面提升為立體，能夠通過響度和時間差的調整，控制聲像在三維空間中的方向。

傳統聲道的概念還是基于左右兩聲道完成，每個聲音元素的發聲點局限在空間中相對固定的聲道/揚聲器中，要求聲道數量和擺放位置完全一樣

在飛機飛過的時候，音量、頻率、延時等等都會發生變化

4.1.5 立體聲音效發展歷程

4.3 聲音對象（Object）

聲音不再局限于聲道或者音箱，可以自由擺放在虛擬的三維空間中的任意位置，可以按照設計的軌跡進行運動。

設計好每個對象的軌跡之后，這些對象的位移信息再由渲染器進行計算出哪個音箱要出多大聲或者要延遲多少ms才能使得某個聲音元素聽起來像是它本來應該在的位置。

這種概念的引入使得回放系統的配置更加靈活，這樣一來不論是簡單的Soundbar，或者耳機，或者5.1.2、9.3.6的家庭影院，都可以通過計算而渲染出全景聲音效

Pan-through array: The sound can travel through each speaker placed around and above the audience as it moves across the cinema, in what’s called a pan-through array.

優點：

全景特效：聲音更真實，更立體
兼容性高：不需要Care具體的播放設備的規格、數量及設備的擺放，都能達到同樣的效果

杜比全景聲的產生過程

解碼方式：

直通（Passthrough）： 指電視或投影或機頂盒——不對音軌進行任何解碼，直接將原音頻數據傳輸給回音壁或者功放。一臺機器想要支持源碼輸出，需要經過杜比和DTS的授權認證。
解碼： 指將Dolby AtmoS的音頻信息在電視或投影或機頂盒端先完成解碼再映射到回音壁的方式。由于杜比公司有專利保護，任何想要解碼的硬件或軟件播放器，都需要向杜比支付授權費才能獲得解碼密鑰。這也是很多設備并不支持的自己解碼的原因。
轉碼： 指播放Dolby Atmos的設備或軟件本身不是直連回音壁，還需要將聲音傳給中間商。此時會把音頻打包轉碼成普通的LPCM音頻格式，在這個過程中會丟失的是全景聲的元數據。就不再是7.1.2而上7.1聲道。效果也是有損的
雙耳渲染

6.1 頭部跟蹤

頭部跟蹤的必要性是一個大話題，為了更清晰地認知頭部跟蹤的必要性，我們需要了解人對于聲音方位感的感知原理。人們對聲音方位感的判斷主要有4個依據：時間差、聲級差、人體濾波效應和頭部晃動

時間差（Interaural Time Difference, ITD）：

聲音到達雙耳的距離不一樣，時間不一樣，會有延時

聲級差（Interaural Level Difference, ILD）：

由于雙耳和音源的距離差異，也會造成此外，頭部的遮擋，也會使得到達左耳與右耳聲音的聲壓級是不同的，進一步形成聲級差。

不同頻率的聲波會發生衍生的效果也不一樣

人體濾波效應：

人的頭部、肩頸、軀干，會對來自不同方向的聲音產生不同的作用，形成反射、遮擋或衍射。

大腦通過這些不同的濾波效果產生對聲源方位的判斷，這就是著名的頭部相關傳輸函數——HRTFs (Head-Related Transfer Functions)。

頭部的晃動：

當一個聲源的位置難以判斷的時候，人們常常會不自覺的輕微晃動頭部，使時間差、聲級差或人體濾波效應產生變化，并依據這些變化進行快速的重新定位

在現實中，聲源位于三維的空間中，通常都需要我們綜合時間差、聲級差、人體濾波效應這三個要素可以被綜合的表述為頭部相關傳輸函數(Head-Related Transfer Functions, HRTFs)，這項技術構成了絕大部分三維聲定位技術的基礎。頭部晃動雖然并不是一個決定性因素，但是無論在哪個方向上，都對我們判斷聲源的位置有著極大地幫助

6.2 雙耳渲染

室內聲場有3個組成部分：直達聲、早期反射聲和混響聲。人們對于聲音的空間感主要是依據早期反射聲和混響聲來建立的。

直達聲

聲音直接穿到人耳所感知到的聲音

反射聲

聲音通過回音壁和障礙物經過多次反射進入人耳所感知到聲音

混響聲

聲音在空間中不斷反射、衰減，形成了均勻、密集的混響聲，與直達聲、反射聲共同建立起室內聲場。這是一個經過多次反射的、沒有方向性的聲音，當然沒有方向性也就是說它會來自三維空間內的各個方向。

6.3 聲音的采集

目前移動設備擁有最大用戶基群，耳機成為主要的播放場景。雙耳信號回放的終極目標就是在聽音者鼓膜處再現與實際聽音環境相同的聲學信號

常見的有兩種采集方式：

在同一位置進行錄音和回放(Dummy Head人頭錄音)

這種方式缺點顯而易見，制約了現代音樂產業中的混音工作，不適合非現場演出的錄音和回放

采取“計算音頻”的方式，模擬在真實聽音環境中聆聽一個或多個真實揚聲器的聽覺體驗

從理論上來說，只要模擬足夠精確，雙耳重放應該完全可以重現多個揚聲器的聽感(不包括其他感官)，畢竟人的耳朵本身也是雙聲道的

移動設備的杜比全景聲回放

對于用戶終端對于杜比全景聲的回放處理，下面先看一張表，這張表整理了各個流媒體平臺在各個硬件終端上對于杜比全景聲的處理方式，表中撰寫的狀態，是APP從云端下發給終端設備的音源的規格

Atmos	Android	iOS	WIndows	Mac	TV* (For AVR)
Apple Music	EAC3-JOC 768kbps	EAC3-JOC 768kbps	無	EAC3-JOC	EAC3-JOC
QQ音樂	AC4-IMS 256kbps	雙耳渲染	EAC3-JOC 448kbps	無	無
網易云音樂	雙耳渲染	無	EAC3-JOC 768kbps	無	無
Apple TV	無	EAC3-JOC 768kbps	無	7.1.4	EAC3-JOC
愛奇藝	5.1(部分廠商)	雙耳渲染	立體聲	立體聲	EAC3-JOC
優酷	雙耳渲染	雙耳渲染	立體聲	立體聲	立體聲
騰訊視頻	雙耳渲染	多聲道	立體聲	立體聲	EAC3-JOC
Bilibili	雙耳渲染	多聲道	立體聲	立體聲	立體聲
本地音視頻APP	√(Android 13)	√	√	？	無