摘要

本文介紹了音畫不同步問題的五個因素：編碼和封裝階段、網絡傳輸階段、播放器中的處理階段、源內容產生的問題以及轉碼和編輯。針對這些因素，提出了相應的解決方案，如使用標準化工具、選擇強大的傳輸協議、自適應緩沖等。此外，介紹了第三方音視頻服務商如即構的解決方案，包括優化的編解碼器、動態碼率調整、前向糾錯和包重傳等。最后，強調了開發者需要密切監控應用性能并與音視頻服務提供商合作，以確保最佳的音畫同步體驗。

一、前言

對于音視頻開發者來說，掌握排查問題的技術技巧方法是非常必要的，排查問題的技術方法也能夠幫助開發者更好地了解音視頻技術的原理和工作機制，從而更加深入地理解音視頻開發中遇到的各種問題。

即構基于多年實時互動領域技術的沉淀和客戶服務保障，我們將推出《視頻直播技術FAQ》系列文章，將實時互動技術領域的常見問題和經驗分享出來，同時會針對具體問題附上業務通識和常用解決方案以及案例經驗，希望本系列能成為你手邊的音視頻通識冊子，幫助到開發者們快速定位問題并找到合適的解決方案。

本系列將持續更新，目前已整理了以下常見問題：

視頻卡頓
延時高
音畫不同步
視頻花屏、綠屏
視頻黑屏
視頻放大或黑邊
首開慢
音視頻流控
視頻模糊
無法打開攝像頭
音頻回聲
音量太小
音頻噪聲
無聲
上下麥音量變化

在上一篇文章中，我們探討了音視頻傳輸過程中延時高的問題。我們首先詳細介紹了延時的概念以及延時可能產生的各個環節，包括設備端延時、網絡傳輸延時和服務器延時。我們提供了一系列排查和解決方案，如排查網絡問題、核實技術棧預期延時是否一致，以及使用UDP進行音視頻傳輸等。通過這些方法，讀者可以更好地理解并解決音視頻傳輸中延時高的問題。

但解決延時高的問題后，我們可能還會面臨其他挑戰。例如，音畫不同步是許多開發者經常遇到的一個棘手問題。當音頻和視頻數據不完全同步時，使視頻播放顯得非常不自然，觀眾會有很差的觀看體驗。因此，了解其原因并掌握相應的解決策略顯得尤為重要。

本文是《實時互動技術FAQ》系列的第三篇文章。我們將深入剖析音畫不同步的原因，包括硬件設備、編解碼處理、網絡傳輸等方面可能導致的不同步情況。同時，我們將提供一系列方法來識別、排查和解決音畫不同步問題，以確保用戶在觀看音視頻內容時能夠獲得更好的體驗，并為開發者提供相應的解決方案。

二、音畫不同步基本概念和表現

音畫不同步：又被稱為口音不同步或AV同步問題，是指在觀看視頻時，畫面與聲音之間存在明顯的時間差，導致用戶觀感受到的打斷。具體表現為：

先聲后影：聲音先于畫面出現，使觀眾聽到聲音但尚未看到對應的畫面。
先影后聲：畫面先于聲音出現，使觀眾先看到畫面但稍后才能聽到對應的聲音。

三、時間戳-音畫不同步的核心影響因素

指揮棒作用：時間戳在音視頻處理中起著“指揮棒”的作用，它決定了音頻和視頻什么時候播放、如何播放。處理時間戳的正確性和連續性是確保音畫同步，為用戶提供無縫、高質量的音視頻體驗的關鍵。不準確或不連續的時間戳可能導致一系列的播放問題，其中最明顯和令人困擾的便是音畫不同步。

解決其他問題的基礎：時間戳是解決其他音畫不同步相關問題的關鍵。例如，網絡波動導致的數據包延遲或丟失可以通過使用時間戳進行包的重新排序或補償來解決。正確和連續的時間戳為這些操作提供了必要的信息。

與其他技術的互動：時間戳是許多音視頻技術的基礎，如緩沖、前向糾錯、適應性流等。它們都依賴于準確和連續的時間戳來優化和同步音視頻流的傳輸和播放。

時間戳，通常表示為“PTS”（Presentation Time Stamp），是附加到音頻或視頻樣本上的一個標記，用于指示該樣本應當在何時被呈現或播放。這意味著，不論數據是否被實時傳輸，播放器都可以根據時間戳來正確地同步并播放音頻和視頻幀。

在音視頻領域，時間戳是一個至關重要的概念。音視頻內容在創建、傳輸和播放過程中都依賴時間戳來確保同步。時間戳是與每一幀（音頻或視頻）相關聯的標記，用來表示該幀應該在何時進行播放。理想情況下，音頻和視頻的時間戳應該緊密匹配，這樣在播放時，聲音和畫面就會同步。如果處理不當，可能會導致音畫不同步、幀丟失或其他相關問題。

四、音畫不同步產生的原因

音畫同步問題的核心在于“時間戳”。當音畫不同步發生時，其背后的內在邏輯是：在音視頻處理、傳輸或播放的某個環節，音頻和視頻之間的這種時間戳匹配性被破壞。這可能是由于多種原因，如網絡延遲、編解碼延遲、播放器處理策略、源內容問題等。

以下是關于時間戳導致音畫不同步的核心原因：

時間戳的不準確性：如果在錄制、采集、編碼或封裝過程中，音頻和視頻的時間戳不準確，那么在播放時，它們將不會同步播放。
時間戳的處理：在傳輸或流化過程中，尤其是在實時音視頻通信或直播中，網絡波動可能會導致部分數據包的延遲或丟失。當這些數據包包含關鍵的時間戳信息時，可能會導致音畫不同步。
播放器的處理方式：播放器需要根據時間戳來解碼和渲染音頻和視頻幀。如果播放器不能正確地解析或使用這些時間戳，或者在處理緩沖、丟包等問題時未能維護時間戳的一致性，也會導致音畫不同步。
總之，確保音畫同步的關鍵是在整個音視頻處理鏈路中正確地生成、維護和使用時間戳。任何破壞時間戳一致性的因素都可能導致音畫不同步。

音畫不同步本質上是由于音頻和視頻幀的時間戳不匹配導致的，這種不匹配可能在任何音視頻內容的生命周期階段發生，從創作、傳輸到播放。為了修復這種不同步，通常需要在受影響的環節進行校準或同步操作，確保音頻和視頻幀的時間戳再次匹配。

以下是根據上述因素的一些建議和解決策略：

編碼和封裝階段：

標準化工具：使用經過時間測試且廣泛認可的編碼和封裝工具可以降低時間戳錯誤的風險。
封裝格式選擇：了解并選擇適合應用場景的封裝格式。例如，對于流媒體HLS可能更為合適

網絡傳輸：

強大的傳輸協議：使用像RTMP或WebRTC這樣的協議，它們內置了對音畫同步的支持。
前向糾錯：應用前向糾錯技術，減少因網絡問題導致的數據包丟失。
適應性流：根據網絡條件調整碼率和質量，減少數據包丟失和延遲。

播放器處理：

選擇成熟播放器：成熟的播放器往往對時間戳處理有更強的容錯性。
自適應緩沖：動態調整緩沖長度，確保流暢播放同時減少同步問題。
硬件加速檢查：確保所使用的硬件加速器與播放器兼容，并正確處理時間戳的排序。

源內容問題：

校準錄制設備：確保攝像機和麥克風在錄制時是同步的。
監控錄制：實時監測錄制內容，以便快速發現和解決任何不同步問題。

轉碼和編輯：

非破壞性編輯：選擇可以非破壞性處理音視頻的編輯軟件，避免改變原始時間戳。
標準轉碼工具：與編碼和封裝階段一樣，選擇經過驗證的轉碼工具。

確保音畫同步是一個復雜的任務，涉及整個音視頻處理鏈路的多個階段。不過，通過理解可能的問題來源并采用恰當的技術策略，可以最大程度地減少或消除音畫不同步問題。

五、音畫不同步解決方案

下面我們將針對每一個階段影響音畫不同步因素進行拆解，并根據不同因素提供一些建議和解決策略，處理時間戳的正確性和連續性是關鍵。

原因1：編碼和封裝階段產生的音畫不同步問題

產生原因：

生成時間戳的不準確性：在錄制、編碼或封裝過程中，如果源設備或軟件沒有正確生成時間戳，可能導致同步問題。
封裝格式：不同的封裝格式如MP4, MKV, TS等處理時間戳的方式可能會有所不同，如果不當可能會引入不同步。

解決方案：

標準化工具：使用經過時間測試且廣泛認可的編碼和封裝工具可以降低時間戳錯誤的風險。如FFmpeg、第三方音視頻廠商的編解碼工具：即構。
封裝格式選擇：了解并選擇適合應用場景的封裝格式。例如，對于流媒體，MPEG-DASH或HLS可能更為合適。

原因2：網絡傳輸階段產生的音畫不同步問題

產生原因：

數據包的丟失：在網絡不穩定的情況下，音頻或視頻數據包可能丟失，導致播放器收到的時間戳信息不連續。
數據包的延遲：網絡波動或擁塞可能導致音頻或視頻數據包延遲，導致時間戳在播放時不連續。
重傳機制：為了彌補丟失的數據包，某些協議可能會重新發送數據包，這可能會導致時間戳的亂序或重復。

解決方案：

強大的傳輸協議：使用開源協議RTMP或WebRTC這樣的協議，它們內置了對音畫同步的支持。
前向糾錯：應用前向糾錯技術，減少因網絡問題導致的數據包丟失。
適應性流：根據網絡條件調整碼率和質量，減少數據包丟失和延遲。

原因3：播放器中的處理階段產生的音畫不同步問題

產生原因：

緩沖策略：播放器為了提供流暢的播放體驗，可能會緩存一定量的音視頻數據，這可能會影響音畫的同步。
錯誤的時間戳解析：播放器在解析音視頻流的時間戳時，可能由于編碼、封裝或其他問題而出現錯誤。
硬件加速：某些硬件加速解碼器在處理音視頻流時，可能不完全遵循標準的時間戳處理邏輯，導致不同步。

解決方案：

選擇成熟播放器：成熟的播放器往往對時間戳處理有更強的容錯性。
自適應緩沖：動態調整緩沖長度，確保流暢播放同時減少同步問題。
硬件加速檢查：確保所使用的硬件加速器與播放器兼容，并正確處理時間戳。

原因4：源內容產生的音畫不同步問題

產生原因：

錄制時的不同步：如果在錄制過程中音視頻源本身就存在不同步問題，那么即使時間戳是準確的，播放時仍會出現音畫不同步的現象。

解決方案：

校準錄制設備：確保攝像機和麥克風在錄制時是同步的。
監控錄制：實時監測錄制內容，以便快速發現和解決任何不同步問題。

原因5：轉碼和編輯

產生原因：

在后期編輯或轉碼過程中，如果音視頻軌道被分離并且分別處理，可能會導致時間戳的不一致。
轉碼工具或編輯軟件可能會對原始的時間戳進行修改或重新生成，如果處理不當，可能會引入不同步問題。

解決方案：

非破壞性編輯：選擇可以非破壞性處理音視頻的編輯軟件，避免改變原始時間戳。
標準轉碼工具：與編碼和封裝階段一樣，選擇經過驗證的轉碼工具。

考慮到上述因素，維持音畫同步需要在整個音視頻處理鏈路中對時間戳進行持續、準確的管理和維護。

六、音視頻廠商解決方案-音畫不同步問題

當我們使用第三方音視頻服務，如ZEGO即構（https://www.zego.im/），來搭建音視頻應用時，許多與音畫同步相關的問題實際上已經被該服務處理或優化了。第三方服務通常具有專門的團隊和技術來應對這類問題，并在其SDK和平臺中實現了多種解決策略。即構音視頻SDK的核心策略是保持時間戳傳遞正確，下面為大家介紹即構等音視頻廠商解決音畫不同步問題的解決策略，以即構為例操作步驟如下：

1 問題排查

如果使用了自定義視頻采集，請檢查自定義視頻采集的時間戳是否正確，尤其要檢查時間戳的單位是否正確（SDK 使用 Unix 標準時間戳，單位為毫秒）。ZEGO SDK 內部會根據您提供的采集時間戳進行音畫同步。
如果使用了虛擬攝像頭采集（比如XX直播助手），由于虛擬攝像頭的采集延遲可能存在過大問題，而 ZEGO SDK 是無法獲取到這種延遲的，可能存在音畫不同步的問題。針對這種情況，您可以在即構官網與 ZEGO 技術支持聯系，技術支持可在分析確認后，通過引擎進階配置進行修正。

2 使用星圖監控質量

使用?ZEGO管理控制臺?（https://console.zego.im/）中的星圖（https://console.zego.im/），對音視頻通話的質量進行跟蹤。即構ZEGO星圖平臺提供全鏈路音視頻質量監測，含問題定位診斷、洞察質量與體驗、業務經營分析、實時監控告警等核心模塊，提供豐富的大盤數據幫助開發者多維度全方位監控業務運轉。

3 技術策略

ZEGO 即構（https://www.zego.im/）作為一家提供實時音視頻技術的公司，有許多先進的技術策略來提供高質量的音視頻傳輸。

優化的編解碼器：即構和其他音視頻廠商通常會集成或優化業界標準的編解碼器，確保時間戳的準確生成和解碼。
動態碼率調整：針對網絡條件不斷變化的情況，即構的SDK會動態調整碼率，以確保音視頻數據的連續性，并最小化數據包的丟失或延遲。
前向糾錯與包重傳：為了彌補網絡傳輸中的數據丟失，即構等服務實現了前向糾錯和數據包重傳機制，這有助于恢復音畫同步。
分層編碼和大小流策略：即構的分層編碼和大小流策略，發送端發送不同分辨率的流，根據網絡狀況動態選擇哪個流進行播放，確保視頻的流暢性同時也有助于音畫同步。
智能路由與多路徑傳輸：為了最小化網絡延遲和丟包，即構可能使用其云服務進行智能路由或實現多路徑傳輸。