AVS高清立體視頻編碼器

一、成果項目背景

電視技術在經歷了從黑白到彩色、從模擬到數字的技術變革之后正在醞釀另一場技術革命，從單純觀看二維場景的平面電視跨越到展現三維場景的立體電視。立體電視，又稱三維電視(3DTV)，提供了更為豐富的視覺信息和更具臨場感的觀看效果，在我國數字家庭娛樂、文化創意、教育培訓等領域具有廣闊的應用前景，3DTV代替傳統的二維平面顯示將是大勢所趨。突破3DTV節目制作、傳輸、播出的關鍵技術，研制具有我國自主知識產權的3DTV播出系統，對于解決我國音視頻產業“空心化”問題，推動相關產業發展具有重要意義。

3DTV系統的核心問題之一是音視頻編解碼標準的制定。過去，我國在數字視音頻編解碼核心技術方面較為薄弱，相關企業長期受制于持有標準化專利與技術的國外企業和組織。為了應對國外專利公司的步步緊逼，我國制定了數字音視頻編解碼技術國家標準（AVS），通過采納已公開技術和自主創新技術，把握了技術主動權，打破了國外企業和組織對音視頻標準的壟斷。

數字視頻編碼器是數字電視系統中的關鍵裝備，是否擁有具有自主知識產權的數字視頻編碼器，不僅反映了一個國家在數字電視領域的自主創新能力，并且影響到整個數字多媒體行業的發展影進程。同樣，對于數字電視從平面到立體的升級，高清實時立體視頻編碼器也是最為關鍵的設備。AVS高清實時立體視頻編碼器是實現AVS標準的3DTV電視節目制作和播出的關鍵設備，它的研制一方面解決3DTV制作和播出問題，結束終端用戶“無節目可看”的狀況，另一方面從根本上推動數字電視接收機制造業的產業升級。同時，AVS高清實時立體視頻編碼器也是高密度激光數字存儲媒體、無線寬帶多媒體通訊等重大信息產業應用領域的關鍵設備。

二、關鍵成果技術及特點

AVS高清立體視頻編碼器的研制涉及到并行立體視頻編碼算法、立體視頻編碼標準、實時視頻編碼軟件架構、定制化計算平臺等多項關鍵技術，同時需要將設備研制和3DTV播出系統集成通盤考慮。我們在已有的理論研究、算法研究和技術積累的基礎上，突破和完善了以下五方面的關鍵技術。

1.????? 立體視頻高效并行編碼算法

在已有理論、方法研究的基礎上，通過在立體視頻雙拼技術、AVS并行編碼算法、碼率控制等方面的創新，實現了高效、實時的立體視頻編碼。

（1）立體視頻雙拼技術

充分利用研制單位在采樣、拼接等技術方面的研究積累，通過科學的實驗分析，采用了目前流行的Side-by-Side拼接方式，確定了相應的采樣拼接算法，保證了與AVS壓縮編碼算法相結合的3D視頻的播出質量。Side-by-Side拼接方式支持目前大多數電視廠商推出的立體電視及其他多種立體顯示設備，與現有的2D視頻編輯及傳輸系統能很好地兼容，輸出的碼流能通過傳統的傳輸方式，使用傳統的機頂盒在立體電視上進行直播，點播等多種方式的立體播放；也能使用立體投影儀、PC平臺立體播放器等進行立體播放。

（2）雙流水并行編碼算法

提出和實現了基于雙流水架構的并行編碼架構。采用了細粒度的并行計算框架，針對多核處理器的特點設計編碼算法的數據結構，重新拆分編碼算法中的各個計算任務，通過適當減少任務的粒度，提高cache命中率，同時減少不必要的處理器核間通信開銷。另外，還通過軟件預取、硬件預取以及操作系統相關優化方法，達到對內存緩沖機制的高效利用。在任務調度方面，為了保證處理器核的負載平衡、提高CPU利用率，對并行視頻編碼算法中各個任務的調度進行了優化。此外，在算法方面還針對多核處理器架構的特點，充分分析了AVS標準編碼算法的特點，在保證編碼效率損失可控的情況下，提出和實現了低復雜度的插值算法和快速運動矢量搜索算法。同時，還形成了一套視頻編碼算法并行、優化的開發方法。

（3）基于窗口的碼率控制算法

在視頻碼率控制算法方面，提出和實現了一種基于窗口的碼率控制算法，將碼率控制與率失真優化有機地結合起來。首先基于對變換量化過程中的率失真關系分析，建立了相應的R-Qstep與D-QP率失真模型；然后根據率失真模型進行碼率控制所需的位分配、量化參數調整，并根據率失真模型估計量化參數調整后的失真度，以決定率失真優化編碼模式，實現碼率控制與率失真優化編碼的統一，在達到碼率控制的同時也能得到較高的編碼效率。該算法具有輸出碼率穩定、編碼質量高的特點，并且較好地處理了因場景切換等原因導致的碼率突變問題。

2.????? AVS立體視頻編碼標準制定

積極推動立體視頻編碼標準的制定，提出的技術方案在兩個層次上實現了AVS標準對立體視頻編碼的支持。在系統層，通過增加描述子，實現了雙路立體視頻的獨立編碼、聯合編碼以及單路視頻左右/上下拼接的立體視頻編碼；在視頻層，添加了相應的字段，也可以支持立體視頻編碼。標準所采用的單路上下、左右拼接的編碼方式與二維視頻具有很好的兼容性。

3.????? 基于Linux平臺的實時可靠編碼軟件架構

基于Linux操作系統，設計開發了實時編碼軟件的集成框架系統Mcoder，能夠集編轉碼于一體、可擴展支持多路視頻，具有高穩定性和安全性。Mcoder使用高度模塊化的設計，AVS視頻編碼核心模塊采用雙流水并行方案，具有高加速比、低延遲、高質量的特點；支持多種輸入輸出方式，支持多種格式的輸入碼流，可滿足不同應用場景和需求；支持通過遠程頁面、本地頁面及液晶屏等多種靈活的方式進行控制，具有響應迅速，操作簡單等優點；同時，具有良好的可擴展性，能夠靈活地增加或刪減多種編解碼模塊及輸入輸出模塊。

4.????? 基于多核CPU的定制化編碼器計算平臺

定制化編碼器計算平臺基于“天河一號”主板技術，并針對廣電設備應用特點進行了優化設計。平臺靈活支持廣電等領域的多種應用，具有高集成度和高穩定性的特點，在功能性、可擴展性方面有自己的特色，達到國際先進水平。自主研發的主板，由高性能微處理器（CPU）、物理上共享的多通道存儲器、相應的主板芯片組成；支持高性能片上多核微處理器，可配置2顆Intel新一代Xeon六核/四核高性能64位Nehalem-EP微處理器；支持兩塊PCIE外圍板卡。該主板具有小體積、高性能、高可靠性的特點，能夠支持各種編碼、轉碼實時、離線設備以及其它高性能計算設備的開發。

5.????? 基于AVS的3DTV播出系統

本成果以AVS技術和標準為核心，突破了高清實時立體視頻編碼的關鍵技術與設備，進一步整合了國內外先進的3DTV采集、制作、傳輸、終端技術，實現了基于AVS的3DTV節目播出，在國內是首創，在國際上也處于領先地位。在廣州亞運會3DTV節目播出項目中，實現了完整的3DTV節目采編播和終端系統，在實際應用中對編碼器和系統集成方案進行了驗證，證明我們已經突破和掌握了3DTV播出的關鍵技術。

三、技術水平

AVS標準是面向標清/高清視頻編碼應用的高效編碼工具集合。相比于已得到廣泛應用的MPEG-2標準，其編碼效率提高了2~3倍，與國際上最先進的H.264/AVC標準相比，編碼效率相當。但AVS標準實現方案簡潔，其編碼算法復雜度是H.264/AVC的30%，其解碼復雜度是H.264/AVC的70%。因此，AVS標準已達到國際最先進水平。具體而言，本成果與同國外同類技術比較主要有如下幾方面的創新和優勢：

（1）在高性能并行立體視頻編碼算法方面，針對AVS優化了立體視頻雙拼技術、提出了雙流水結構的宏塊級并行編碼算法，實現了AVS標準的雙拼高清立體視頻的實時編碼。通過新的雙流水架構和有針對性的算法和軟件優化，編碼器性能達到了1080p和1080i高清視頻的實時編碼。

（2）在標準方面，通過對AVS標準中標志位的修改，實現了兼容傳統2D模式的拼接3D視頻標準，包括系統層標準及視頻層標準。新的AVS立體視頻編碼標準編碼性能高，編碼復雜度低，與傳統視頻標準兼容性強，各項指標均達到國際領先水平。

（3）在軟件方面，基于Linux平臺，具有高度的穩定性，同時便于移植到各種不同的硬件平臺。研發的實時編碼集成框架實現了并行視頻編碼、音頻編碼、系統復用、I/O、控制等多線程模塊的優化組織和調度；支持包括SDI、ASI、IP網絡等多種輸入方式及MPEG-2、AC3等多種音視頻輸入格式，支持ASI、IP網絡等多種輸出方式及AVS、MPEG1-layer2等多種音視頻輸出格式；具有良好的可擴展性，能方便地集成各種編解碼模塊，滿足多種應用的需要。

（4）定制化編碼器計算平臺基于“天河一號”主板技術，并針對廣電設備應用特點進行了優化設計。平臺靈活支持廣電等領域的多種應用，具有高集成度和高穩定性的特點，在功能性、可擴展性方面有自己的特色，達到國際先進水平。編碼器整機功能完備、體積小、重量輕、操作方便、具有較強的可擴展性。

（5）在系統應用方面，整合了國內外的3DTV采集、制作、傳輸、終端技術，首次實現了以自主知識產權的AVS編解碼技術為核心的3DTV播出系統。系統最大限度兼容二維高清電視播出系統，為二維電視到立體電視的平滑過渡提供了低成本的解決方案。

四、應用前景

3DTV播出系統主要包含以下幾個方面技術：立體視頻采集編輯播出、立體視頻編碼與傳輸，立體視頻解碼，以及立體視頻顯示。其中在編碼傳輸解碼方面，數字音視頻編解碼技術國家標準AVS（GB/T 20090.2-2006）為立體電視提供了堅實的技術基礎，當前的AVS高清編碼器和解碼器已經可以支持3D立體電視的播出和接收，TCL等電視廠商已經開發出立體電視接收機和立體投影系統等產品。在AVS產業聯盟、中國立體視像（3D）產業聯盟、中國高清光盤產業聯盟等組織推動下，涵蓋立體視頻拍攝、錄制、編輯、制作、播出、編碼、傳輸、解碼、顯示、應用的立體電視產業鏈正在形成。

本成果整合了國內外先進的3DTV采集、制作、傳輸、終端技術，通過核心技術創新與集成創新相結合，實現了完整的符合中國國情的3DTV播出解決方案，并在廣州亞運會部分場館3D電視轉播中得到驗證。在技術方面，廣播電視3DTV節目制作與播出的條件已經具備；在產業方面，打通了“技術→專利→標準→芯片與軟件→整機與系統制造→數字媒體運營與文化產業”這一產業鏈，為以科技創新引領產業轉型提供了一個成功的范例，必將有力推動我國數字電視和3DTV等相關產業的升級和發展。