H.263可以2~4Mbps的傳輸速度實現標準清晰度廣播級數字電視(符合CCIR601、CCIR656標準要求的720*576);而H264由于算法優化,可以低于2Mbps的速度實現標清數字圖像傳送;H.264 High Profile 可實現低于1.5Mbps的傳輸帶寬下,實現1080p全高清視頻傳輸;H265相比h264進步更為明顯,可以實現利用1Mbps以下的傳輸速度傳送1080P(分辨率1920*1080)全高清音視頻傳送。除了在編解碼效率上的提升外,在對網絡的適應性方面H.265也有顯著提升,可很好運行在Internet等復雜網絡條件下。
在運動預測方面,下一代算法將不再沿襲“宏塊”的畫面分割方法,而可能采用面向對象的方法,直接辨別畫面中的運動主體。在變換方面,下一代算法可能不再沿襲基于付立葉變換的算法族,有很多文章在討論,其中提請大家注意所謂的“超完備變換”,主要特點是:其MxN的變換矩陣中,M大于N,甚至遠大于N,變換后得到的向量雖然比較大,但其中的0元素很多,經過后面的熵編碼壓縮后,就能得到壓縮率較高的信息流。
關于運算量,H.264的壓縮效率比MPEG-2提高了1倍多,其代價是計算量提高了至少4倍,導致高清編碼需要100GOPS的峰值計算能力。盡管如此,仍有可能使用目前的主流IC工藝和普通設計技術,設計出達到上述能力的專用硬件電路,且使其批量生產成本維持在原有水平。5年(或許更久)以后,新的技術被接受為標準,其壓縮效率應該比H.264至少提高1倍,估計對于計算量的需求仍然會增加4倍以上。隨著半導體技術的快速進步,相信屆時實現新技術的專用芯片的批量生產成本應該不會有顯著提高。因此,500GOPS,或許是新一代技術對于計算能力的需求上限。
在數字視頻應用產業鏈的快速發展中,面對視頻應用不斷向高清晰度、高幀率、高壓縮率方向發展的趨勢,當前主流的視頻壓縮標準協議H.264(AVC)的局限性不斷凸顯。同時,面向更高清晰度、更高幀率、更高壓縮率視頻應用的HEVC(H.265)協議標準應運而生。本文重點分析了下一代視頻壓縮協議標準HEVC(H.265)的技術亮點,并對其在未來應用中將給整個產業帶來的深刻變化予以展望。
H.264(AVC)從2003年5月草稿發布以來,憑借其相對于以往的視頻壓縮標準在壓縮效率以及網絡適應性方面的明顯優勢,逐步成為視頻應用領域的主流標準。根據 MeFeedia的數據,由于iPad 以及其它新興設備大多支持H.264 硬件加速,至2011年底,80%的視頻使用H.264編碼,并且隨著支持H.264解碼的設備不斷增多,這一占有率還將進一步增長。
但是,隨著數字視頻應用產業鏈的快速發展,視頻應用向以下幾個方向發展的趨勢愈加明顯:
l 高清晰度(Higher Definition):數字視頻的應用格式從720 P向1080 P全面升級,在一些視頻應用領域甚至出現了4K x 2K、8K x 4K的數字視頻格式;
l 高幀率(Higher frame rate ):數字視頻幀率從30 fps向60fps、120fps甚至240fps的應用場景升級;
l 高壓縮率(Higher Compression rate ):傳輸帶寬和存儲空間一直是視頻應用中最為關鍵的資源,因此,在有限的空間和管道中獲得最佳的視頻體驗一直是用戶的不懈追求。
由于數字視頻應用在發展中面臨上述趨勢,如果繼續采用H.264編碼就出現的如下一些局限性:
(1) 宏塊個數的爆發式增長,會導致用于編碼宏塊的預測模式、運動矢量、參考幀索引和量化級等宏塊級參數信息所占用的碼字過多,用于編碼殘差部分的碼字明顯減少。
(2) 由于分辨率的大大增加,單個宏塊所表示的圖像內容的信息大大減少,這將導致相鄰的4 x 4或8 x 8塊變換后的低頻系數相似程度也大大提高,導致出現大量的冗余。
(3) 由于分辨率的大大增加,表示同一個運動的運動矢量的幅值將大大增加,H.264中采用一個運動矢量預測值,對運動矢量差編碼使用的是哥倫布指數編碼,該編碼方式的特點是數值越小使用的比特數越少。因此,隨著運動矢量幅值的大幅增加,H.264中用來對運動矢量進行預測以及編碼的方法壓縮率將逐漸降低。
(4) H.264的一些關鍵算法例如采用CAVLC和CABAC兩種基于上下文的熵編碼方法、deblock濾波等都要求串行編碼,并行度比較低。針對GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU,H.264的這種串行化處理越來越成為制約運算性能的瓶頸。
為了面對以上發展趨勢,2010年1月,ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)聯合成立JCT-VC(Joint Collaborative Team on Video Coding)了聯合組織,統一制定下一代編碼標準:HEVC(High Efficiency Video Coding)。
HEVC協議標準計劃于2013年2月份正式在業界發布,目前整個框架結構已基本確定。截至2012年4月份,JCT-VC聯合工作組已經召開了第八次會議,并于2012年2月17日發布了第一版內部草稿《High efficiency video coding (HEVC) text specification draft 6》,計劃2012年7月發布第一版公開版草稿,在H.264標準2~4倍的復雜度基礎上,將壓縮效率提升一倍以上。
下表列出了HM4.0(HEVC參考代碼)相對于JM18.0 BD-Rate對比:

表1 HEVC相對于H.264的壓縮效率提升數據列表
由表中數據可見,在Low Delay的情況下,HEVC(HM4.0)相對于H.264比特率平均下降44%。
二、 HEVC(H.265)的技術亮點
作為新一代視頻編碼標準,HEVC(H.265)仍然屬于預測加變換的混合編碼框架。然而,相對于H.264,H.265 在很多方面有了革命性的變化。HEVC(H.265)的技術亮點有:
1. 靈活的編碼結構
在H.265中,將宏塊的大小從H.264的16x16擴展到了64x64,以便于高分辨率視頻的壓縮。同時,采用了更加靈活的編碼結構來提高編碼效率,包括編碼單元(Coding Unit)、預測單元(Predict Unit)和變換單元(Transform Unit)。如圖1所示:

圖1 編碼單元(CU)、預測單元(PU)、變換單元(CU)
其中編碼單元類似于H.264/AVC中的宏塊的概念,用于編碼的過程,預測單元是進行預測的基本單元,變換單元是進行變換和量化的基本單元。這三個單元的分離,使得變換、預測和編碼各個處理環節更加靈活,也有利于各環節的劃分更加符合視頻圖像的紋理特征,有利于各個單元更優化的完成各自的功能。
2. 靈活的塊結構----RQT(Residual Quad-tree Transform)
RQT是一種自適應的變換技術,這種思想是對H.264/AVC中ABT(Adaptive Block-size Transform)技術的延伸和擴展。對于幀間編碼來說,它允許變換塊的大小根據運動補償塊的大小進行自適應的調整;對于幀內編碼來說,它允許變換塊的大小根據幀內預測殘差的特性進行自適應的調整。大塊的變換相對于小塊的變換,一方面能夠提供更好的能量集中效果,并能在量化后保存更多的圖像細節,但是另一方面在量化后卻會帶來更多的振鈴效應。因此,根據當前塊信號的特性,自適應的選擇變換塊大小,如圖2所示,可以得到能量集中、細節保留程度以及圖像的振鈴效應三者最優的折中。

圖2 靈活的塊結構示意圖
3、采樣點自適應偏移(Sample Adaptive Offset)
SAO在編解碼環路內,位于Deblock之后,通過對重建圖像的分類,對每一類圖像像素值加減一個偏移,達到減少失真的目的,從而提高壓縮率,減少碼流。
采用SAO后,平均可以減少2%~6%的碼流,而編碼器和解碼器的性能消耗僅僅增加了約2%。
4、自適應環路濾波(Adaptive Loop Filter)
ALF在編解碼環路內,位于Deblock和SAO之后,用于恢復重建圖像以達到重建圖像與原始圖像之間的均方差(MSE)最小。ALF的系數是在幀級計算和傳輸的,可以整幀應用ALF,也可以對于基于塊或基于量化樹(quadtree)的部分區域進行ALF,如果是基于部分區域的ALF,還必須傳遞指示區域信息的附加信息。
5、并行化設計
當前芯片架構已經從單核性能逐漸往多核并行方向發展,因此為了適應并行化程度非常高的芯片實現,HEVC/H265引入了很多并行運算的優化思路, 主要包括以下幾個方面:
(1) Tile
如圖3所示,用垂直和水平的邊界將圖像劃分為一些行和列,劃分出的矩形區域為一個Tile,每一個Tile包含整數個LCU(Largest Coding Unit), Tile之間可以互相獨立,以此實現并行處理:

圖3 Tile劃分示意圖
(2) Entropy slice
Entropy Slice允許在一個slice內部再切分成多個Entropy Slices,每個Entropy Slice可以獨立的編碼和解碼,從而提高了編解碼器的并行處理能力:

圖4 每一個slice可以劃分為多個Entropy Slice
(3) WPP(Wavefront Parallel Processing)
上一行的第二個LCU處理完畢,即對當前行的第一個LCU的熵編碼(CABAC)概率狀態參數進行初始化,如圖5所示。因此,只需要上一行的第二個LCU編解碼完畢,即可以開始當前行的編解碼,以此提高編解碼器的并行處理能力:

圖5 WPP示意圖
6、H.264中已有特性的改進
相對于H.264,H.265標準的算法復雜性有了大幅提升,以此獲得較好的壓縮性能。H.265在很多特性上都做了較大的改進,如表2所示:

表2 H.264和H.265關鍵特性對比
三、 HEVC(H.265)技術應用前景展望
H.265標準是在H.264標準的基礎上發展起來的,結合H.264在視頻應用領域的主流地位可以預見H.265協議在未來廣大的發展前景。
世界的一些主流電視組織以及媒體運營商已經選擇H.264作為媒體格式標準,一些主要的編解碼設備廠商也一直積極參與到H.265標準的研究當中。華為是ITU-T視訊標準的主要Reporter(報告人)和Editor(編輯者)。作為國際電信聯盟(ITU-T)成員單位,華為牽頭并參與制訂了多項國家標準和行業、企業標準。在H.265協議制定期間,華為提交了多項相關提案、建議,并提供了非常典型的應用場景測試序列,得到ITU-T的高度認可和接納。華為提供的ChinaSpeed序列已經被標準組織采納作為Class F的標準測試序列。
隨著芯片處理能力越來越強,算法復雜性對應用的影響因素越來越小。相反,在算法實時通訊應用以及IPTV應用中,業務的不斷擴展和需求的增加使得有限的帶寬資源逐漸成為瓶頸,高壓縮率的編碼是解決這一難題的有效技術手段,這也為H.265在基于IP進行流媒體服務領域的應用奠定了堅實的基礎。目前很多電信運營商使用H.264標準作為其媒體格式,也有很多廠商推出了基于H.264標準的機頂盒以及基于H.264標準的視頻會議解決方案。
華為作為全球領先的電信解決方案供應商,是國內目前最大的視頻會議研發機構,從1993年華為正式推出ViewPoint系列視頻會議產品以來,已經發布了五代視頻會議產品,在視頻通信領域目前獲得600多項專利受理,其中國際專利100多項。華為能夠提供全系列的視頻會議產品,包括智真視頻會議系統、高清視頻會議系統、標清視頻會議系統以及基于IPTV的解決方案。根據Frost& Sullivan咨詢報告,2011年華為視頻會議解決方案市場占有率全球排名前三,智真的市場占有率全球排名第二。華為作為研究HEVC的第一梯隊企業,密切關注H.265標準的發展,并將率先推出H.265相關的視訊產品。
四、 結束語
HEVC(H.265)標準預計2013年2月發布正式版本,由于其在壓縮效率、并行處理能力以及網絡適應性方面的極大改進,它的發展和應用必將把視頻編解碼理論和應用推向一個新的高度。
五、 參考文獻
1. Gary J. Sullivan and Jens-Rainer Ohm, "Recent developments in standardization of high efficiency video coding (HEVC)", SPIE Applications of Digital Image Processing XXXIII, Andrew G. Tescher (editor), Proceedings of SPIE Volume 7798, Paper number 7798-30, August, 2010.
2. http://phenix.int-evry.fr/jct
3. ON RESIDUAL QUAD-TREE CODING IN HEVC, Yih Han Tan, Chuohao Yeo, Hui Li Tan, Zhengguo Li,978-1-4577-1434-4/11 ?2011 IEEE
4. 從H.264向H.265的數字視頻壓縮技術升級, 劉國梁,鐵路通信信號工程技術(RSCE) 2011年6月,第8卷第3期
5. High Efficiency Video Coding (HEVC) text specification draft 6, JCTVC-H1003
6. 陳清.H.265 標準現狀和發展應用趨勢[J].中國多媒體通信,2008(10):12-15.
?并不是所有人和所有市場接受新鮮事物的程度都是一樣的,特別是對于高端的技術來說,一個新技術的誕生需要長時間磨合,在人們適應新技術的同時該技術也需要不停地作調整,以達到最滿意的水平。正如大家用2年的時間從認識網絡高清到使用高清監控,同樣面對視頻壓縮技術標準時,H.265卻有話要說。
眾所周知,在視頻領域中目前使用最廣泛的壓縮協議為H.264協議,隨著視頻領域不斷的拓寬和人們對視頻要求不斷提高,H.264即將升級成H.265,然而,問題就出現在這個新的壓縮標準上。一個新標準的出現必然會存在專利權,那么在借鑒前輩之后,H.265是否收費則成了關注的話題。

專利“雙刃劍” H.265標準不收費最靠譜?
H.265收費與否看H.264
對于視頻壓縮標準,在H.264之前還有很多,但是當人們視覺效果必須滿足在1080p高清之后,自然H.264成了主角。H.265要不要收費當然還得看前輩的"臉色",由于H.264是由多項專利所組成的影片格式,雖然專利權所有組織MPEGLA先前允諾在一定期限內可以免費授權H.264提供給消費者使用,但未來是否要收費仍然是個疑慮。以目前來看,若使用一項新的標準自然存在著一定的風險,若H.264還處于免費時,若H.265收費有些似乎對市場推廣會有影響。
H.265優于H.264收費可不可以?
在大安防市場中,H.264的出現,使得在同等速率下,H.264能夠比H.263減小50%的碼率。也就是說,用戶若想體驗高質量的視頻服務,再帶寬減半即可輕松實現。H.264不但有助于節省龐大開支,還可以提高資源的使用效率,同時令達到商業質量的視頻會議服務擁有更多的潛在客戶。H.265若要在視頻會議中體現,那么該技術必須要優于H.264。
H.264其實就是高度壓縮數字視頻編解碼器標準,H.265與H.264出自同一專家組,是在該技術基礎之上的一種延伸。目前H.265只應用于商用領域,在大家所常見的領域中幾乎很少被人了解。
新的H.265視頻標準在數據傳輸和碼流效率上較之前的編解碼算法,有明顯的提升。H.263到H.264提高了50%,而H.264到H.265將提高67%。據工業和信息化部電信研究院通信標準研究所工程師栗蔚女士稱,針對網絡傳輸流媒體的分辨率越來越大,對帶寬要求也越來越高的情況下,H.265可提供類似質量下更小的碼率。或許在同樣的圖像質量下,帶寬要求將會縮減到1/3。
未來在視頻標準上,雖然H.264并沒有收費,但是單以H.265的技術水平來看,似乎收費又有合理的因素。同樣,H.265在市場使用上依舊面臨兩難,一個是該專利的獨特創新權,另一個則還是市場的普及率,似乎從下圖我們可以看到,H.264目前的使用情況的確會給H.265帶來不少壓力。
H.265編碼對視頻的損傷
與HD-SDI非壓縮視頻圖像不同的是,經過壓縮的視頻圖像或多或少的都會對圖像有所損傷,特別還是在網絡傳輸過程中,更是避免不了丟包的現象。客觀地說,只要視頻圖像存在壓縮既會有損傷,當然在高效率的壓縮也難逃這一弊端。從客觀情況分析來看,視頻編碼損傷主要有三大類:編碼標準、IP網絡、Error-prone通信,細致地說這對圖像模糊、噪聲、數據丟包、延時、抖動以及無線信道傳輸帶來的失真都不可避免。
盡管H.265真的能夠實現超出H.264的多倍高清,一些視頻損失是通過數據測算出來的,肉眼則看到就是高清晰的畫質。以目前大安防市場的視頻會議來看,在高清晰畫質的不斷需求之下,高壓縮標準的確能夠進一步推動市場,只不過成本還是用戶最為關注的話題。理想的價格才是最終產品流向市場的王道。
H.265應用前景
對于H.265高壓縮標準,有高清視頻的地方就少不了它的身影。以大安防市場為例,高清視頻會議中,1080p視頻會議已經成為市場的主流。據栗工程師介紹,目前根據視頻會議市場需求的調查數據顯示,高清視頻會議的需求和使用率正在以高達30%~40%的速度增長。除了企業級別領域外,高清在線視頻和高清電視也可以采用H.265這個新協議。優酷土豆、奇藝、樂視網等都是網友們的最愛。
2013年將發布H.265標準
目前H.265草案已經完成,預計在2013年初發布該標準,屆時該標準的正式誕生則又象征這高清視頻標準的再一次飛躍,從標清的高清,從高清到超高清,未來在視頻會議、視頻監控市場將得到很好的推廣和使用。當然,在保障該專利的利益下,不收費的H.265才是最靠譜的。