AVS軟件解碼器的優化
董斌 , 姜昱明
(西安 電子科技大學計算機學院,陜西 西安,710071))
摘 要: 主要研究了AVS標準的視頻壓縮部分,指出了影響解碼速度的瓶頸并提出了一種優化方案.使
用從程序結構入手結合使用SIMD指令集的方案來優化AVS軟件解碼器.實驗結果表明優化方案可行并且
解碼器的運算速度得到了很大的提高.
關鍵詞: AVS;視頻壓縮;SIMD;優化
Optimization of AVS software decoder
DONG Bin , JIANG Yu-ming
(School of Computer Science and Engineering, XIDIAN university, xi'an, 710071)
Abstract: The video compression part of AVS(Audio Video Coding Standard) was mainly studied, the bottleneck
affecting the decoding speed of AVS decoder was pointed out and an optimization scheme was given. The software decoder
was optimized starting from program structure and in combination of SIMD instructions. The results of experiment shows the
scheme is available and the speed of the decoder is highly improved.
key words: AVS;video compression;SIMD;optimization
1 引言
近年來,視頻壓縮技術發展迅速,國際上出現了多種視頻壓縮標準和建議,如MPEG1,MPEG2,
MPEG4,H.261,H.263以及最近制定的H.264/AVC.我國在參與國際標準制訂的基礎上,提出了自主
的數字音視頻編解碼技術標準AVS,達到了當前的國際先進水平.
AVS標準包括系統,視頻,音頻和數字版權管理等四個主要技術標準和一致性測試等支撐標準.
視頻部分是最復雜的部分,主要針對高分辨率視頻(SDTV, HDTV等).從MPEG1開始國內外已有很多
個人和公司進行了大量編解碼器的優化工作,例如芬蘭Nokia研究中心的Ville Lappalainen[1][2],和
Tampere University of Technology 的Timo D.H m l inen [1][2]等人一直致力于H263,H26L和H264的
優化,美國的Vsoft公司在P4 3.0G的機器上實現了標清視頻的實時編解碼[3],這些優化工作對已有音
視頻標準的推廣和應用起到了極大的作用.
董斌,1979年生,男,河北滄州人,在讀碩士生; 共5頁第1頁
在優化過程中,SIMD擴展指令集被大量采用,大家熟知的MMX,SSE,SSE2,3DNow!等都是
這類擴展指令集,SIMD指令可以在一個CPU指令執行周期內用一道指令完成處理多個數據的并行操
作.為了便于優化代碼,一般使用指令集的Intrinsics函數,它是外表類似普通函數,需要使用Intel
的編譯器提供支持,可以被編譯器直接編譯成SIMD指令的函數集合,有關指令集和Intrinsics的使用
可以參考文獻[4][5]中的相關內容.
本文首先介紹了AVS標準的主要特點,接著介紹了解碼器的測試環境并對瓶頸部分進行簡要分
析,最后從程序結構和利用SSE2的Intrinsics兩個方面出發對瓶頸部分進行的優化,同時給出相應
實驗結果和本文的結論.
2 AVS視頻標準
AVS作為基于國際開放技術和我國自主研發的專利技術而制定出來的一套音視頻編碼標準,有
以下幾個特點[6]:
第一:幀內預測對亮度和色度均使用8x8塊大小,分別有5種和4種預測模式;幀間預測的運
動向量精確到1/4象素并且支持四種塊大小的運動補償預測, B幀中的宏塊可以采用5種編碼模式之
一進行編碼,最多只用兩個運動矢量,兩個參考幀進行幀間預測,提高了運功補償(MC)的精度;
第二:采用類似于DCT的8x8整數變換,整數變化后可以完全避免反變換中產生誤差,并將殘
差塊的變換和量化作為一個過程,;
第三:對量化后的變換系數使用基于上下文的變長編碼(CAVLC)方法進行熵編碼,為了提高編
碼的效率而定義了19個查找表,對于其他待編碼參數使用零階通用哥倫布編碼;
3 測試環境和瓶頸分析
測試在一臺P4 3.2GHz,1G內存,L1 Cache為20KB, L2 Cache為512KB的機器上進行,操作
系統使用Windows XP professional ,優化分析軟件使用Intel Vtune7.1, 編譯器使用Intel Complier 8.0,
優化選項使用Maximize Speed.
測試所使用的序列及壓制測試碼流的條件參照文獻[7]選定.為了減少其他運行中程序和解碼過
程中I/O操作的影響,實驗過程中不將重構好的圖像寫入硬盤并在計算機重新啟動后進行測試,最后
所得的數據取15次解碼的平均時間.
表1 優化前各個解碼模塊的性能數據 表2 優化后各個解碼模塊的性能數據

解碼每個宏塊過程主要包括熵解碼(VLD),反量化(IQ),反變換(IT),運動補償(MC),重構(MR)
和循環濾波(DeBlock)等6個模塊以及初始化等相關操作,試驗中以解碼QP為32的city序列(碼率為
3.7Mbit/s @ 30.00 Hz)為例使用Intell Vtune7.1工具進行性能分析,得出解碼器優化前后每個解碼模塊
的性能數據,詳見表1和表2.其中的前3項數據采用基于事件的采樣(EBS[8]),就是對程序執行中各
種事件發生的次數進行采樣,由表1中的數據Clockticks[8]和Instructions Retired[8]表明MC模塊中指令
執行的頻率最高,MR和IQ+IT個模塊次之;L2 Cache Read Misses [8]表示從L2 Cache讀入數據時的失
效率,MC模塊是42.8%為最高,MR模塊次之.表1中最后兩項數據采用基于時間的采樣(TBS[8]),
在每個函數的入口和出口處設置標記計算每個函數的實際運行時間,占用解碼時間最多的模塊依次
共5頁第2頁
為MC,MR和IQ+IT,VLD和DeBlock模塊占用的解碼時間較少.根據以上這些解碼模塊的數據,
在優化時著重優化MC,MR和IQ+IT 三個模塊.
4 AVS軟件解碼器的優化
4.1 程序流程的優化
首先,將宏塊的運動向量,預測模式,參考幀索引等初始化操作集中到幀解碼一級,使用memset
函數進行批量處理;
其次,對函數結構進行調整,將解碼宏塊的過程分為解碼亮度和色度宏塊,而不是統一的使用
一個函數進行解碼,這種處理可以減少了跳轉的次數和分支預測失敗的可能性;并且將語句較少的
函數直接用展開到調用它的函數中(函數提升),減少了函數調用過程中壓棧出棧所消耗的時間.
最后,對重構部分的函數結構進行調整,這個模塊占用較多的解碼時間主要是因為不必要的數
據拷貝導致訪存的增加,并且函數內部還要進行色度重構和亮度重構的判斷.優化中減少了程序中
冗余的數據拷貝過程,直接在運動補償后進行圖像重構,并且分別進行亮度和色度的重構操作來減
少分支預測失敗引起的延遲.
4.2 動補償過程的優化
由表1可知MC占用大部分解碼時間,因為這一部分既是計算密集又是訪存密集.計算密集是
因為如上所述的插值過程要通過濾波器精確計算每個分象素預測點的值,而且為了保證預測值在
[0,255] 范圍內,要對計算出來的預測值進行飽和操作;訪存密集是因為參考幀不能全部裝入L2
Cache中,例如存儲標清序列(720*576)每個亮度參考幀至少要占用607.5KB存儲空間,而Pentium4
處理器的L2 Cache容量為512KB,CPU要頻繁的訪問內存來取得操作數,由表1可知L2的讀失效
率為67.7%,可知程序執行時的訪存時間開銷巨大.
運動補償中使用運動矢量在參考圖像中找到預測參考樣本,當運動矢量指向的參考樣本在參考
圖像外面時,使用圖像內距離參考樣本最近的整數樣本(邊緣或角樣本)代替,參考軟件中通過對數組
下標取min和max函數實現,這種處理方法增加了判斷過程,使CPU的流水線經常處于斷流狀態,
消耗了很多處理時間.優化中采用padding方法將參考圖像向四周進行擴展來減少判斷,擴展出來
的樣本點取參考圖像中最近的邊界點,并且將原來數組的水平和垂直下標分別加上padding的寬度
來能保證能正確訪問擴展后的圖像.運動矢量的有效范圍很大(AVS的基準檔次6.2級別規定最大垂
直運動矢量范圍(幀編碼)[-512, +511.75],但是如果運動補償所需的參考樣本全在參考圖像外面時,
不論運動向量延伸多大,所得到的預測塊象素值都是相同的,所以將padding的寬度定為16.文獻
[1]中提及使用padding的方法由于增加了訪存需求而不會得到較好的效果,我們認為這是由于該文
獻中的優化主要針對QCIF這種較小格式進行優化,所以對padding的寬度比較敏感所致,而本文中
的優化針對較大格式720P的圖像進行.實驗中,padding操作不會超過解碼時間的0.1%,因此可以
忽略.
亮度插值中得到一個1/4象素點最多使用13*8或者8*13個參考樣本, 可以通過MV找到參考幀
中的參考塊,并且將此參考塊讀入新開一塊13*13大小的buffer,這樣在取得參考幀象素時可以減少
L2 Cache的讀失效率.為了保證預測值在[0,255]內,原來程序中使用逗號表達式操作來保證預測值
在[0,255]范圍內,SSE2指令的飽和操作指令可以方便的將預測值限定在此范圍內,通過以上優化,
MC部分的數據見表2可得Clockticks,L2 Cache Read Misses 和Self time[8] 三項數據都比優化前有明
顯的減少,這個模塊解碼時間是原來的18.9%.
4.3 反變換和反量化部分的優化
AVS中采用基于8x8塊大小的類DCT變換,其變換系數采用整數后可以完全避免反變換中產
生誤差,保證不會損失數據的精度,使得編解碼端的數據匹配,其核心變換矩陣和具體變換過程見文
獻[9].反變換采用蝶型快速算法,中間數據 控制在16位二進制數以內.每次變換過程中所需進行變
共5頁第3頁
換的64個數據可以一次裝入CPU的L1 Data Cache,由表1可知L2 Cache Read Misses 只有0.3%,
所以這個模塊是計算密集型的.在不改動蝶型算法的前提下對反變換使用SSE2的Intrinsics函數進
行優化,充分發揮SIMD指令集的優勢.優化后的各項數據見表2,Clockticks和Self time兩項數據
均比優化前減少,解碼時間比優化前快了4.4倍.
5 結論
本文提出了一種AVS視頻解碼器的優化方案,該方案主要從修改程序結構和針對瓶頸模塊優化
兩個方面入手.修改程序結構方面主要是使得程序的模塊化更加清晰并且優化了內存數據的讀取;
優化時間瓶頸時主要采用Intrinsics函數重寫瓶頸模塊.
表 4 解碼參考序列的測試結果
在優化工作中為保證不降低解碼后圖像的質量而沒有涉及到算法級的優化,驗證實驗采用選取
了4個典型的測試序列并分別對每個序列使用4個不同的QP值來進行編碼,所得的壓縮碼流的碼
率范圍在0.3～11.4Mbps之內.用未優化和優化過的解碼器分別對16個碼流進行解碼測試,所得解
碼速度因為各個碼流的碼率不同而相差較大,測試的詳細結果見表3(NOPT和OPT表示解碼器優化
前后的解碼速度,f/s表示幀/秒),優化后解碼器速度最慢的是25.4f/s,最快為39.5f/s,分別是未優
化解碼器速度的4.2和5倍,解碼速度大為提高.
參考文獻:
[1]V.Lappalainen,A.Hallapuro, and T.D..H m l inen. .Complexity of optimized H.26L video decoder implementation
.IEEE Trans, Circuits Syst. Video Technol, VOL13, pp. 717-725, JUL 2003.
[2]V Lappalainen, T D. H m l inen, and P Liuha. Overview of research efforts on media ISA extensions and their usage
in video coding. IEEE Trans, Circuits Syst. Video Technol, VOL 12,pp.660-6701, AUG 2002.
[3]J.Yoshida. H.264 video coding surges into view
http://www.eetimes.com/article/ showArticle.jhtml articleId=18309407&sub_taxonomyID=6257
[4]Intel Corp. The IA-32 Intel Architecture Software Developer's Manual Volume 2 Instruction Set Reference . USA: Intel
Corp, 2003.
[5]Intel Corp. Intel C++ Class Libraries for SIMD Operations User's Guide. USA: Intel Corp, 2002.
[6]Fan..Liang, Siwei Ma, Feng Wu. Overview of AVS Video Standard . ICME2004;
[7].AVS視頻專題組. 視頻編碼技術測試通用條件 . AVS N1055, 2003.7;
[8] Intel Corp. Help for VTune(TM) Performance Analyzer. USA: Intel Corp, 2003.
[9]AVS工作組. 音視頻編碼 第二部分:視頻(草案).北京:AVS工作組, 2003.11;
共5頁第4頁
本人聯系方式:
通信地址:董斌 西安電子科技大學176#信箱
郵政編碼:710071,聯系電話:13700287560,E-mail:bdong@126.com
碩士導師:姜昱明,入學年月:2002年9月,主要研究方向:計算機圖形學與圖像處理
共5頁第5頁