人類獲取的信息中70%來自于視覺,視頻信息在多媒體信息中占有重要地位;同時視頻數據冗余度最大,經壓縮處理后的視頻質量高低是決定多媒體服務質量的關鍵因素。因此數字視頻技術是多媒體應用的核心技術,對視頻編碼的研究已成為信息技術領域的熱門話題。
傳統壓縮編碼建立在仙農信息論基礎之上的,以經典集合論為工具,用概率統計模型來描述信源,其壓縮思想基于數據統計,因此只能去除數據冗余,屬于低層壓縮編碼的范疇。
伴隨著視頻編碼相關學科及新興學科的迅速發展,新一代數據壓縮技術不斷誕生并日益成熟,其編碼思想由像素塊或基于內容 (content-based)。它突破了仙農信息論框架的束縛,充分考慮了人眼視覺特性及信源特性,通過去除內容冗余來實現數據壓縮。下面主要講與之相關的四種編碼體系:塊編碼(H.261、Mpeg2、H.263、H.264、AVS、VC1等)、對象編碼(Mpeg4)、小波編碼、分布式編碼。
塊編碼體系
視頻序列按時間先后分為一系列幀,每一幀圖像又分成(宏)塊以進行運動估計和運動補償,得到運動矢量和殘差。對運動矢量進行差分編碼,對殘差進行變換、量化、zigzag掃描、熵編碼,從而得到最終的壓縮碼流。
去除冗余主要在如下幾個模塊:RGB轉YCbCr減少視覺冗余、幀內預測減少空域冗余、運動補償減少時域冗余、熵編碼減少碼間冗余、變換量化則保證了在有限的碼流下包含最大的信息量。
該編碼體系規則簡單、高效,便于軟硬件實現。發展迅速,也最為成熟,被大多數視頻編碼標準所采納。
基于塊的操作一個主要缺陷是:將圖像固定地分成相同大小的塊,在高壓縮比的情況下會出現嚴重的塊效應,即馬賽克效應。以前的學術論文中,出現了很多去塊效應算法。最新的壓縮標準H.264中,規定了具體的環狀濾波算法,該算法綜合使用了運動矢量、殘差、量化系數、預測模式等信息確定濾波強度,效果俱佳。一下子學術論文中探討濾波的少多了,^_^,提出一個更好的算法實在太難。
基于塊的操作另一個主要缺陷是:交互性差 ^_^ 這就引出了mpeg4的對象編碼。
對象編碼體系
MPEG4標準是對運動圖像中的內容進行編碼,其具體的編碼對象就是圖像中的音頻和視頻,稱為AV對象。AV對象可以組成AV場景。因此,MPEG4標準就是圍繞著AV對象的編碼、存儲、傳輸和組合而制定的,高效率地編碼、組織、存儲、傳輸AV對象是MPEG4標準的基本內容。
MPEG-4的特點是其更適于交互AV服務以及遠程監控。這是一個有交互性的動態圖像標準。主要用于三個領域:數字電視、交互式的圖形應用(包括內容上的合成技術)、交互式多媒體領域等。MPEG-4提供了標準的技術使其能被整合到產品、分類、內容訪問等過程中去,為解決日漸龐大的圖像、聲音信息的管理和迅速搜索提供了可行性,這是基于塊的編碼體系所遠遠不能比擬的。
然而,視頻對象分割本身就是一個多義、病態的問題,涉及對視頻內容的分析和理解,計算機還不具有觀察、識別、理解圖像的能力;同時關于計算機視覺的研究也表明要實現正確的圖像分割需要在更高層次上對視頻內容進行理解。視頻壓縮中,當然可以運動幀間冗余信息加速對象分割,但對于復雜的運動物體還是困難重重。比如,行進的人,手、腿、身體運動趨勢各不相同,甚至還可能伴隨面部表情,如何有效的提取一個人體對象出來?如果不考慮整體,只根據運動信息獲取局部的甚至沒有實際意義的對象,這樣的分割對于交互、對于圖像檢索又有什么意義?如果要在編解碼段建立對象模型,這樣的模型又怎能保證適合千差萬別的實際序列?
因此,盡管MPEG-4 框架已經制定,但至今仍沒有通用的有效方法根本解決視頻對象分割問題,視頻對象分割被認為是一個具有挑戰性的難題,基于語義的分割則更加困難。
另:(以下純屬個人理解)
1、??mpeg4引入了對象,就增加了形狀編碼,也即對象的實現是犧牲碼流為代價的。
2、??mpeg4中的運動補償、變換、量化、熵編碼,還是以塊為單元,也就是mpeg4還不是完全意義上的對象編碼。
3、??目前對象編碼只適用于特定的有先驗知識的場合,比如交通管理、安防系統、視頻會議等。
小波編碼體系
見我另一篇文章《小波在圖像視頻壓縮領域中的應用分析》
分布式編碼體系
記得原先有網友問過這方面的問題,我居然回答成了分布式視頻點播方面的內容,誤人子弟,慚愧慚愧。
前述的編碼體系,都在編碼端充分利用了運動估計和運動補償技術消除時間冗余,而運動估計模塊是非常耗時的,也是編碼器實現的瓶頸之一^_^。而分布式編碼將運動估計模塊從編碼器中抹去了,放在了解碼端!!!
分布式編碼中也有I、P、B幀,這里只試舉I、P幀做簡單說明。I幀和H.26x、Mpeg系列的規定沒什么區別,都是消除空域冗余。而對于P幀,由于編碼端沒有運動估計和運動補償,所以P幀信息也只用到了幀內壓縮方式,而且此時只傳輸了圖像的基本輪廓信息(主要是高頻和部分低頻)。在解碼端,參考I幀進行運動估計和運動補償,結合P幀信息就得到了重構圖像。
分布式編碼體系的優點:編碼器較為簡單,為移動視頻設備更有效地集成到現有的網絡中提供了條件。
缺點也是顯而易見的:1、編碼端沒用到運動補償,壓縮效率遠不及傳統的編碼方式(雖然理論證明可以無限逼近)。2、編碼端沒有重建路徑,錯誤擴散嚴重,I幀的間隔必須比較小。
注:
以上只是我個人的理解,可能劃分并不確切,或者漏掉了某些編碼體系。各編碼體系并不是相互獨立的。比如小波編碼體系可以用到對象的概念,分布式也可以用到小波變換……