一、主要特性

1、H.264/AVC相對以前的編碼方法，以MPEG-2為例，在圖像內容預測方面提高編碼效率，改善圖像質量的主要特點如下：

● 可變塊大小運動補償： 選擇運動補償大小和形狀比以前的標準更靈活，最小的亮度運動補償塊可以小到4×4。

●1/4采樣精度運動補償：以前的標準最多1/2精度運動補償，首次1/4采樣精度運動補償出現在MPEG-4第二部分高級類部分，但H.264/AVC大大減少了內插處理的復雜度。

●運動矢量可跨越圖像邊界：在以前的標準中，運動矢量限制在已編碼參考圖像的內部。圖像邊界外推法作為可選技術首次出現在H.263中。

●多參考圖像運動補償：在MPEG-2及以前的標準中，P幀只使用一幀，B幀只使用兩幀圖像進行預測。H.264/AVC使用高級圖像選擇技術，可以用以前已編碼過且保留在緩沖區的大量的圖像進行預測，大大提高了編碼效率。

●消除參考圖像順序和顯示圖像順序的相關性：在以前的標準中，參考圖像順序依賴顯示圖像順序，H.264/AVC消除了該限制，可以任意選擇。

● 消除參考圖像與圖像表示方法的限制：在以前的標準中，B幀圖像不能作為預測圖像，H.264/AVC在很多情況可以利用B幀圖像作為參考。

● 加權預測：H.264/AVC采用新技術，允許加權運動補償預測和偏移一定量。在淡入淡出場景中該技術極大提高編碼效率，該技術還可用于其他多種用途。

● 改善“跳過”和“直接”運動推測：在以前的標準中，預測編碼圖像的“跳過”區不能有運動。當編碼有全局運動的圖像時，該限制非常有害。H.264/AVC對“跳過”區的運動采用推測方法。對雙預測的B幀圖像，采用高級運動預測方法，稱為“直接”運動補償，進一步改善編碼效率。

● 幀內編碼直接空間預測：將編碼圖像邊沿進行外推應用到當前幀內編碼圖像的預測。

● 循環去塊效應濾波器：基于塊的視頻編碼在圖像中存在塊效應，主要來源于預測和殘余編碼。自適應去塊效應濾波技術是非常著名的技術，能有效消除塊效應，改善視頻的主觀和客觀質量。

2、除改善預測方法外，其他改善編碼效率的特性如下：

● 小塊變換：以前的標準變換的塊都是8×8，H.264/AVC主要使用4×4塊變換，使編碼器表示信號局部適應性更好，更適合預測編碼，減少“鈴”效應。另外圖像邊界需要小塊變換。

● 分級塊變換：H.264/AVC通常使用小塊變換，但有些信號包含足夠的相關性，要求以大塊表示，H.264/AVC有兩種方式實現。低頻色度信號可用8×8，；對幀內編碼，可使用特別的編碼類型，低頻亮度信號可用16×16塊。

● 短字長變換： 所有以前標準使用的變換要求32位運算，H.264/AVC只使用16位運算。

● 完全匹配反變換：所有以前標準反變換和變換之間存在一定容限的誤差，因此，每個解碼器輸出視頻信號都不相同，產生小的漂移，最終影響圖像的質量，H.264/AVC實現了完全匹配。

● 基于上下文的熵編碼：H.264/AVC使用兩種熵編碼方法，CAVLC（上下文自適應的可變長編碼）和CABAC（上下文自適應二進制算術編碼），兩種都是基于上下文的熵編碼技術。

3、H.264/AVC具有強大的糾錯功能和各種網絡環境操作靈活性，主要特性如下：

● 參數集結構：H.264/AVC參數集結構設計了強大、有效的傳輸頭部信息。在以前的標準中，如果少數幾位關鍵信息丟失，可能解碼器產生嚴重解碼錯誤。H.264/AVC采用很靈活、特殊的方式，分開處理關鍵信息，能在各種環境下可*傳送。

● NAL單元語法結構：H.264/AVC中的每一個語法結構放置在稱為NAL的單元中，以前的標準采用強制性特定的位流接口。NAL單元語法結構允許很自由的客戶化，幾乎適合所有的網絡接口。

● 靈活的像條大小：在MPEG-2中，規定了嚴格的像條結構，頭部數據量大，降低預測效率，編碼效率低。在H.264/AVC可采用非常靈活的像條大小。

● 靈活宏塊排序（FMO）：H.264/AVC可以將圖像劃分為像條組，又稱為圖像區，每個像條可以獨立解碼。FMO通過管理圖像區之間的關系，具有很強的抗數據丟失能力。

● 任意像條排序：因為每個像條幾乎可以獨立解碼，所以像條可以按任意順序發送和接收，在實時應用中，可以改善端到端的延時特性，特別適合于接收順序和發送順序不能對應的網絡中，如使用INTERNET網絡協議的應用。

● 冗余圖像：為提高抗數據丟失的能力，H.264/AVC設計中包含一種新的能力，允許編碼器發送圖像區的冗余表示，當圖像區的主表示丟失時仍可以正確解碼。

● 數據劃分：視頻流中的編碼信息的重要性不同，有些信息（如運動矢量、預測信息等）比其他信息更為重要。H.264/AVC可以根據每個像條語法元素的范疇，將像條語法劃分為3部分，分開傳送。

二、網絡層

NAL規范視頻數據的格式，主要是提供頭部信息，以適合各種媒體的傳輸和存儲。NAL支持各種網絡，包括：

● 任何使用RTP/IP協議的實時有線和無線Internet 服務。

● 作為MP4文件存儲和多媒體信息文件服務。

● MPEG-2系統。

● 其他網。

1、NAL 單元

編碼的視頻流組織成NAL單元，視頻數據放置在網絡單元中傳輸，每個網絡單元包含整數個字節，第一個字節是頭部信息，指示NAL單元的數據類型，其余是凈荷。

凈荷數據與仿真預防字節做交織處理，仿真預防字節是特殊值字節，防止偶然在凈荷中出現同步字節圖樣。

NAL規定一種通用的格式，既適合面向包傳輸，也適合流傳送。實際上，包傳輸和流傳輸的方式是相同的，不同之處是流傳輸前面增加了一個起始碼前綴。

2、NAL單元在字節流中的應用

類似H.320和MPEG-2/H.222.0等傳輸系統，傳輸NAL作為有序連續字節或比特流，同時要依*數據本身識別NAL單元邊界。在這樣的應用系統中，H.264/AVC規范定義了字節流格式，每個NAL單元前面增加3個字節的前綴，即同步字節。在比特流應用中，每個圖像需要增加一個附加字節作為邊界定位。還有一種可選特性，在字節流中增加附加數據，用做擴充發送數據量，能實現快速邊界定位，恢復同步。

3、NAL單元在面向包傳送中的應用

在類似Internet/RTP面向包傳送協議系統中，包結構中包含包邊界識別字節，在這種情況下，不需要同步字節。

4、VCL和非VCL的NAL單元

NAL單元分為VCL和非VCL兩種，VCL NAL單元包含視頻圖像采樣信息，非VCL包含各種有關的附加信息，例如參數集（頭部信息，應用到大量的VCL NAL單元）、提高性能的附加信息、定時信息等。

5、參數集

參數集是很少變化的信息，用于大量VCL NAL單元的解碼，分為兩種類型：

● 序列參數集，作用于一串連續的視頻圖像，即視頻序列。

● 圖像參數集，作用于視頻序列中的一個或多個個別的圖像。

序列和圖像參數集機制，減少了重復參數的傳送，每個VCL NAL單元包含一個標識，指向有關的圖像參數集，每個圖像參數集包含一個標識，指向有關的序列參數集的內容，因此，只用少數的指針信息，引用大量的參數，大大減少每個VCL NAL單元重復傳送的信息。

序列和圖像參數集可以在發送VCL NAL單元以前發送，并且重復傳送，大大提高糾錯能力。序列和圖像參數集可以在“帶內”，也可以用更為可*的其他“帶外”通道傳送。

6、存儲單元

一組指定格式的NAL單元稱為存儲單元，每個存儲單元對應一個圖像。每個存儲單元包含一組VCL NAL單元，組成一個主編碼圖像，VCL NAL單元由表示視頻圖像采樣的像條所組成。存儲單元前面可以加一個前綴，分界存儲單元，附加增強信息（SEI）（如圖像定時信息）也可以放在主編碼圖像的前面。

主編碼圖像后附加的VCL NAL單元，包含同一圖像的冗余表示，稱為冗余編碼圖像，當主編碼圖像數據丟失或損壞時，可用冗余編碼圖像解碼。

7、編碼視頻序列

一個編碼視頻序列由一串連續的存儲單元組成，使用同一序列參數集。每個視頻序列可獨立解碼。編碼序列的開始是即時刷新存儲單元（IDR）。IDR是一個I幀圖像，表示后面的圖像不用參考以前的圖像。一個NAL單元流可包含一個或更多的編碼視頻序列。

三、視頻編碼層

視頻編碼層在原理上與MPEG2是一致的，采用變換編碼，使用空間和時間預測的混合編碼。圖1是一個宏塊的視頻編碼層的框圖。總之圖像劃分成塊，一個序列的第一個圖像，即隨機存取點，典型是幀內編碼，幀內每個采樣的預測只利用幀內已編碼的空間相鄰的采樣，選擇哪些相鄰采樣進行預測，以及如何預測，這些附加信息必須同時被傳送到解碼器同步處理。隨機存取點之間的圖像使用幀間編碼。

為了實現下一塊或下一個圖像的預測，編碼器包含一個解碼器，對量化變換系數進行與解碼器解碼相同的反量化和反變換過程，導出解碼預測殘余，解碼殘余與預測相加，結果送到去塊效應濾波器，產生解碼視頻輸出。

1、圖像、幀和場

一個編碼視頻序列由連續的編碼圖像組成，編碼圖像可以是整個一幀圖像，也可以是一場圖像。H.264/AVC編碼是基于幾何概念的表示方法，而不是基于定時的概念。

2、YcbCr色度空間和4:2:0采樣

人的視覺特性按照亮度和色度信息分別感知世界。視頻的傳輸可以利用該特性減少色度信息傳送。H.264/AVC目前采用與MPEG-2主類相同的4:2:0采樣結構、8比特精度，高精度顏色和高比特精度的建議正在討論中。

3、宏塊劃分

每個視頻圖像幀或場都可以劃分為固定大小的宏塊，宏塊是解碼的基本模塊單元，通常是一個16×16亮度像素和兩個8×8彩色分量像素的長方型區域。所有宏塊的亮度和色度采樣在空間或時間上進行預測，對預測殘余進行變換編碼。

4、像條和像條組

像條由宏塊組成，像條是圖像的子集，包含圖像參數集，語法元素可以被分析，圖像可以被獨立解碼。按照宏塊映射表規定的順序，在位流中安排宏塊的傳輸順序，而不是按光柵掃描順序。

利用像條組的概念，H.264/AVC支持靈活宏塊排序特性（FMO）。FMO改變了圖像劃分為像條和宏塊的方式。每個像條組是多個宏塊集合，通過宏塊到像條組的影射表定義，該影射表在圖像參數集中指定。每個宏塊有一個像條組標識號，所有像條組標識號構成宏塊到像條組影射表。每個像條組由一個或多個像條組成，因此像條是一個宏塊序列，同一像條組中的宏塊，按光柵順序處理。

利用FMO，圖像可以劃分為許多宏塊掃描圖樣，例如交織圖樣、點綴圖樣，一個或多個前景像條組、剩余像條組，或棋盤型圖樣影射等。每個像條組分別傳送，后兩種如圖2所示，左邊宏塊到像條組的影射證明在關注局部型的編碼應用中非常有用。右邊宏塊到像條組的影射證明適合保密型會議系統等應用。

無論是否使用FMO，H.264/AVC支持5種像條編碼類型：

I像條：最簡單的編碼類型，所有的宏塊不參考視頻序列中其他的圖像。

P像條：除了I像條編碼類型外，P像條的部分宏塊可以利用幀間預測，每個預測塊至多可使用一個運動補償預測信號。

B像條：除了P像條編碼類型外，B像條的部分宏塊可以利用幀間預測，每個預測塊可使用兩個運動補償預測信號。

以上三種與以前的標準相似，主要是參考圖像不同，其余兩種像條類型是SP（切換P）SI（切換I），是新的類型，用于在不同位率編碼碼流之間進行有效切換。

SP像條： 稱作切換P像條，能在不同編碼圖像之間有效地切換。

SI像條：稱作切換I像條，允許SP像條的宏塊完全匹配，達到隨機讀取數據進行解碼和恢復錯誤的目的。

5. 宏塊的編解碼過程

所有宏塊的亮度和色度采樣要進行空間或時間的預測，對預測的殘余進行變換編碼，為了實現變換編碼，每個顏色分量的預測殘余要再劃分為更小的4×4塊，每塊利用整數變換，變換系數被量化，最后是熵編碼。

如圖1所示，一個宏塊視頻編碼層的方框圖，輸入的視頻信號劃分為宏塊，映射宏塊和像條組的關系，逐個選擇像條，處理像條中每個宏塊。

6、自適應幀/場編碼操作

在隔行掃描幀中，當有移動的對象或攝像機移動時，與逐行相比，兩個相鄰行傾向減少統計的相關性，這種情況應比每場分別壓縮更為有效。為了達到高效率，H.264/AVC在編碼幀時，有以下可選方案：

● 結合兩場成一個完整幀，作為幀編碼，稱為幀模式。

● 兩場分別編碼，稱為場模式。

● 結合兩場成一個完整幀，作為幀壓縮。在編碼時，劃分垂直相鄰的兩個宏塊對成兩個場宏塊對或幀宏塊，再進行編碼。

每幀圖像可自適應選擇3種模式之一進行編碼。在前兩種之間進行選擇稱為圖像自適應幀/場編碼（PAFF），當一幀作為兩場編碼時，每場劃分為宏塊，編碼方式與幀編碼方式很相似，主要有下面的例外：

● 運動補償用參考場，而不是參考幀。

● 變換系數的“之字型”掃描方式不同。

● 宏塊水平邊沿去塊濾波器的強度不選用“強”，因為場行在空間上是兩倍幀行的距離。

在研制H.264/AVC標準時，據報道，采用ITU-601分辨率，PAFF編碼技術與幀編碼相比可減少碼率16%到20%。

如果圖像由運動區和非運動區混合組成，非運動區用幀模式、運動區用場模式是最有效的編碼方法。因此每個垂直宏塊對（16×32）可獨立選擇編碼（幀/場）模式。這種編碼選擇稱為宏塊自適應幀/場編碼（MBAFF）。對于幀模式宏塊對，每個宏塊包含幀行，對于場模式宏塊對，頂部宏塊包含頂場行，底部宏塊包含底場行。

處理場宏塊對的每個宏塊與幀PAFF模式相似，然而，因為在MBAFF幀中發生場/幀宏塊對混合，需要修改用作下列用途的方法：

● 之字型掃描。

● 運動矢量預測。

● 幀內預測模式的預測。

● 幀內預測幀采樣精度。

● 去塊效應濾波器。

● 上下文模型的熵編碼。

主要思想是盡可能保留多的空間一致性，MBAFF幀的空間相鄰的規范相當復雜，下面講到的空間相鄰都是指非MBAFF幀。

MBAFF 和PAFF的另一個重要區別是：使用MBAFF方法，一個場不能使用同一幀的另一個場中的宏塊作為運動補償參考。這樣，有時PAFF比MBAFF編碼更有效，特別是在快速全局運動、變換場景、圖像刷新等情況下。

在開發MBAFF標準期間，據報道，采用ITU-601分辨率，MBAFF編碼技術比PAFF相比可減少碼率14%到16%。

7、幀內預測

根據像條編碼類型，每個宏塊可以選擇幾種編碼類型之一。所有像條類型支持兩級幀內編碼，稱為INTRA-4×4和 INTRA-16×16。

INTRA-4×4模式基于分別預測每個4×4亮度塊，適合表現圖像細節部分。而INTRA-16×16模式將整個16×16亮度塊進行預測，適合平滑圖像區。此外對這兩種亮度預測類型，色度單獨進行預測。作為INTRA-4×4和INTRA-16×16的另一種選擇，I_PCM編碼類型允許編碼器簡單跳過預測和變換編碼過程，直接發送采樣值。I_PCM允許編碼器精確地表示采樣，通常表示一些反常圖像，而沒有明顯增加數據量。

8、幀間預測

● p像條幀間預測

除了幀內宏塊編碼類型外，P像條宏塊使用多種預測類型，即運動補償編碼類型。為了方便運動描述，每個P型宏塊對應于指定的固定大小的宏塊劃分。亮度塊的劃分大小為：16×16、16×8、8×16、8×8。

語法允許運動矢量跨越圖像邊界，這種情況參考幀需用外插法推算出圖像外的采樣值。利用鄰近塊的平均或方向預測，用差分編碼計算運動矢量。

語法支持多圖像運動補償預測，以前編碼的多個圖像都可用作運動補償參考，每個運動補償需要指示參考圖像的索引。一個8×8塊劃分成的小于8×8塊的運動補償使用同一參考圖像索引，該功能要求編碼和解碼器具有多幀圖像緩沖器，解碼器通過位流中的管理控制操作信息與編碼器同步。

除了運動補償宏塊模式外，P宏塊可使用P_Skip模式，這種模式沒有量化預測誤差、不用傳送運動矢量和參考索引參數。信號重建與P_16×16宏塊類型預測信號類似，采用多幀緩沖區索引0的圖像作為參考圖像。重建P_Skip宏塊的運動矢量與16×16塊運動矢量預測類似。P_Skip編碼類型適合沒有變化或固定運動的區域，如搖鏡頭等，有極高的壓縮率。

● B像條的幀間預測

B像條相對P像條的概念與以前的標準類似，但有些不同，B像條可以作為運動補償預測的參考圖像，B像條可以對兩個補償預測值進行加權運算。

9、變換和量化

與以前的視頻編碼標準類似，H.264/AVC利用預測殘余變換編碼。然而，H.264/AVC變換施加4×4塊上，不用離散余弦變換（DCT），采用與離散余弦變換相似特性的整數變換。因為使用整數運算，所以反變換沒有誤差。

10、熵編碼

H.264/AVC支持兩種熵編碼方法，最簡單的熵編碼方法是：對所有的語法元素，除了量化系數外，使用單一無限可擴展的碼字表。這樣不必為每個語法元素設計一個專用的VLC表，只需要按照數據的統計特性，客戶化影射到單一碼字表。使用exp-Golomb碼建立單一碼表，具有很簡單、有規則的解碼特性。

為了有效傳送量化的變換系數，CAVLC（上下文自適應的可變長編碼）是很有效的方法。在該方案中，對于各種語法元素的VLC碼表按照已傳送的語法元素可以進行切換。因為VLC表設計匹配相應的條件統計，改善了熵編碼的性能。

在H.264/AVC中的算術編碼引擎，與概率相關的估計等都不使用乘法操作，而是使用簡單的移位和查找操作，與CAVLC操作相比，CABAC典型減少碼率5%～15%。在隔行掃描視頻，效果更明顯。

11、去塊循環濾波器

基于塊編碼的壓縮算法的特點是偶爾產生可見的塊結構，由于塊邊沿的精度比內部差，塊效應是目前壓縮算法的常見人工瑕疵。H.264/AVC定義了一個自適應循環濾波器，濾波的強度通過幾個語法元素控制。

濾波的基本思想是：如果塊邊沿的絕對差值相對比較大，出現塊人工瑕疵的可能性就很大，因此需要進行相應處理。然而，如果差值幅度很大，編碼量化過程的誤差不能解釋，邊沿很可能反映了源圖像的實際樣值，不需處理。

經過濾波處理，減少了塊效應，而圖像的質量基本不受影響，因此主觀質量大大改善。如果不濾波，同樣的主觀質量，需要多出5%~10%的碼率。圖3說明了塊濾波器的效果。

12、假想參考解碼器模型

標準的好處在于保證所有符合標準的解碼器能夠解碼出一致的視頻質量。要實現標準，僅僅提供編碼算法的描述是不夠的，在實時系統中，指定如何饋送碼流比特給解碼器，解碼的圖像如何移出解碼器等都是很重要的。要實現該功能，必須指定輸入/出緩沖器模型和開發與實現無關的接收機模型。這樣的接收機模型稱為假想參考模型（HRD）。編碼器不允許產生假想參考模型不能解碼的位流。因此如果所有接收機都模擬假想參考模型的行為，可以保證所有解碼器解出的碼流具有很好的一致性。

四、類和級及其應用

1、類和級

類和級指定符合點，這些符合點用于實現各種標準應用之間的互操作性。類定義一組編碼工具和算法，用于產生一致性的比特流，級限定比特流的部分關鍵參數。

所有的解碼器符合指定的類必須支持該類定義的所有特性，編碼器不必要求使用該類支持的任何特定的特性集，但必須提供一致性的比特流，即使支持該類的解碼器能實現解碼。

H.264/AVC定義了3類：基類、主類和擴展類。

基類支持除下面兩組特性外的所有的H.264/AVC特性：

（1）B像條、加權預測、CABAC、場編碼、圖像或宏塊在幀場編碼之間自適應切換。

（2） PI/SI像條和像條數據分割。

主類支持第一組特性，但主類不支持FMO、ASO和冗余圖像特性，擴展類支持除CABAC外所有H.264/AVC特性，序列參數中包含了一些標志指示解碼該碼流要求解碼器支持的類。

在H.264/AVC，所有類使用相同的級定義，但個別實現時，可能每個支持的類支持的級不完全相同。H.264/AVC定義了15個級。

2、新標準類的使用領域

?? MPEG-4的編碼理念是：MPEG-4標準同以前標準的最顯著的差別在于它是采用基于對象的編碼理念，即在編碼時將一幅景物分成若干在時間和空間上相互聯系的視頻音頻對象，分別編碼后，再經過復用傳輸到接收端，然后再對不同的對象分別解碼，從而組合成所需要的視頻和音頻。這樣既方便我們對不同的對象采用不同的編碼方法和表示方法，又有利于不同數據類型間的融合，并且這樣也可以方便的實現對于各種對象的操作及編輯。例如，我們可以將一個卡通人物放在真實的場景中，或者將真人置于一個虛擬的演播室里，還可以在互聯網上方便的實現交互，根據自己的需要有選擇的組合各種視頻音頻以及圖形文本對象。
??
?? MPEG-4系統的一般框架是：對自然或合成的視聽內容的表示；對視聽內容數據流的管理，如多點、同步、緩沖管理等；對靈活性的支持和對系統不同部分的配置。
??
?? 與MPEG-1、MPEG-2相比，MPEG-4具有如下獨特的優點：
??
?? （1） 基于內容的交互性
??
?? MPEG-4提供了基于內容的多媒體數據訪問工具，如索引、超級鏈接、上下載、刪除等。利用這些工具，用戶可以方便地從多媒體數據庫中有選擇地獲取自己所需的與對象有關的內容，并提供了內容的操作和位流編輯功能，可應用于交互式家庭購物，淡入淡出的數字化效果等。MPEG-4提供了高效的自然或合成的多媒體數據編碼方法。它可以把自然場景或對象組合起來成為合成的多媒體數據。
??
?? （2）高效的壓縮性
??
?? MPEG-4基于更高的編碼效率。同已有的或即將形成的其它標準相比，在相同的比特率下，它基于更高的視覺聽覺質量，這就使得在低帶寬的信道上傳送視頻、音頻成為可能。同時MPEG-4還能對同時發生的數據流進行編碼。一個場景的多視角或多聲道數據流可以高效、同步地合成為最終數據流。這可用于虛擬三維游戲、三維電影、飛行仿真練習等
??
?? （3）通用的訪問性
??
?? MPEG-4提供了易出錯環境的魯棒性，來保證其在許多無線和有線網絡以及存儲介質中的應用，此外，MPEG-4還支持基于內容的的可分級性，即把內容、質量、復雜性分成許多小塊來滿足不同用戶的不同需求，支持具有不同帶寬，不同存儲容量的傳輸信道和接收端。
??
?? 這些特點無疑會加速多媒體應用的發展，從中受益的應用領域有：因特網多媒體應用；廣播電視；交互式視頻游戲；實時可視通信；交互式存儲媒體應用；演播室技術及電視后期制作；采用面部動畫技術的虛擬會議；多媒體郵件；移動通信條件下的多媒體應用；遠程視頻監控；通過ATM網絡等進行的遠程數據庫業務等。MPEG-4主要應用如下：
??
?? （1）應用于因特網視音頻廣播
??
?? 由于上網人數與日俱增，傳統電視廣播的觀眾逐漸減少，隨之而來的便是廣告收入的減少，所以現在的固定式電視廣播最終將轉向基于TCP/IP的因特網廣播，觀眾的收看方式也由簡單的遙控器選擇頻道轉為網上視頻點播。視頻點播的概念不是先把節目下載到硬盤，然后再播放，而是流媒體視頻（streaming video），點擊即觀看，邊傳輸邊播放。
??
?? 現在因特網中播放視音頻的有：Real Networks公司的 Real Media，微軟公司的 Windows Media，蘋果公司的 QuickTime，它們定義的視音頻格式互不兼容，有可能導致媒體流中難以控制的混亂，而MPEG-4為因特網視頻應用提供了一系列的標準工具，使視音頻碼流具有規范一致性。因此在因特網播放視音頻采用MPEG-4，應該說是一個安全的選擇。
??
?? （2）應用于無線通信
??
?? MPEG-4高效的碼率壓縮，交互和分級特性尤其適合于在窄帶移動網上實現多媒體通信，未來的手機將變成多媒體移動接收機，不僅可以打移動電視電話、移動上網，還可以移動接收多媒體廣播和收看電視。
??
?? （3）應用于靜止圖像壓縮
??
?? 靜止圖像（圖片）在因特網中大量使用，現在網上的圖片壓縮多采用JPEG技術。MPEG-4中的靜止圖像（紋理）壓縮是基于小波變換的，在同樣質量條件下，壓縮后的文件大小約是JPEG壓縮文件的十分之一。把因特網上使用的JPEG圖片轉換成MPEG-4格式，可以大幅度提高圖片在網絡中的傳輸速度。
??
?? （4）應用于電視電話
??
?? 傳統用于窄帶電視電話業務的壓縮編碼標準，如H261，采用幀內壓縮、幀間壓縮、減少象素和抽幀等辦法來降低碼率，但編碼效率和圖像質量都難以令人滿意。MPEG-4的壓縮編碼可以做到以極低碼率傳送質量可以接受的聲像信號，使電視電話業務可以在窄帶的公用電話網上實現。
??
?? （5）應用于計算機圖形、動畫與仿真
??
?? MPEG-4特殊的編碼方式和強大的交互能力，使得基于MPEG-4的計算機圖形和動畫可以從各種來源的多媒體數據庫中獲取素材，并實時組合出所需要的結果。因而未來的計算機圖形可以在MPEG-4語法所允許的范圍內向所希望的方向無限發展，產生出今天無法想象的動畫及仿真效果。
??
?? （6）應用于電子游戲
??
?? MPEG-4可以進行自然圖像與聲音同人工合成的圖像與聲音的混合編碼，在編碼方式上具有前所未有的靈活性，并且能及時從各種來源的多媒體數據庫中調用素材。這可以在將來產生象電影一樣的電子游戲，實現極高自由度的交互式操作。

H.264/AVC的高壓縮效率，擴充了現有的應用領域，至少包含以下領域：

（1）交互視頻服務，通常速率1Mbps以下，低延遲。ITU-T SG16正在修改有關系統建議，IETF正在設計RTP凈荷打包器，以支持H.264/AVC在交互視頻方面的應用。近期主要利用基類，然后過渡到另兩類。主要應用如下：

H.320 交互式視頻服務，利用基于ISDN視頻會議的電路交換；

3 GPP交互式H.324/M服務；

H.323交互式視頻服務，基于INTERNET，利用IP/RTP協議。

（2）娛樂視頻應用，1Mbps～8Mbps碼率，0.5 到2秒中等時延。H.222.0|MPEG-2正在被修改以支持這方面的應用，這些應用主要利用主類，主要應用如下：

有線、衛星、地面、DSL等廣播電視；

標清和高清DVD；

通過各種媒體的視頻點播。

（3）流媒體服務，典型50kbps到1.5Mbps，2秒以上的時延，這些應用主要利用基類或擴展類。有線或無線使用情況有所不同，主要應用如下：

3GPP 流， 利用IP/RTP傳輸，RTSP作會話設置，3GPP規范的擴充部分可能僅使用基類；

有線INTERNET 流，利用IP/RTP傳輸，RTSP作會話設置。

（4）其他服務，主要是低碼率，以文件傳送方式，不考慮時延，根據不同應用，可能用到3類，主要應用如下：

3GPP 多媒體信息服務；

視頻郵件。

六、結論

H.264代表了當前業界最先進的視頻壓縮技術，且具有以下無可比擬的優越性。

1、碼率低：和MPEG-2等壓縮技術相比，在同等圖像質量下，采用H.264技術壓縮后的數據量只有MPEG-2的1/2~1/3。顯然，H.264壓縮技術的采用將大大節省用戶的下載時間和數據流量收費。

2、圖像質量高：H.264能提供連續、流暢的高質量圖像。

3、容錯能力強：H.264提供了解決在不穩定網絡環境下容易發生的丟包等錯誤的必要工具。

4、網絡適應性強：H.264提供了網絡適應層， 使得H.264的文件能容易地在不同網絡上傳輸。

H.264超越以往的視頻編解碼標準，成為各個廠商競爭的焦點。目前，各主流廠商紛紛宣布，已經或將在明年推出產品化的H.264。在視頻廣播領域，美國哈雷公司宣布其產品MV100編碼器可以支持H.264協議，哈雷原來的MPEG-2編碼器MV100硬件平臺已經兼容H.264能力，只需從軟件升級即可。在歐洲，有兩個用戶已經選用了此種編碼器。其中一個是法國的衛星及直播星運營商CanalSatellite，它采用哈雷高性能的數字前端系統在ADSL上傳輸視頻業務，MV100超低碼率編碼能力可以實現在多種電信網上傳輸廣播級視頻節目。另外是第一個即將投入正式商業運營的英國Video network limited。

MPEG-4標準

運動圖像專家組MPEG 于1999年2月正式公布了MPEG-4（ISO/IEC14496）標準第一版本。同年年底MPEG-4第二版亦告底定，且于2000年年初正式成為國際標準。
??
?? MPEG-4與MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具體壓縮算法，它是針對數字電視、交互式繪圖應用（影音合成內容）、交互式多媒體（WWW、資料擷取與分散）等整合及壓縮技術的需求而制定的國際標準。MPEG-4標準將眾多的多媒體應用集成于一個完整的框架內，旨在為多媒體通信及應用環境提供標準的算法及工具，從而建立起一種能被多媒體傳輸、存儲、檢索等應用領域普遍采用的統一數據格式。