一 基礎篇 1.1 圖形、圖像和視頻圖形（graphic）：和圖像與視頻不同，有一種說法是圖形就是自然界的客觀世界不存在的圖案。對于計算機中的圖形研究，有專門的計算機圖形學，主要的 研究對象是點、線、面等抽象事物。目前所謂的計算機顯卡3D技術支持，主要就是圖形技術相關的范疇。關于圖形方面的開發，好象OpenGL是其中比較有名 的3D圖形庫。 圖像（image）：和圖形相反，圖像可以定位為自然界中客觀存在的圖案。圖像處理和我們有關系的大致是圖像濾波處理和圖像壓縮。目前用得最多的靜止圖像 壓縮算法就是jpeg了，大家應該都很熟悉。而對圖像的其他處理，一般稱之為對圖像進行濾波，圖像處理方面，photoshop軟件很多人應該都很熟悉， 它圖像處理的功能十分強大。在視頻行業，主要是關注消隔行濾波器、去除攝像頭白噪聲濾波器、去除塊效應（deblock）濾波器等。 視頻（video）：視頻我的理解就是連續的圖像，被稱為視頻。對視頻圖像的處理，核心是壓縮，其他的就是采集、傳輸、顯示和錄像了。視頻圖像如果不壓縮的話，傳輸和錄像的成本都太高了。 1.2 視頻的采集、壓縮、傳輸、解碼顯示和存儲視頻采集最重要的設備就是攝像頭了，它將自然界中的客觀場景轉化為模擬的電信號輸出。如果是數字視頻應用系統，還需要專門的設備或者器件完成圖像信號的模 擬到數字轉換，這也是攝像頭很難直接接入PC機的原因。早期的接入方式是通過PC上用戶自己配的采集卡來完成，這種方式現在也有，現在有專門通過USB接 口接入PC機的USB攝像頭，它是在攝像頭內完成了模擬到數字的轉換，輸出數字信號到USB接口。視頻的壓縮是視頻處理的核心，按照是否實時性可以分為非實時壓縮和實時壓縮。實時性與否，區別其實很大，一般來說，制作DVD等影片可以算作非實時性壓 縮，此時，算法的選擇應該是要提高壓縮算法效率，而不是性能，因為，即使一天完成一部影片的壓縮的話，大多數時候，問題可能也不大。而對于類似網上直播這 樣的應用，則屬于實時性壓縮應用了，此時在算法選擇上，算法的性能可能是第一位的。目前看，實時性壓縮的應用更廣泛些。關于視頻壓縮部分，詳細的介紹我們 放在后面的章節進行介紹。視頻的傳輸分為兩種，一種是模擬視頻的傳輸，也就是攝像頭電信號進行遠距離傳輸，這種主要是在傳統的視頻監控系統中應用，它的成本比較高，傳輸距離也有限 制，而且隨著距離的增大，會出現信號衰減和信道噪聲等問題；另一種傳輸是和互聯網技術結合起來，先把數字視頻信號壓縮后得到碼流數據，然后通過網絡傳輸到 遠端。隨著互聯網的高速發展，后一種應用方式越來越普遍，最早期應該算是視頻會議系統，現在的應用就更多了，最新的比如手機上網觀看視頻等。其實，抽象 看，互聯網它其實就是一個信息平臺，而在這個信息平臺上，傳輸的信息相當大比例就是多媒體數據。可以想象，今后隨著互聯網帶寬的不斷提高，視頻的應用將越 來越廣。對于互聯網傳輸過來的視頻信息，首先是要進行解碼，然后才是顯示。解碼的芯片有一定的性能要求，比編碼器低些，但是畢竟是視頻數據處理，通用的芯片（不支 持MMX等多媒體指令）可能會比較吃力。顯示設備主要有電視、監視器和顯示器，他們的信號接口是不一樣的，電視監視器是模擬的電信號，顯示器的輸入應該是 數字信號。另外多說一句，現在的顯卡似乎普遍支持電視輸出。 1.3 視頻相關行業介紹以視頻技術為基礎，結合其他領域的技術突破，滿足了人們各種各樣的需求，形成了很多視頻相關的行業。這些行業之中，我們來了解一下如下四個方向。 1.3.1 多媒體消費類應用多媒體消費類應用在技術上主要是視頻壓縮技術和媒體存儲技術的結合，主要的產品形式是VCD（早期）和DVD，偏向消費類的家庭應用。這幾年隨著DVD光 驅的普及，在PC上觀看DVD也逐步流行起來。該行業的視頻壓縮屬于非實時壓縮，追求的是高清晰度，一般的分辨率都是D1（720*576），而且，它的 音頻品質也要求很高，采樣頻率和采樣精度都非常高。DVD的視頻壓縮算法是mpeg-2，而它的音頻是LPCM、DOLBYAC3、mp3或者aac。 DVD的存儲技術表現形態就是DVD光盤，目前市面上常用的DVD光盤最大容量可達4.7GB。目前DVD技術最發達的是日本，他們的專利最多，技術也最領先，基本上處于壟斷地位了。中國也有自己的DVD標準，叫做EVD，這個公司很久前就在努力的推廣他們的標準了，不過客觀的評價，進展不能算很樂觀，還需要努力。多媒體技術在家庭中的應用，這幾年也出現了一些很好的亮點，比如家用電視支持網絡和媒體功能、電視支持錄像功能等，不過總體評價，這些都還遠遠沒有普及，還需要進一步發展。個人更看好以機頂盒這樣的方式來滿足多媒體需求。 1.3.2 視頻會議視頻會議可以說是視頻技術應用最古老的行業了，之所以這么說，是因為第一個視頻壓縮標準H.261就是為了視頻會議而制定的。視頻會議行業是實時音視頻壓縮技術和網絡通信技術結合的產物。目前視頻會議系統的發展，除了滿足人們基本的語音和圖像信息交流外，還包括了強大的數據信息共享、開展協同工作等功能。視頻會議系統主要包括的產品有：語音輸入輸出設備（mic、音箱等）、攝像頭、電視、視頻會議終端、MCU等。視頻會議專用的攝像頭日本索尼公司市場占有 率無可爭議的是第一。而視頻會議終端和MCU市場目前排第一的是美國的polycom公司，polycom的音頻技術非常強大，它在中低端市場優勢很明 顯，而挪威的泰德（tandberg）在高端市場則做得更好一些。視頻會議系統對音視頻技術和網絡技術要求都比較高。從實際應用來說，相對視頻，視頻會議 系統對音頻要求更高一些。隨著現在視頻技術的發展和網絡帶寬的不斷改善，人們對視頻的要求也越來越高，不過，音頻方面的處理始終是關鍵，比如回聲消除技術 等。 1.3.3 視頻監控根據目前比較流行的劃分方法，視頻監控行業已歷經三代。第一代被稱為CCTV監控，也就是一個攝像頭加一個監視器組成一個最簡單的視頻監控系統，很多時候 還只是黑白的監控畫面，目前采用第一代監控系統的客戶已經很少了，不過在一些很小的便利店、超市，我們還是可以看到這樣的監控系統。第二代視頻監控系統典 型的產品形態是板卡和DVR，即使到現在，這種監控系統也還很流行，在第二代監控系統中表現最好的企業是杭州海康，他們幾乎壟斷了板卡市場，DVR市場占 有率也連續幾年排名第一了，第二代監控系統核心是實時視頻壓縮技術，把攝像頭拍攝下來的畫面進行壓縮和存儲到本地硬盤。目前，視頻監控行業已經發展到了第 三代，也就是遠程視頻監控，它把網絡技術和視頻壓縮技術結合起來，不過和視頻會議系統不同的是，監控行業對音頻的要求不高，但是，對圖像的要求卻高很多， 從傳統的要求來說，視頻監控不僅要求圖像能夠更清晰，對幀率的要求也很高，這也是從監控的安全考慮的需求。遠程監控系統的主要產品是視頻服務器（IPVS，也有產商叫DVS）和網絡攝像機（ip camera），這兩種產品都具備實時壓縮和網絡傳輸的功能，功能上的區別是IP camera自帶攝像頭，而IPVS需要用戶自己配攝像頭，當然，IPVS在滿足監控市場的需求上，比IP camera更強大一些，一般來說，圖像的壓縮效果也更好些，而且，它一般還支持所謂的報警輸入輸出接口，當然，在價格上，網絡攝像機有比較大的優勢。 1.3.4 流媒體行業流媒體也是網絡技術和視頻壓縮技術結合的產物，它的具體應用形式很多，比如網上直播、手機流媒體、IPTV（網絡電視）等等，都是比較新的東西，再比如現在網絡上流行的所謂播客，我也把它歸類為流媒體行業。流媒體應用，對編碼器的要求可能是最高的了，這是因為每臺流媒體服務器都會有很多用戶來連接訪問媒體數據，壓縮率如果提高的話，同等圖像質量下，同等圖像帶寬可以支持更多的用戶，這點很重要，流媒體行業應用的最大瓶頸就是服務器支持的用戶數了。為了解決服務器的這一瓶頸，最近幾年出現了一種叫做P2P的網絡傳輸技術，它號稱是用戶越多，用戶欣賞視頻會越流暢，而需要的服務器仍然只是一臺。這個技 術最成功的產品案例就是skype軟件了，好像是2005年它被ebay以26億美元成功收購，這即使到現在，也被稱為一個互聯網歷史上不可復制的奇跡。 除了skype，其他應用P2P技術的直播軟件還有pplive等，現在也都比較流行。 IPTV算是流媒體在家庭的一個應用形式，前兩年在國內也很火過一陣子。我的感覺，單純從技術上評價，IPTV也還有點早了，現在可能還不太成熟，我的理 由有如下幾點：目前家庭用戶上網主要的帶寬還是2兆或者以下，在這個帶寬下，目前主流的壓縮技術，壓縮出來的效果可能和有線電視比還相差很明顯，要想進一 步提高，可能還需要H.264的普及應用。如果要升級到H.264的話，也就是說目前的IPTV機頂盒在技術上還不夠成熟，并不能一步到位解決問題。所 以，感覺IPTV在技術上要可行，可能還需要再等3-5年吧。 1.3.5 視訊行業所謂的視訊行業，就是視頻和通訊技術結合的行業，上面所說的視頻會議、遠程視頻監控和流媒體行業都屬于視訊行業的范疇。還有一個很有影響的產品，就是IP電話，這個產品大家應該都很熟悉了，幾年前也有過一段時間的炒作，現在看好像也還沒普及，和IPTV類似，個人也是感覺還是有點早了，可能再過幾年會有機會起來。它應該算是視頻會議的家庭應用產品形態吧。二 知識篇 2.1 音視頻協議、通訊協議介紹 2.1.1 兩大標準制定組織這里的標準，主要指的是音視頻壓縮標準。兩大組織分別是國際標準化組織（ISO）和國際電信聯盟（ITU），相信IT行業的從業者沒聽說過這兩個行業的人很少。在音視頻壓縮標準方面，mpeg系列的協議是ISO制定的標準，而H系列的協議則是ITU制定的標準。 2.1.2 視頻協議目前主要的視頻壓縮協議有：H.261、H.263、H.264和mpeg-1、mpeg-2和mpeg-4。第一個視頻壓縮標準是H.261，它的算法 現在來看，非常簡單，但是，它的很多視頻壓縮的思想，一直影響到現在最新的壓縮標準H.264。H.264單看名字，感覺是ITU組織制定的，其實它還有 一個名字叫mpeg-4 Part 10，翻譯過來叫mpeg-4 第十部分，這是因為H.264是ISO和ITU組織共同制定的，版權共享。其實，一直以來，H系列的標準制定者和mpeg系列的標準制定者基本上就是同一 群人，而且，這兩個系列的算法思想基本上都差不多，唯一有一點不同的協議是mpeg-4，它在它的高級profile中提出了小波變換等算法來實現視頻壓 縮，從實際發展看，個人感覺不是很成功，采用小波變換的商用codec很少，這可能和這些算法的達不到實時性有關系。從應用的角度看，mpeg系列在消費類應用更廣些，大家也更熟悉些，我們熟悉的VCD格式視頻主要是mpeg-1，DVD的視頻則是mpeg-2，早期大 家看的電影在電腦上存盤文件格式都是*.mpg，基本上也都是mpeg做的壓縮了。在行業上，國內的監控行業，也是從mpeg-1到mpeg-2，到前兩 三年的mpeg-4，再到最近的H.264。而H系列的標準，用得最多的是視頻會議，從H.261到H.263，再到H.263+、H.263++等，再 到現在的H.264。從技術角度說，H系列的協議對網絡的支持更好些，這點mpeg系列要差一些，但是，mpeg它每一代都比H系列同一代的協議要出得晚些，算法也相對更先進些，因此，它用來做存儲協議是很合適的，這也就是為什么普通消費類產品用戶很少了解到H系列協議的原因。 H.264是兩大組織最新的算法成果，它在算法層面應該說是非常先進了，有人評價，H.264是視頻壓縮技術的一個里程碑，在可預見的5到10年內，出現新的視頻壓縮協議可能性很小，除非壓縮理論有重大突破。中國也有自己的視頻壓縮協議，叫做AVS，搞了好多年了，不過搞得不是很好。從市場分析，消費類電子、視頻會議和流媒體行業，現在要再想進去可能很困難了。不過最近聽說AVS又有點火起來了，有消息稱，IPTV指定要支持AVS，這可能是它的最后機會了吧。除了上面說的協議，還有很多公司也有自己的壓縮算法，不過基本上都是不公開的了，他們這些算法也都非常好，不過和開發人員關系倒不是很大了，典型的是微軟的wmv、realplay公司的rm和rmvb等，他們的使用者也很多，而且他們都偏向流媒體應用。 2.1.3 音頻協議音頻協議也分兩大類，ITU組織的主要是用于視頻會議的G系列協議，包括g.711、g.722、g.723、g.726、g.728、g.729等。這 些協議主要有兩大特點，第一是比較關注語音壓縮，畢竟開會主要是要聽人講話；對音樂的壓縮效果可能就不是太好了；第二是壓縮率都比較大，碼率都比較低，典 型的g.723支持5.9k/s這樣的碼率，而且語音音質還很不錯。ISO的音頻可能更為人熟知一些，最流行的就是mp3，它的全稱是mpeg-1 Audio layer 3，意思是mpeg-1的音頻第三層；另外，最新的音頻算法被稱為aac（也稱為mp4），它定義在mpeg-2或mpeg-4的音頻部分。他們的特點是 音質好，支持多聲道，高采樣精度和采樣頻率，尤其對音樂的壓縮效果比G系列要好太多。當然，這也是因為它們的應用領域側重點不同造成的。同樣的，很多大公司也有自己的語音壓縮標準，效果也非常好。不過都是他們自己的知識產權和算法，通用市場用的還是少。 2.1.4 上層通訊協議在視頻會議系統中，目前最流行的有H.323和SIP協議，在流媒體應用中，ISMA rtsp應用得比較多，它屬于開源項目，而很多流媒體產商有自己的流媒體傳輸協議，比如微軟的mms等。 H.323主要用于視頻會議，被稱為協議簇，我們前面提到的H系列視頻壓縮協議和G系列音頻壓縮協議都屬于它的子協議。除了音視頻編解碼器外；它還定義了 各種數據應用，包括T.120、T.84、T.434等；另外還包括H.245控制信道、H.225.0呼叫信令信道以及RAS信道。詳細的H.323的 知識，這里就不深入介紹了。 SIP是由IETF提出來的一個應用控制（信令）協議。正如名字所隱含的–用于發起會話。它可用來創建、修改以及終結多個參與者參加的多媒體會話進程。參與會話的成員可以通過組播方式、單播連網或者兩者結合的形式進行通信。 H.323和SIP分別是通信領域與因特網兩大陣營推出的建議。 H.323企圖把IP電話當作是眾所周知的傳統電話，只是傳輸方式發生了改變，由電路交換變成了分組交換。而SIP協議側重于將IP電話作為因特網上的一 個應用，較其實應用（如FTP，E-mail等）增加了信令和QoS的要求，它們支持的業務基本相同，也都利用RTP作為媒體傳輸的協議。但H.323是 一個相對復雜的協議。 RTSP主要用于流媒體傳輸，它的英文全稱是real time streaming protocol。典型的應用就是網絡電視的應用，由客戶向服務器進行點播，如果在監控行業應用的話，建議當用戶進行遠程回放錄像時，可采用RTSP協議。 原文地址 http://www.zooyoo.org/?p=8