RTMP協議發送H.264編碼及AAC編碼的音視頻，實現攝像頭直播RTMP（Real Time Messaging Protocol）是專門用來傳輸音視頻數據的流媒體協議，最初由Macromedia 公司創建，后來歸Adobe公司所有，是一種私有協議，主要用來聯系Flash Player和RtmpServer，如FMS,?Red5,?crtmpserver等。RTMP協議可用于實現直播、點播應用，通過FMLE（Flash Media Live Encoder）推送音視頻數據至RtmpServer，可實現攝像頭實時直播。不過，畢竟FMLE應用范圍有限，想要把它嵌入到自己的程序中，還是要自己來實現RTMP協議的推送。本人實現了一個RTMPLiveEncoder，通過采集攝像頭視頻和麥克風音頻，并進行H.264和AAC編碼，然后發送到FMS和crtmpserver上，實現實時直播，可以通過flash player正常觀看，目前效果良好，延遲時間在2秒左右。本文就介紹一下RTMPLiveEncoder的主要思路和關鍵點，以期對需要這方面技術的朋友有所幫助。 技術分析要實現RTMPLiveEncoder，需要以下四種關鍵技術：
其中，前兩項技術在我之前的文章“采集音頻和攝像頭視頻并實時H264編碼和AAC編碼”中已經介紹過了，這里就不再啰嗦了。 把音視頻數據封裝為可播放流，這個是一個難點。仔細研究一下，你會發現，RTMP Packet中封裝的音視頻數據流，其實和FLV封裝音頻和視頻數據的方式是相同的，所以，我們只需要按照FLV封裝H264和AAC的方式，即可生成可播放流。 我們再看一下RTMP協議。Adobe曾經發布過一份文檔《RTMP Specification》，不過wikipedia指出這份文檔隱藏了很多細節，單獨根據它是無法正確實現RTMP的。不過，它還是有參考意義的。其實Adobe發布之前，RTMP協議就已經被破解的差不多了，現在也已經有比較完善的實現，比如：RTMPDump，它提供的是C語言的接口，這意味著可以很方便的在其他語言中調用。 程序框架與我之前寫的“采集音頻和攝像頭視頻并實時H264編碼和AAC編碼”這篇文章相同，采用DirectShow技術來實現音視頻采集，音頻編碼和視頻編碼，在各自線程（AudioEncoderThread和VideoEncoderThread）中循環進行，RTMP的推送另起一個線程（RtmpThread）。兩個編碼線程實時編碼音視頻數據后，將數據交與Rtmp線程，由Rtmp線程循環封裝為Rtmp Packet，然后發出去。 線程之間的數據交換，通過一個隊列DataBufferQueue來實現。AudioEncoderThread和VideoEncoderThread把數據指針post到DataBufferQueue之后，立即返回，這樣就可以避免因為發送Rtmp報文的而影響到編碼線程的正常執行時間。 ? ?? RtmpThread的主要工作就是發送音頻數據流的解碼信息頭和視頻數據流的解碼信息頭，并不斷從DataBufferQueue中取出數據，封裝為RTMP Packet，發送出去。流程如下列代碼所示：（process_buf_queue_，即是上圖中的DataBufferQueue） librtmp一、編譯librtmp下載rtmpdump的代碼，你會發現，它是一個地道的linux項目，除了一個簡單的Makefile，其他什么都沒有。好像librtmp不依賴于系統，我們可以不用費太多功夫，把它在windows上編譯。不過，librtmp依賴于openssl和zlib，我們需要首先編譯好它們。 1. 編譯openssl1.0.0e a) 下載并安裝ActivePerl b)?下載并安裝nasm(http://nasm.sourceforge.net/) c)?解壓openssl壓縮包 d)?運行cmd命令行，切到openssl目錄，分別執行以下命令 >perl Configure VC-WIN32 --prefix=c:\some\dir e)?運行Visual Studio Command Prompt(2010)，切到openssl目錄，分別執行以下命令。 >nmake -f ms\nt.mak f)?編譯完畢后，即可在第一個命令所指定的目錄下發現編譯好的sdk。 2. 編譯zlib a)?解壓zlib壓縮包 b)?運行Visual Studio Command Prompt(2010)，切到openssl目錄，分別執行以下命令 >cd contrib\masmx86 c)?回到zlib目錄，進入contrib\vstudio\vc10目錄，打開vs2010解決方案文件， ??在zlibstat工程屬性中，去掉預編譯宏 ZLIB_WINAPI d)?選擇debug或release編譯即可 3. 編譯librtmp a) 首先打開visual studio 2010，新建一個win32 console工程，指定為靜態鏈接庫 b) 將librtmp的代碼導入工程，把openssl、zlib的頭文件和librtmp放在一起，把編譯好的openssl和zlib的靜態庫放在一起 ? ?? c) 在工程設置中，添加之前編譯好的openssl和zlib的庫，編譯即可。 ? ?? 二、librtmp的使用 首先初始化RTMP結構 開始之后，就要向RTMP Server發起握手連接報文 連接成功，就可以開始循環發送報文了，這里需要指定時戳和數據類型（Audio、Video、Metadata）。這里有一點需要注意的是，在調用Send之前，buf中的數據，必須是已經封裝好的H264或AAC數據流，具體見下面的介紹。 關閉 最后是釋放 ? H264和AAC數據流本文提到過，RTMP推送的音視頻流的封裝形式和FLV格式相似，由此可知，向FMS推送H264和AAC直播流，需要首先發送"AVC sequence header"和"AAC sequence header"，這兩項數據包含的是重要的編碼信息，沒有它們，解碼器將無法解碼。 AVC sequence header就是AVCDecoderConfigurationRecord結構，該結構在標準文檔“ISO-14496-15 AVC file format”中有詳細說明。 ? ?? AAC sequence header存放的是AudioSpecificConfig結構，該結構則在“ISO-14496-3 Audio”中描述。AudioSpecificConfig結構的描述非常復雜，這里我做一下簡化，事先設定要將要編碼的音頻格式，其中，選擇"AAC-LC"為音頻編碼，音頻采樣率為44100，于是AudioSpecificConfig簡化為下表： ? ?? 這樣，AVC sequence header和AAC sequence header的內容可以基本確定了，更詳細的信息，大家可以去翻閱相關文檔。接下來就是封裝數據內容，然后交給librtmp發送。封裝格式如下所示： ? ?? 運行效果RtmpLiveEncoder開始運行 ? ?? 用FMS自帶的一個flash播放器播放 ? ?? ? +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ ?? +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ |
RTMP協議發送H.264編碼及AAC編碼的音視頻，實現攝像頭直播
摘要: RTMP協議發送H.264編碼及AAC編碼的音視頻，實現攝像頭直播 RTMP（Real Time Messaging Protocol）是專門用來傳輸音視頻數據的流媒體協議，最初由Macromedia 公司創建，后來歸Adobe公司所有，是一種私有協議，主要 ...
? ??
HaibinDev軟件工作室，合作請聯系QQ。（轉載請注明作者和出處~）posted on 2012-11-07 14:32 小小程序員001 閱讀(...) 評論(...) 編輯 收藏
轉載于:https://www.cnblogs.com/musicfans/archive/2012/11/07/2819290.html
, i - 1))
)
~Python安裝mysql)
![[Ruby]$: 是什么意思？](http://pic.xiahunao.cn/[Ruby]$: 是什么意思？)
