FFmpeg 4.3 音視頻-多路H265監控錄放C++開發二十一.4，SDP協議分析

SDP在4566 中有詳細描述。

SDP 全稱是 Session Description Protocol，

翻譯過來就是描述會話的協議。

主要用于兩個會話實體之間的媒體協商。

什么叫會話呢，比如一次網絡電話、一次電話會議、一次視頻聊天，這些都可以稱之為一次會話。

那為什么要去發這個描述文本呢，主要是為了解決參與會話的各成員之間能力不對等的問題，如果參加本次通話的成員都支持高質量的通話，但是我們沒有去進行協議，為了兼容性，使用的都是普通質量的通話格式，這樣就很浪費資源了。所以 SDP 的作用還是很有必要的。

SDP（Session Description Protocol）完全是?種會話描述格式 ― 它不屬于傳輸協議 ― 它只使?不同的適當的傳輸協議，包括會話通知協議（SAP）、會話初始協議（SIP）、實時流協議（RTSP）、 MIME 擴展協議的電?郵件以及超?本傳輸協議（HTTP）。SDP協議是也是基于?本的協議，這樣就能保證協議的可擴展性?較強，這樣就使其具有?泛的應?范圍。SDP 不?持會話內容或媒體編碼的協商，所以在流媒體中只?來描述媒體信息。媒體協商這?塊要? RTSP 來實現．

SDP 協議結構 key = value?

key 一般是一個字母，

value 的值由key的啥對應不同的值

協議中的特殊符號 *

OPTIONAL items are marked with a "*".

在協議中用 * 表示是? 可選的

如果沒有 *，則表示是必選的

由兩大部分組成或者三大部分組成，原始協議中將會話時間和重復信息劃分到（time description中）

協議部分說明是三大部分

Session description

v= (protocol version)

o= (originator and session identifier)

s= (session name)

i=* (session information)

u=* (URI of description)

e=* (email address)

p=* (phone number)

c=* (connection information -- not required if included in

all media)

b=* (zero or more bandwidth information lines)

One or more time descriptions ("t=" and "r=" lines; see below)

z=* (time zone adjustments)

k=* (encryption key)

a=* (zero or more session attribute lines)

Zero or more media descriptions

Time description

t= (time the session is active)

r=* (zero or more repeat times)

Media description, if present

m= (media name and transport address)

i=* (media title)

c=* (connection information -- optional if included at

session level)

b=* (zero or more bandwidth information lines)

k=* (encryption key)

a=* (zero or more media attribute lines)

會話級別信息

協議版本號（v）（必選）

version的縮寫

作用：?個會話描述的開始，前?個會話結束標志。

描述：表示sdp的版本號，不包含次版本號

? ? ? ? 例子：v=0

會話源（o）（必選）

origin的縮寫

作用：（會話源或者會話?成者，以及會話標識符）

????????格式如下

????????o=<username> <sess-id> <sess-version> <nettype> <addrtype> <unicast-address>

????????

? ? ? ? 其中 username、session-id、nettype、addrtype、unicast-address ?起，唯?標識?

個會話

各字段含義如下：

username：發起者的?戶名，不允許存在空格，如果應?不?持?戶名，則為 - 。

sess-id：會話id，由應???定義，規范的建議是NTP(Network Time Protocol)時間戳。

sess-version：會話版本，?途由應???定義，只要會話數據發?變化時（?如編碼），sess

version隨著遞增就?。同樣的，規范的建議是NTP時間戳。

nettype：?絡類型，?如 IN 表示 Internet 。

addrtype：地址類型，?如 IP4 、 IV6

unicast-address：域名，或者IP地址。

? ? ? ? 例子： o=jdoe 2890844526 2890842807 IN IP4 10.47.16.5

????????

會話名稱（s）（必選）

Session Name 的縮寫

????????（會話名稱）這個字段是個?本字符串，可以顯示給會話參與者。

????????s=SDP Seminar

? ? ? ? s=No Name

時間描述（t）（必選）

????????（會話時間）這個字段指明會話開始時間與結束時間。

例子

???????t=2873397496 2873404696

????????t=0 0

描述：t字段描述了會話的開始時間和結束時間，?為?NTP時間，單位是秒；如果?為0表示過了之后，會話一直持續；當和?都為0的時候，表示持久會話，如拉實時流；

屬性（a）（可選）一般都會有值

a=<attribute>

a=<attribute>:<value>

可選字段中，連接信息字段是特別與條件相關的。因為該字段定義了數據應發送到的?絡地址，所以必須被包含進會話描述中的某個地?。

? ? ? ? 例子

????????????????a=tool:libavformat 60.3.100

會話信息（i）（可選）

（會話信息）對字段的?本描述，提供了?會話名稱更多的信息。該字段既可以?于會話級也可以? 于媒體級。

例子

i=A Seminar on the session description protocol

URI（u）（可選）

（描述的URI地址）URI信息，通過這個地址可以獲取更多會話相關信息。例如，?個會議可能公布在WEB??上，所以需要該WEB的URI。每個會話只能提供?個URI

例子

u=http://www.example.com/seminars/sdp.pdf

E-mail地址（e）（可選）

E=（E-mail地址）負責會話個體的E-mail地址，可以有多個。只能?于會話級別。

例子

e=j.doe@example.com (Jane Doe)

電話號碼（p）（可選）

可以有多個，會話級別。

例子：

p=+1 617 555-6011

這里沒有查到在國內應該怎么寫電話號碼，在協議中的例子有 +，有 -，從例子中可以看到，不止是數字，應該+和-也能用

連接信息（c）（可選）

Connection Data

（連接信息）該字段提供連接數據，包括網絡類型、地址類型和連接地址。可應?于會話級也可以? 于媒體級

network type：網絡類型，一般為IN，表示internet；
address type：地址類型，一般為IP4；
connection address，地址，可能為域名或ip地址兩種形式；

在會話級時：?? c=IN IP4 224.2.17.12/127

在媒體級時：??

帶寬信息（b）（可選）

（帶寬信息）指明帶寬需求，單位 kbit/s , 可?于兩個級別

b=<bwtype>:<bandwidth>

描述：該選項描述了建議的帶寬，單位 kbs/s，可選，modifier包括兩種類型，CT和AS，CT表示總帶寬，AS表示單個媒體帶寬的最大值；bandwidth表示具體的帶寬；

重復信息（r）（可選）

r=（重復次數）如果是有規律的?程安排活動，這個字段?來指明會話重復頻次和時間。

r=<repeat interval> <active duration> <offsets from start-time>

重復間隔
活動持續時間
與開始時間的偏移

r=7d 1h 0 25h

d - days (86400 seconds)

h - hours (3600 seconds)

m - minutes (60 seconds)

s - seconds (allowed for completeness)

時區調整（z）（可選）

（時區調整）?于按?程安排的有規律活動會話。會話可能會夸時區，避免時區變更造成的混亂。

z=<adjustment time> <offset> <adjustment time> <offset> ....

z=2882844526 -1h 2898848070 0

加密密鑰（k）（可選）

（加密密鑰）為了對媒體加密、解密，該字段提供了?個加密密鑰或者規定了?個獲取密鑰的機制。可?于兩個級別。

k=<method>

k=<method>:<encryption key>

k=clear:<encryption key>

k=base64:<encoded encryption key>

k=uri:<URI to obtain key>

k=prompt

媒體級別信息

媒體描述（m）

表示一個會話的媒體信息；

格式： m=(媒體類型)（端?號碼）（傳送層協議）（格式列表）

????????media：媒體類型。有"audio",“video”,“application”,“data”（不向用戶顯示的數據）,“control”（描述額外的控制通道）;
????????port：表示媒體流發往傳輸層的端口，對于RTP，偶數端口用來傳輸數據，奇數端口對應RTCP用來傳輸信令;
????????transport type：表示傳輸協議，與"c="一行相關聯，一般用RTP/AVP表示，即 Realtime Transport Protocol using the Audio/Video profile over udp，即我們常說的RTP over udp；
????????fmt list：表示媒體格式，分為靜態綁定和動態綁定；
????????????????靜態綁定：媒體編碼方式與RTP負載類型有確定的一一對應關系，如: m=audio 0 RTP/AVP 8；
????????????????動態綁定：媒體編碼方式沒有完全確定，需要使用rtpmap進行進一步的說明；如下例子

????????????????????????m=video 0 RTP/AVP 96
????????????????????????a=rtpmap:96 H264/90000

該例子說明，可以理解為 m 是video的，端口號由于還沒有指定目前為0，傳輸協議為RTP/AVP，媒體格式為96（協議中稱之為 payload type），這個96是啥意思呢？在?a=rtpmap中說明了，對應的編碼名稱為h264， clock rate為90000.。。關于a的詳盡說明，參考后面a屬性的說明。

????????fmt list ：對應對應的?頻負載類型（PT）?如果格式列表中列出了所?持的所有不同類型的媒體格式。優先使?靠前的格式。（ 15 3 0 ）

格式列表中只有一個的例子

m=video 0 RTP/AVP 96

如果某個系統準備在端? 45678 可以處理?種編碼的語?： G.728 編碼格式（負載類型為15）、 GSM 編碼格式（負載類型為3）、 G.711 u 編碼格式（負載類型為0），?且系統優先采? G.728 格式，則相應的媒體信息如下所示：

格式列表中支持多個的例子

m=audio 45678 RTP/AVP 15 3 0

媒體信息（i）（可選）

協議中關于在媒體信息中的說明如下：

i=* (media title)

連接信息（c）（會話級進?了規定，這?可選）

帶寬信息（b）（可選）

加密密鑰（k）（可選）

屬性（a）（可選，但是一般都要填充）

屬性有兩種形式，第?種是特征屬性，第?種屬于值屬性。SDP描述了多個建議屬性。

a=<attribute>

a=<attribute>:<value>

特征屬性：

例如a=sendonly??表明會話描述的發送者只希望發送數據?不打算接收數據，端?號?意義，可以置為0。

例如 a=recvonly?? 表明這個會話描述的發送者只想接收數據?不打算發送數據。

值屬性：

a= rtpmap 在協議中，SIP建議盡量 使用該屬性 ，因此要特別分析一下

格式：a=rtpmap:（凈荷類型）（編碼名）/（時鐘速率）【/(編碼參數)】

a=rtpmap:<payload type> <encoding name>/<clock rate> [/<encoding parameters>]

a=control:（?/視頻連接信息）

a=control:rtsp://192.168.1.197/h264stream0/trackID=0

a=rtpmap:96 H264/90000

a=rtpmap?

rtpmap 屬性提供了?個在 VoIP 應?中的重要屬性使??法，該屬性可?于媒體流，在媒體格式不是靜態的 RTP 負載類型時特別有?。

嚴格來說， “rtpmap” 只在使?動態負載類型情況下才是必須的，例如標準的 G.711 語?是靜態 RTP 負載類型，采?如下?法就可以對它完整描述：

m=audio 45678 RTP/AVP 0

?對動態負載來說需要指定更多信息才能使遠端完全識別到媒體編碼，例如 16 位線性編碼 16kHz 取樣的? 體聲?就是?個動態 RTP 負載類型，如果我們采?動態負載類型 98 表示這個媒體流，那么 SDP 格式如下：

m=audio 45678 RTP/AVP 98

a=rtpmap 98 L16/16000/2

SIP 建議?論是靜態負載還是動態負載，盡量都要采?該屬性

a=rtpmap在協議中，SIP建議盡量使用該屬性，因此要特別分析一下，

參見上面的分析

a=fmtp

fmtp（format parameters）用于指定媒體數據格式。

格式：a=fmtp:<format> <format specific parameters>

示例：a=fmtp:111 minptime=10;useinbandfec=1

表示PayloadType值為111的數據（Opus數據）：以10ms長的音頻數據為一幀，且數據經FEC（Forward Error Correction，前向糾錯）編碼。

?結合起來分析：

Media Description, name and address (m): video 0 RTP/AVP 96? ?
? ? ? ? Media Attribute (a): rtpmap:96 H264/90000
? ? ? ? Media Attribute (a): fmtp:96 packetization-mode=1; sprop-parameter-sets=Z2QAKKzZQHgGWwFqAgICgAAAAwCAAAAYB4wYyw==,aOvjyyLA; profile-level-id=640028
? ? ? ? Media Attribute (a): control:streamid=0

我是video媒體類型，目前接口為0,，使用RTP/AVP協議，使用媒體格式編號為96

? ? ? ? rtpmap 則說明 96代碼的是 h264編碼，時鐘速率為90000

? ? ? ? fmtp （format parameters）說明 96媒體數據的格式：

????????????????????????packetization-mode =1；

????????????????????????sprop-parameter-sets =?Z2QAKKzZQHgGWwFqAgICgAAAAwCAAAAYB4wYyw==,aOvjyyLA;

????????????????????????profile-level-id=640028

???????? control:streamid=0 說明ffmpeg對應的streamid 為0

例子

? ? Session Description Protocol
? ? ? ? Session Description Protocol Version (v): 0
? ? ? ? Owner/Creator, Session Id (o): - 0 0 IN IP4 127.0.0.1
? ? ? ? Session Name (s): No Name
? ? ? ? Connection Information (c): IN IP4 192.168.245.130
? ? ? ? Time Description, active time (t): 0 0
? ? ? ? Session Attribute (a): tool:libavformat 60.3.100
? ? ? ? Media Description, name and address (m): video 0 RTP/AVP 96
? ? ? ? Media Attribute (a): rtpmap:96 H264/90000
? ? ? ? Media Attribute (a): fmtp:96 packetization-mode=1; sprop-parameter-sets=Z2QAKKzZQHgGWwFqAgICgAAAAwCAAAAYB4wYyw==,aOvjyyLA; profile-level-id=640028
? ? ? ? Media Attribute (a): control:streamid=0
? ? ? ? Media Description, name and address (m): audio 0 RTP/AVP 97
? ? ? ? Bandwidth Information (b): AS:128
? ? ? ? Media Attribute (a): rtpmap:97 MPEG4-GENERIC/44100/2
? ? ? ? Media Attribute (a): fmtp:97 profile-level-id=1;mode=AAC-hbr;sizelength=13;indexlength=3;indexdeltalength=3; config=121056E500
? ? ? ? Media Attribute (a): control:streamid=1