若信源有m種消息,且每個消息是以相等可能產生的,則該信源的信息量可表示為I=logm。
信息率是通過接收到的信息可獲得的發送信息的信息量,即互信息。單位:bit/符號。
信息速率是單位時間內傳輸的信息量。單位:bit/s
碼字CodeWord。由若干個碼元組成,計算機通信中通信表現為若干位二進制代碼。
?自信息量是符號概率的對數-logP(對數底數為2)單位為bit,可簡寫為-lb?
信息熵是什么自信息(量)的數學期望,也是信息量。
每個符號的信息熵(接收到的每個符號自信息量的期望,均值,也是信息量)=發送出一個信源符號所需要的信息率(平均送出一個信源符號的信息量)
先驗概率(prior probability)是指根據以往經驗和分析得到的概率,如全概率公式,它往往作為"由因求果"問題中的"因"出現.
遍歷性
所謂各態歷經,是指可以從過程的一個樣本函數中獲得它的各種統計特性;具有這一特性的隨機過程稱為具有各態歷經性的隨機過程。
遍歷性是指統計結果在時間和空間上的統一性,表現為時間均值等于空間均值。例如要得出一個城市A、B兩座公園哪一個更受歡迎,有兩種辦法。第一種辦法是在某一個時點考察兩個公園的人數,人數多的為更受歡迎公園;第二種辦法,隨機選擇一名市民,在一年的時間里考察他去兩個公園的次數,去得多的為更受歡迎公園。如果這個兩個結果始終一致,則表現為遍歷性。