引言
貝葉斯定理用于確定事件的條件概率。它以一位英國統計學家的名字命名,托馬斯·貝葉斯他在1763年發現了這個公式。貝葉斯定理是數學中一個非常重要的定理,它為一種獨特的統計推斷方法奠定了基礎。貝氏推論它用于根據可能與事件相關的條件的先驗知識,找出事件的概率。
概述
例如,如果我們想找出隨機抽取的白色彈珠來自第一個袋子的概率,假設已經抽取了一個白色彈珠,并且有三個袋子,每個袋子里都有一些白色和黑色的彈珠,然后我們可以使用貝葉斯定理。
我們將探討了貝葉斯定理,包括它的陳述,證明,推導,定理的公式,以及它的應用。
什么是貝葉斯定理
當事件B已經發生時,貝葉斯定理(也稱為貝葉斯規則或貝葉斯定律)用于確定事件A的條件概率。
貝葉斯定理的一般陳述是給定另一事件B的發生,事件A的條件概率等于給定A的B的事件與A的概率除以事件B的概率的乘積。即 P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)?
說明:
- P ( A ) P(A) P(A)和 P ( B ) P(B) P(B):事件A和B的概率, P ( B ) P(B) P(B)永遠不會等于零。
- P ( A ∣ B ) P(A|B) P(A∣B):當事件B發生時,事件A發生的概率
- P ( B ∣ A ) P(B|A) P(B∣A):是當A發生時事件B的概率
貝葉斯定理陳述
n n n個事件集合的貝葉斯定理被定義為,
讓 E 1 , E 2 , … , E n E_1,E_2,\dots,E_n E1?,E2?,…,En?是與樣本空間S相關聯的一組事件,其中所有事件 E 1 , E 2 , … , E n E_1,E_2,\dots,E_n E1?,E2?,…,En?具有非零發生概率。所有事件 E 1 , E 2 , … , E n E_1,E_2,\dots,E_n E1?,E2?,…,En?形成樣本空間S
的分區。設A是空間S中的一個事件,我們必須找出它的概率,那么根據貝葉斯定理,
P ( E i ∣ A ) = P ( E i ) P ( A ∣ E i ) ∑ P ( E k ) P ( A ∣ E k ) P(E_i|A)=\frac{P(E_i)P(A|E_i)}{\sum P(E_k) P(A|E_k)} P(Ei?∣A)=∑P(Ek?)P(A∣Ek?)P(Ei?)P(A∣Ei?)?
其中, k = 1 , 2 , 3 , … , n k=1,2,3,\dots,n k=1,2,3,…,n
貝葉斯定理公式
對于任意兩個事件A和B,則貝葉斯定理的公式為:(下面給出的圖像給出了貝葉斯定理公式): P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)?
說明:
- P ( A ) P(A) P(A)和 P ( B ) P(B) P(B):事件A和B的概率, P ( B ) P(B) P(B)永遠不會等于零。
- P ( A ∣ B ) P(A|B) P(A∣B):當事件B發生時,事件A發生的概率
- P ( B ∣ A ) P(B|A) P(B∣A):是當A發生時事件B的概率
貝葉斯定理有關術語
在詳細學習了貝葉斯定理之后,讓我們了解一些與我們在公式和推導中涉及的概念相關的重要術語。
- 假設
- 樣本空間中發生的事件 E 1 , E 2 , … , E n E_1,E_2,\dots,E_n E1?,E2?,…,En?被稱為假設。
- 先驗概率
- 先驗概率是在考慮任何新數據之前事件發生的初始概率。 P ( E i ) P(E_i) P(Ei?)是假設E的先驗概率我.
- 后驗概率
- 后驗概率是在考慮新信息之后事件的更新概率。概率 P ( E i ∣ A ) P(E_i|A) P(Ei?∣A)被認為是假設E的后驗概率我.
條件概率
- 基于另一事件B的發生的事件A的概率稱為條件概率.
- 它被表示為 P ( A ∣ B ) P(A|B) P(A∣B)并且表示當事件B已經發生時A的概率。
聯合概率
- 當測量兩個以上事件同時發生的概率時,將其標記為聯合概率。對于兩個事件A和B,用聯合概率表示為, P ( A ∩ B ) P(A\cap B) P(A∩B)。
隨機變量
- 可能值由隨機試驗確定的實值變量稱為隨機變量。找到這些變量的概率就是實驗概率。
貝葉斯定理應用
- 貝葉斯推理在醫學、科學、哲學、工程、體育、法律等領域都有重要的應用,而貝葉斯推理是由貝葉斯定理直接導出的。
- 示例:貝葉斯定理通過考慮一個人患病的可能性以及測試的總體準確性來定義醫學測試的準確性。
條件概率與貝葉斯定理的區別
條件概率和貝葉斯定理之間的區別可以通過下表來理解。
貝葉斯定理 | 條件概率 |
---|---|
貝葉斯定理是利用條件概率的定義推導出來的。用于求逆概率。 | 條件概率是當事件B已經發生時,事件A發生的概率。 |
公式: P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)? | 公式: P ( A ∣ B ) = P ( A ∩ B ) P ( B ) P(A\mid B)=\frac{P(A\cap B)}{P(B)} P(A∣B)=P(B)P(A∩B)? |
全概率定理
- 讓 E 1 , E 2 , … , E n E_1,E_2,\dots,E_n E1?,E2?,…,En?是與隨機實驗相關的互斥和窮舉事件,設 E E E是與某個 E i E_i Ei?一起發生的事件。那就證明: P ( E ) = ∑ i = 1 n P ( E / E i ) ? P ( E i ) P(E)=\sum_{i=1}^n P(E/E_i) \cdot P(E_i) P(E)=∑i=1n?P(E/Ei?)?P(Ei?)
- 證明過程如下:
- 假設 S S S為樣本空間,然后 S = E 1 ∪ E 2 ∪ E 3 ∪ ? ∪ E n S=E_1\cup E_2\cup E_3 \cup \dots \cup E_n S=E1?∪E2?∪E3?∪?∪En?,并且 E i ∩ E j = ? ( i ≠ j ) E_i \cap E_j = \emptyset (i \neq j) Ei?∩Ej?=?(i=j)
{ E = E ∩ S = E ∩ ( E 1 ∪ E 2 ∪ E 3 ∪ ? ∪ E n ) = ( E ∩ E 1 ) ∪ ( E ∩ E 2 ) ∪ ( E ∩ E 3 ) ∪ ? ∪ ( E ∩ E n ) P ( E ) = P ( E ∩ E 1 ) ∪ ( E ∩ E 2 ) ∪ ( E ∩ E 3 ) ∪ ? ∪ ( E ∩ E n ) 注:兩兩不交,即兩個集合中的任意兩個元素都不相交。 = P ( E / E 1 ) ? P ( E 1 ) + P ( E / E 2 ) ? P ( E 2 ) + P ( E / E 3 ) ? P ( E 3 ) + ? + P ( E / E n ) ? P ( E n ) = ∑ i = 1 n P ( E / E i ) ? P ( E i ) 注:乘法定理 \begin{cases}\begin{aligned} E &= E \cap S \\ &= E\cap (E_1\cup E_2\cup E_3 \cup \dots \cup E_n)\\ &=(E\cap E_1) \cup (E\cap E_2) \cup (E\cap E_3) \cup \dots \cup (E\cap E_n)\\\\ P(E) &= P{(E\cap E_1) \cup (E\cap E_2) \cup (E\cap E_3) \cup \dots \cup (E\cap E_n)} \quad注:兩兩不交,即兩個集合中的任意兩個元素都不相交。 \\ &=P(E/E_1)\cdot P(E_1)+P(E/E_2)\cdot P(E_2)+P(E/E_3)\cdot P(E_3)+\dots+P(E/E_n)\cdot P(E_n)\\ &= \sum_{i=1}^n P(E/E_i)\cdot P(E_i) \quad注:乘法定理 \end{aligned}\end{cases} ? ? ??EP(E)?=E∩S=E∩(E1?∪E2?∪E3?∪?∪En?)=(E∩E1?)∪(E∩E2?)∪(E∩E3?)∪?∪(E∩En?)=P(E∩E1?)∪(E∩E2?)∪(E∩E3?)∪?∪(E∩En?)注:兩兩不交,即兩個集合中的任意兩個元素都不相交。=P(E/E1?)?P(E1?)+P(E/E2?)?P(E2?)+P(E/E3?)?P(E3?)+?+P(E/En?)?P(En?)=i=1∑n?P(E/Ei?)?P(Ei?)注:乘法定理??
- 假設 S S S為樣本空間,然后 S = E 1 ∪ E 2 ∪ E 3 ∪ ? ∪ E n S=E_1\cup E_2\cup E_3 \cup \dots \cup E_n S=E1?∪E2?∪E3?∪?∪En?,并且 E i ∩ E j = ? ( i ≠ j ) E_i \cap E_j = \emptyset (i \neq j) Ei?∩Ej?=?(i=j)
貝葉斯定理推導
貝葉斯定理的證明如下:根據條件概率公式, P ( E i ∣ A ) = P ( E i ∩ A ) P ( A ) P(E_i|A)=\frac{P(E_i\cap A)}{P(A)}\quad P(Ei?∣A)=P(A)P(Ei?∩A)? (方程I)
然后,通過使用概率的乘法規則,我們得到: P ( E i ∩ A ) = P ( E i ) P ( A ∣ E i ) P(E_i \cap A)=P(E_i)P(A|E_i)\quad P(Ei?∩A)=P(Ei?)P(A∣Ei?) (方程II)
根據全概率定理,得: P ( A ) = ∑ P ( E k ) P ( A ∣ E k ) P(A)=\sum P(E_k) P(A|E_k)\quad P(A)=∑P(Ek?)P(A∣Ek?) (方程III)
代入 P ( E i ∩ A ) P(E_i \cap A) P(Ei?∩A)和 P ( A ) P(A) P(A)從方程(II)和方程(III)在方程(I)中我們得到: P ( E i ∣ A ) = P ( E i ) P ( A ∣ E i ) ∑ P ( E k ) P ( A ∣ E k ) P(E_i|A)=\frac{P(E_i)P(A|E_i)}{\sum P(E_k) P(A|E_k)} P(Ei?∣A)=∑P(Ek?)P(A∣Ek?)P(Ei?)P(A∣Ei?)?
貝葉斯定理也被稱為“原因”的概率公式。 我們知道, E i E_i Ei?是樣本空間S的一個分區,在任何給定時間, E i E_i Ei?只發生一個事件。因此,我們得出結論,貝葉斯定理公式給出了特定 E i E_i Ei?的概率,假設事件A已經發生。
結論
- 貝葉斯定理提供了一個強大的框架,用于根據新的證據或信息更新假設的概率。通過整合先驗知識并用觀測數據對其進行更新,貝葉斯定理可以在廣泛的領域(包括統計、機器學習、醫學和金融)中做出更準確、更明智的決策。其應用范圍從醫療診斷和風險評估到垃圾郵件過濾和自然語言處理。
- 理解和應用貝葉斯定理使我們能夠做出更好的預測,估計不確定性,并從數據中得出有意義的見解,最終增強我們在復雜和不確定的情況下做出明智決策的能力。
貝葉斯定理常見問題
-
什么是貝葉斯定理?
貝葉斯定理,顧名思義,是一個數學定理,用來找出一個事件的條件性概率。條件概率是事件在未來發生的概率。它是根據事件的先前結果計算的。 -
什么時候使用貝葉斯定理?
貝葉斯定理具有廣泛的應用,特別是在處理基于新數據的更新概率的領域。貝葉斯規則允許您計算后驗(或更新)概率。它用于計算事件的條件概率。 -
理解貝葉斯定理的一些關鍵術語是什么?
一些關鍵術語是先驗概率、后驗概率、可能性、邊際概率。
先驗概率: P ( A ) P(A) P(A)
后驗概率: P ( A ∣ B ) P(A\mid B) P(A∣B)
可能性: P ( B ∣ A ) P(B\mid A) P(B∣A)
邊際概率: P ( B ) P(B) P(B) -
什么時候使用貝葉斯定理?
貝葉斯定理適用于當事件的條件概率給定時,用它來求事件的逆概率。 -
貝葉斯定理與條件概率有何不同?
貝葉斯定理用于根據事件的先前條件來定義事件的概率。然而,貝葉斯定理使用條件概率來尋找事件的反向概率。 -
貝葉斯定理的公式是什么?
下面解釋貝葉斯定理公式,即 P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( A ) P(A\mid B)=\frac{P(B|A)P(A)}{P(A)} P(A∣B)=P(A)P(B∣A)P(A)?