基礎知識：
先驗概率：對某個事件發生的概率的估計。可以是基于歷史數據的估計，可以由專家知識得出等等。一般是單獨事件概率。

后驗概率：指某件事已經發生，計算事情發生是由某個因素引起的概率。一般是一個條件概率。

條件概率：條件事件發生后，另一個事件發生的概率。一般的形式為$P(B|A)$，表示$A$發生的條件下$B$發生的概率。
$$P(B|A)=\frac{P(AB)}{P(A)}$$
貝葉斯公式基于先驗概率，計算后驗概率的方法；公式為：
$$P(A|B)=\frac{P(B|A)?P(A)}{P(B)}$$

• $P(A\mid B)$: 在事件?$B$?發生的條件下，事件?$A$?發生的概率（后驗概率）。
• $P(B|A)$：在事件 $A$ 發生的條件下，事件 $B$ 的發生概率（似然概率）。
• $P(A)$：事件 $A$ 發生的先驗概率（先驗知識）。
• $P(B)$：事件 $B$ 發生的總概率。

貝葉斯公式可以從條件概率和全概率公式推導得出：

1. 條件概率定義：
   $$P(A|B)=\frac{P(A\cap B)}{P(B)},P(B|A)=\frac{P(A\cap B)}{P(A)}$$
2. 公式聯立：
   $$P(A\cap B)=P(B|A)?P(A)=P(A|B)?P(B)$$
3. 整理得到貝葉斯公式：
   $$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

• 貝葉斯公式：將先驗概率?$P(A)$、似然概率?$P(B\mid A)$?和證據?$P(B)$?結合，計算后驗概率 $P(A\mid B)$。

樸素貝葉斯做出了一個假設”屬性條件獨立假設“：對所有已知標簽的樣本，假設每個屬性獨立地對標簽結果產生影響。（這是一個很強的條件）

假設樣本為： x = { a 1 , a 2 , . . . , a d } x=\{a_{1}, a_{2}, ..., a_{d} \} x={a1?,a2?,...,ad?}，label為 Y = { c 1 , c 2 , c 3 , . . . , c n } Y = \{c_{1}, c_{2}, c_{3}, ...,c_{n} \} Y={c1?,c2?,c3?,...,cn?}；則計算這樣一個樣本 $x$ 的所屬類別的公式為：
P ( c k ∣ x ) = max ? { P ( c 1 ∣ x ) , P ( c 2 ∣ x ) , P ( c 3 ∣ x ) , . . . , P ( c n ∣ x ) } P(c_{k} | x) = \max \{ P(c_{1} |x), P(c_{2} | x), P(c_{3} | x), ..., P(c_{n} |x)\} P(ck?∣x)=max{P(c1?∣x),P(c2?∣x),P(c3?∣x),...,P(cn?∣x)}
基于條件獨立假設；可以得到
$$P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(c)}{P(x)}\prod _{i=1}^{d}P(x_i|c)$$
其中$d$為屬性數目，$x_i$為 $x$ 在第 $i$ 個屬性上的取值。
我們重寫上述公式：
h n b ( x ) = max ? { P ( c 1 ∣ x ) , P ( c 2 ∣ x ) , P ( c 3 ∣ x ) , . . . , P ( c n ∣ x ) } = arg ? max ? c ∈ Y P ( c ) P ( x ) ∏ i = 1 d P ( x i ∣ C ) = arg ? max ? c ∈ Y P ( c ) ∏ i = 1 d P ( x i ∣ C ) \begin{align} h_{nb}(x) &= \max \{ P(c_{1} |x), P(c_{2} | x), P(c_{3} | x), ..., P(c_{n} |x)\} \\ &= \arg \max_{c \in Y} \frac {P(c)}{P(x)} \prod_{i=1}^{d}P(x_{i} | C) \\ &= \arg \max_{c \in Y} P(c) \prod_{i=1}^{d}P(x_{i} | C) \end{align} hnb?(x)?=max{P(c1?∣x),P(c2?∣x),P(c3?∣x),...,P(cn?∣x)}=argc∈Ymax?P(x)P(c)?i=1∏d?P(xi?∣C)=argc∈Ymax?P(c)i=1∏d?P(xi?∣C)?? 令 $D_c$ 表示訓練集 $D$ 中第 $c$ 類樣本組成的集合，若有充足的獨立同分布樣本，則可以容易地估計出類別的先驗概率：
$$P(c)=\frac{|D_c|}{|D|}$$
對于離散屬性而言，令 $D_{c,x_i}$ 表示 $D_c$ 中第 $i$ 個屬性上取值為 $x_i$ 的樣本組成的集合，則條件概率 $P(x_i|c)$ 可估計為：
$$P{x}_i|c=\frac{|D_{c,x_i}|}{|D_c|}$$
對于連續屬性可考慮概率密度函數，假定$p(x_i|c)～\mathcal{N}({\mu }_{c,i},{\sigma }_{c,i}^2)$d，其中${\mu }_{c,i}$和${\sigma }_{c,i}^2$分別是第 $c$ 類樣本在第 $i$ 個屬性上取值的均值和方差，則有：
$$p(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}\exp (?\frac{(x_i?{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2})$$