樸素貝葉斯法（Naive Bayes model）是基于貝葉斯定理與特征條件獨立假設的分類方法。

貝葉斯定理

$P(A|B)=\frac{P(B|A)?P(A)}{P(B)}$
其中A表示分類，B表示屬性，因此此公式更通俗的表述如下：
$P(分類|屬性)=\frac{P(屬性|分類)?P(分類)}{P(屬性)}$
即在已知屬性B的前提下，分類為A的概率等于似然率(已知分類中屬性B的概率)乘以先驗概率（分類A的概率）除以證據概率(屬性B的概率)。

優點

1. 對于大量數據的預測靠譜。
2. 計算簡便。

缺點

1. 屬性之間必須獨立。
2. 選取沒有相互干涉的屬性是難點。

舉例：在夏季，某公園男性穿涼鞋的概率為 1/2 ，女性穿涼鞋的概率為 2/3 ，
并且該公園中男女比例通常為 2:1 ，問題：若你在公園中隨機遇到一個穿涼鞋的人，
請問他的性別為男性或女性的概率分別為多少？

P(男|穿涼鞋)=P(穿涼鞋|男)P(男)/P(穿涼鞋)
= 1/2 * 2/3 / (2/3 * 1/2 + 1/3 2/3)
= 1/3 / (1/3+2/9)
= 3/5

P(女|穿涼鞋)=P(穿涼鞋|女)P(女)/P(穿涼鞋)
= 2/3 * 1/3 / (2/3 * 1/2 + 1/3 2/3)
= 2/9 / (1/3+2/9)
= 2/9 * 9/5
= 2/5

所以在公園里，隨機遇到一個穿涼鞋的人，性別為女男的概率是 3/5，性別為女的概率為 2/5。

怎樣避免0概率問題

使用拉普拉斯修正，修改公式如下：
$\hat{P}(C=c_j)=\frac{N(c_j)+1}{N+C}$
上式表示$c_j$分類的概率，其中 C 表示分類數量，N 表示所有的數量。
$\hat{P}(x_i|C=c_j)=\frac{N(x_i|C=c_j)+1}{N+X}$
上式表示特定$x_i$屬性中類$c_j$的概率，其中 X 表示屬性數量。

高斯樸素貝葉斯分類器

1. 高斯分布
   $P(x_i|\mu ,\sigma )=\frac{1}{(2\pi {\sigma }^2{)}^{\frac{1}{2}}}?e^{?\frac{(x_i?\mu {)}^2}{2{\sigma }^2}}$
   其中$\mu =\frac{1}{N}\sum _{i=1}^N{x}_i$表示樣本的期望，${\sigma }^2=\frac{1}{N}\sum _{i=1}^N(x_i?\mu {)}^2$表示樣本的方差。
   如果要使用無偏差估計，N 取 N+1。
2. 如果特征值服從高斯分布，那么根據特征值估計分類概率的公式如下：
   $\hat{P}(x_i|C=c_i)=\frac{1}{(2\pi {\sigma }_{ij}^2{)}^{\frac{1}{2}}}?e^{?\frac{(x_i?\mu ij{)}^2}{2{\sigma }_{ij}^2}}$
   其中${\mu }_{ij}$表示分類為$c_i$時，屬性$x_j$的期望，
   ${\sigma }_{ij}^2$表示分了為$c_i$時，屬性$x_j$的方差。