概率密度建模-參數化方法-概率密度的形式一定，由數據集確定密度中的參數即可。

局限性–概率模型選的不對，不能夠描述數據模態

此時，介紹一下非參數方法–直方圖，核方法， K緊鄰

1.直方圖

直方圖–密度估計–每個直方處密度,$n_i$該直方內的樣本數，N總樣本數，$\Delta$該直方寬度
$$p_i=\frac{n_i}{N{\Delta }_i}$$

缺點：

1. 在直方交界處概率密度不連續
2. D維變量，每個維度都劃分成$M$維度，將會有$M^D$個箱子。

---

估計某個特定位置的概率密度，應該考慮位于那個點的某個鄰域內的數據點。
某個點處的概率密度–K 鄰域內樣本數，$N$總樣本數，$V$鄰域半徑：
$$p(x)=\frac{K}{NV}$$

2. 核方法

固定鄰域大小，計算鄰域內樣本數K。

Parzen 窗核函數密度估計(在窗中的才算):
$$p(x)=\frac{1}{N}\sum _{n=1}^N\frac{1}{h^D}k(\frac{x?x_n}{h})$$

高斯核密度估計(所有樣本都算)：
$$p(x)=\frac{1}{N}\sum _{n=1}^N\frac{1}{(2\pi h^2{)}^{\frac{D}{2}}}\exp ?\frac{||x?x_n|{|}^2}{2h^2}$$

3. K近鄰

固定鄰域內樣本數K，計算包含K個樣本鄰域體積。

由K近鄰方法導出的K-NN 分類器。
數據集$N_k$個樣本屬于類別$C_k$,數據總數為$N$，如果想對數據$x$分類；以x為中心的球體中包含$C_k$類樣本$K_k$個，x 與每個類別關聯的概率：
$$p(x|C_k)=\frac{K_k}{V{N}_k}$$
類別先驗：
$$p(C_k)=\frac{N_k}{N}$$

x的后驗概率：
$$p(c_k|x)=\frac{p(x,C_k)}{p(x)}=\frac{\frac{K_k}{V{N}_k}\frac{N_k}{N}}{\frac{K}{VN}}=\frac{K_k}{K}$$