目錄

一：最大似然估計

二：EM算法

加入隱變量

EM算法推導

1.Jensen不等式

點個贊唄！！！

---

 

一：最大似然估計

舉個栗子：一個袋子里有很多個球，每次放回的取一個球，取了十次，其中有六次白球，4次黑球。那么就認為袋子里面取到白球的概率為6/10，黑球的概率為4/10。總的來說，極大似然估計就是用來估計模型參數的統計方法。

最大似然數學問題：

比如一個班里有一百個學生，他們的身高X={x1,x2,x3.......xn}n=100。

概率密度函數：P(xi|)為抽到男生i的身高的概率（這里假設都是男生）

是服從分布的參數

獨立同分布：同時抽到這100個男生的概率就是他們概率的乘積

得到最大似然函數：L()=

得到最大似然函數后我們要求的就是參數的最大值，而這個最大值就是出現這批樣本的概率的最大值

我們都知道要得到參數最大值就是對這個函數求導后令導數等于零，解出參數即可。但是在這里是連乘，100個參數連乘，算起來很麻煩，所以我們對兩邊取對數ln，將連乘變成求和，這樣就很容易算出