參數估計

問題背景：

$$\begin{array}{rl}& P\left({\omega }_i\mid \mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid {\omega }_i\right)P\left({\omega }_i\right)}{p(\mathbf{x})}\\ & p(\mathbf{x})=\sum _{j=1}^{c}p\left(\mathbf{x}\mid {\omega }_j\right)P\left({\omega }_j\right)\end{array}$$

• 說明：要計算后驗概率 $P\left({\omega }_i\mid \mathbf{x}\right)$ ，需要知道：
• $p\left(\mathbf{x}\mid {\omega }_i\right)$ ：類條件概率密度函數（似然）。
• $P\left({\omega }_i\right)$ ：類別 ${\omega }_i$ 的先驗概率。

**如何得到這些值？需要從數據中估計。**對于先驗概率：

• 數據集：

  D = { D 1 , D 2 , … , D c } D=\left\{D_1, D_2, \ldots, D_c\right\} D={D1?,D2?,…,Dc?}

  $D_j\text{?包含類別?}{\omega }_j\text{?的樣本。?}$
  先驗概率：
  $$P\left({\omega }_i\right)=\frac{\left|D_i\right|}{{\sum }_{i=1}^c\left|D_i\right|}$$

接下來的問題是如何估計類條件概率密度。本章將討論的情況是，$p\left(\mathbf{x}\mid {\omega }_j\right)$ 具有參數化形式，例如高斯分布：
$$\begin{array}{c}p\left(\mathbf{x}\mid {\omega }_j\right)～\mathcal{N}\left({\mu }_j,{\Sigma }_j\right)\\ {\theta }_j={\left({\theta }_1,{\theta }_2,\dots ,{\theta }_m\right)}^T\end{array}$$

• 如果 $\mathbf{x}\in {\mathbb{R}}^d$ ，則 ${\theta }_j$ 包含 $d+\frac{d(d+1)}{2}$ 個自由參數（均值向量和協方差矩陣的元素）。
• ${\mu }_j$ ：均值向量，維度為 $d_{\text{。?}}$
• ${\Sigma }_j$ ：協方差矩陣，對稱矩陣，包含 $\frac{d(d+1)}{2}$ 個唯一元素（因為 ${\Sigma }_{ij}={\Sigma }_{ji}$ ）。
• 總參數數量：$d$（均值）$+\frac{d(d+1)}{2}$（協方差）$=d+\frac{d(d+1)}{2}$ 。
• ${\theta }_j$ ：包含所有待估計參數的向量，例如均值和協方差的元素。

數據集與符號：

D = { D 1 , D 2 , … , D c } p ( x ∣ ω j ) = p ( x ∣ θ j ) \begin{aligned} & \mathcal{D}=\left\{\mathcal{D}_1, \mathcal{D}_2, \ldots, \mathcal{D}_c\right\} \\ & p\left(\mathbf{x} \mid \omega_j\right)=p\left(\mathbf{x} \mid \theta_j\right) \end{aligned} ?D={D1?,D2?,…,Dc?}p(x∣ωj?)=p(x∣θj?)?

類條件密度 $p\left(\mathbf{x}\mid {\omega }_j\right)$ 被表示為參數 ${\theta }_j$ 的函數，強化了參數化方法。

目標：使用 ${\mathcal{D}}_j$ 估計未知參數向量：
$${\theta }_j={\left({\theta }_1,{\theta }_2,\dots ,{\theta }_m\right)}^T$$

• 兩種估計方法：

  • 最大似然估計（MLE）：

    • 把參數 $\theta$ 看作是固定但未知的值。我們觀察到了數據，就用它來找出＂最有可能＂生成這些數據的參數值。即“Estimate parameter values by maximizing the likelihood (probability) of observing the actual examples.”
      ＂先有參數，再有數據；現在有了數據，反推參數。＂

    • 給定訓練數據 D = { x 1 , … , x n } \mathcal{D}=\left\{x_1, \ldots, x_n\right\} D={x1?,…,xn?} ，我們假設它們是從分布 $p(x\mid \theta )$ 中獨立采樣出來的。最大似然的目標是：

      $${\hat{\theta }}_{\mathrm{MLE}}=\arg \underset{\theta }{\max }p\left(x_1,\dots ,x_n\mid \theta \right)=\arg \underset{\theta }{\max }\prod _{i=1}^{n}p\left(x_i\mid \theta \right)$$
      為了簡化計算，我們通常取對數（log－likelihood）：
      $${\hat{\theta }}_{\mathrm{MLE}}=\arg \underset{\theta }{\max }\sum _{i=1}^n\log p\left(x_i\mid \theta \right)$$

  • 貝葉斯估計：

    • 把參數 $\theta$ 看作隨機變量，它本身有個先驗分布 $p(\theta )$ 。當我們觀察到數據 $\mathcal{D}$ 后，用貝葉斯公式將先驗更新為后驗 $p(\theta \mid \mathcal{D})$ 。
      ＂參數不是一個確定值，而是一個不確定的分布。看到數據后，我只是更新了我對它的信念。＂

    • 根據貝葉斯公式：

      $$p(\theta \mid \mathcal{D})=\frac{p(\mathcal{D}\mid \theta )?p(\theta )}{p(\mathcal{D})}$$
      其中：

      • $p(\mathcal{D}\mid \theta )$ ：似然（和MLE一樣）；
      • $p(\theta )$ ：先驗；
      • $p(\mathcal{D})$ ：對所有參數的積分（保證后驗是個合法分布）；

      有了后驗分布 $p(\theta \mid \mathcal{D})$ 后，可以：

      • 求它的最大后驗估計（MAP）：

      $${\hat{\theta }}_{\mathrm{MAP}}=\arg \underset{\theta }{\max }p(\theta \mid \mathcal{D})$$

      • 或者使用后驗分布的期望作為估計。

最大似然估計

以多元高斯分布為例講解MLE的應用。

假設我們有一個觀測數據集：

D = { x 1 , x 2 , … , x n } \mathcal{D}=\left\{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\right\} D={x1?,x2?,…,xn?}

這些樣本被認為是從某個參數為 $\theta$ 的概率分布中獨立同分布采樣得到的。
因為樣本獨立，整個數據集出現的聯合概率是各樣本概率的乘積：
$$p(\mathcal{D}\mid \theta )=p\left({\mathbf{x}}_1\mid \theta \right)p\left({\mathbf{x}}_2\mid \theta \right)\dots p\left({\mathbf{x}}_n\mid \theta \right)\prod _{k=1}^{n}p\left({\mathbf{x}}_k\mid \theta \right)$$

我們把這個函數看作 $\theta$ 的函數，叫做似然函數，記作：

$$L(\theta \mid \mathcal{D})=\prod _{k=1}^{n}p\left({\mathbf{x}}_k\mid \theta \right)$$
最大似然估計就是選擇一個 $\hat{\theta }$ 使得這個似然函數最大化：
$$\hat{\theta }=\arg \underset{\theta }{\max }L(\theta \mid \mathcal{D})$$

也就是說，找到讓觀測數據“最可能”出現的參數值。我們對其取自然對數，得到對數似然函數：

$$l(\theta \mid \mathcal{D})=\ln L(\theta \mid \mathcal{D})=\sum _{k=1}^n\ln p\left({\mathbf{x}}_k\mid \theta \right)$$
MLE目標轉化為：

$$\hat{\theta }=\arg \underset{\theta }{\max }l(\theta \mid \mathcal{D})$$

• 情況 I：協方差 $\Sigma$ 已知，僅估計均值 $\mu$

  高斯概率密度函數（PDF）：

  對于一個 $d$ 維特征向量 $\mathbf{x}$：
  $$p(\mathbf{x}\mid \mu ,\Sigma )=\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}\exp \left[?\frac{1}{2}(\mathbf{x}?\mu {)}^T{\Sigma }^{?1}(\mathbf{x}?\mu )\right]$$

  似然函數（所有樣本聯合概率）：
  $$L(\mu \mid \mathcal{D})=\prod _{k=1}^{n}p({\mathbf{x}}_k\mid \mu )$$

  代入高斯密度函數后，乘積項包含了指數和常數項。

  對數似然函數：

  取自然對數后得：
  $$l(\mu \mid \mathcal{D})=?\ln (2\pi {)}^{nd/2}?\ln |\Sigma {|}^{n/2}?\frac{1}{2}\sum _{k=1}^n({\mathbf{x}}_k?\mu {)}^T{\Sigma }^{?1}({\mathbf{x}}_k?\mu )$$
  前兩個是常數項，不影響優化，目標函數實質上是最小化平方誤差項。

  MLE求解過程（以 $\mu$ 為例）

  我們對對數似然函數對 $\mu$ 求導，并令其為零：
  $${?}_{\mu }l(\mu \mid \mathcal{D})=\sum _{k=1}^n{\Sigma }^{?1}({\mathbf{x}}_k?\mu )=0$$
  移項得到：
  $$\sum _{k=1}^n({\mathbf{x}}_k?\mu )=0?\mu =\frac{1}{n}\sum _{k=1}^n{\mathbf{x}}_k$$

  結論：

  最大似然估計下，未知均值 $\mu$ 的估計值就是樣本均值（Sample Mean）。

• 情況 II：均值和方差都未知

  我們現在假設數據是從一個一維高斯分布（正態分布）中采樣的：
  $$p(x\mid \mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(?\frac{(x?\mu {)}^2}{2{\sigma }^2}\right)$$
  但此時我們不知道這個分布的均值 μ 和方差 σ2，我們要用樣本數據 D = { x 1 , x 2 , … , x n } \mathcal{D} = \{x_1, x_2, \dots, x_n\} D={x1?,x2?,…,xn?} 來估計這兩個參數。

  我們的方法是：對參數 $\theta =(\mu ,{\sigma }^2{)}^T$ 使用極大似然估計（MLE）。

  我們有 n 個獨立同分布的樣本 $x_1,x_2,\dots ,x_n$，所以似然函數是：
  $$L(\theta \mid \mathcal{D})=\prod _{k=1}^{n}p(x_k\mid \theta )$$
  代入高斯分布的公式，得到：
  $$L(\theta \mid \mathcal{D})=\frac{1}{(2\pi {)}^{n/2}{\sigma }^n}\exp \left(?\frac{1}{2{\sigma }^2}\sum _{k=1}^n(x_k?\mu {)}^2\right)$$
  對數似然函數是：
  $$l(\theta \mid \mathcal{D})=?\frac{n}{2}\ln (2\pi )?\frac{n}{2}\ln ({\sigma }^2)?\frac{1}{2{\sigma }^2}\sum _{k=1}^n(x_k?\mu {)}^2$$
  這里為了后續方便我們記：

  • ${\theta }_1=\mu$
  • ${\theta }_2={\sigma }^2$

  寫成統一的形式：
  $$l(\theta )=?\frac{n}{2}\ln (2\pi )?\frac{n}{2}\ln ({\theta }_2)?\frac{1}{2{\theta }_2}\sum _{k=1}^n(x_k?{\theta }_1{)}^2$$
  我們對 ${\theta }_1=\mu$ 和 ${\theta }_2={\sigma }^2$ 分別求導：

  對 ${\theta }_1=\mu$ 求導：
  $$\frac{?l}{?{\theta }_1}=\frac{1}{{\theta }_2}\sum _{k=1}^n(x_k?{\theta }_1)=\frac{1}{{\theta }_2}\left(\sum _{k=1}^n{x}_k?n{\theta }_1\right)$$

  令導數為 0：
  $$\sum _{k=1}^n{x}_k=n{\theta }_1?{\theta }_1=\frac{1}{n}\sum _{k=1}^n{x}_k=\hat{\mu }$$
  對 ${\theta }_2={\sigma }^2$ 求導：
  $$\frac{?l}{?{\theta }_2}=?\frac{n}{2{\theta }_2}+\frac{1}{2{\theta }_2^2}\sum _{k=1}^n(x_k?{\theta }_1{)}^2$$

  令導數為 0：
  $$?\frac{n}{2{\theta }_2}+\frac{1}{2{\theta }_2^2}\sum _{k=1}^n(x_k?{\theta }_1{)}^2=0$$
  結論：極大似然估計值

  • 均值的MLE為樣本均值：
    $$\hat{\mu }=\frac{1}{n}\sum _{k=1}^n{x}_k$$

  • 方差的MLE為樣本方差（無偏性需除以 $n?1$，但MLE 是除以 n）：
    $${\hat{\sigma }}^2=\frac{1}{n}\sum _{k=1}^n(x_k?\hat{\mu }{)}^2$$

  方差的估計偏差是一個經典的證明。

  MLE 對一維正態分布的方差估計為：
  $${\sigma }_{ML}^2=\frac{1}{n}\sum _{i=1}^n(x_i?{\mu }_{ML}{)}^2$$
  將平方項展開：
  $$=\frac{1}{n}\sum _{i=1}^n\left(x_i^2?2x_i{\mu }_{ML}+{\mu }_{ML}^2\right)=\frac{1}{n}\sum _{i=1}^n{x}_i^2?2{\mu }_{ML}?\frac{1}{n}\sum _{i=1}^n{x}_i+{\mu }_{ML}^2=\frac{1}{n}\sum _{i=1}^n{x}_i^2?{\mu }_{ML}^2$$
  求期望：
  $$E[{\sigma }_{ML}^2]=\frac{1}{n}\sum _{i=1}^{n}E[x_i^2]?E[{\mu }_{ML}^2]$$
  已知：
  $$E[x_i^2]=\text{Var}(x_i)+[E(x_i){]}^2={\sigma }^2+{\mu }^2$$
  而樣本均值的平方的期望為：
  $$E[{\mu }_{ML}^2]=\text{Var}({\mu }_{ML})+[E({\mu }_{ML}){]}^2=\frac{{\sigma }^2}{n}+{\mu }^2$$
  代入得：
  $$E[{\sigma }_{ML}^2]=({\sigma }^2+{\mu }^2)?\left(\frac{{\sigma }^2}{n}+{\mu }^2\right)={\sigma }^2?\frac{{\sigma }^2}{n}=\frac{n?1}{n}{\sigma }^2$$
  結論： 方差的最大似然估計存在偏差，其期望為 $\frac{n?1}{n}{\sigma }^2$，因此也是一個有偏估計。類似前頁的協方差，需要進行修正才能成為無偏估計。