1. 似然函數的定義

似然函數$L(\theta |X)$是在給定參數$\theta$ 下，觀測數據$X$出現的概率。它是統計推斷中的一個核心概念，用于衡量在特定參數假設下，觀測數據的合理性。

假設我們有一組觀測數據X={x1,x2,…,xn}X = \{x_1, x_2, \dots, x_n\}X={x1?,x2?,…,xn?}，并且假設這些數據是獨立同分布的$（i.i.d.）$，那么似然函數可以表示為所有觀測數據概率的乘積：

$$L(\theta |X)=\prod _{i=1}^{n}P(x_i|\theta )$$

其中：

• $\theta$是模型的參數，例如線性回歸中的權重和偏置，或者邏輯回歸中的權重向量。
• $P(x_i|\theta )$是在參數 $\theta$下，第$i$ 個數據點 $x_i$出現的概率。

示例：假設有一個簡單的硬幣拋擲實驗，硬幣正面朝上的概率為$\theta$，反面朝上的概率為 $1?\theta$。如果進行了 $n$ 次獨立的拋擲，觀察到正面朝上的次數為 $k$，那么似然函數可以表示為：

$$L(\theta |k,n)={\theta }^k(1?\theta {)}^{n?k}$$

2. 對數似然函數的定義

對數似然函數 $?(\theta |X)$是似然函數的自然對數。它將似然函數的乘積形式轉換為求和形式，便于計算和優化。

$$?(\theta |X)=\log L(\theta |X)=\log \left(\prod _{i=1}^{n}P(x_i|\theta )\right)=\sum _{i=1}^n\log P(x_i|\theta )$$

為什么要取對數？

1. 簡化計算：將乘積轉換為求和，避免數值下溢或上溢問題。
2. 數學性質：對數函數是單調遞增的，因此最大化對數似然函數等價于最大化似然函數。
3. 統計意義：對數似然函數在統計推斷中具有良好的性質，例如漸近正態性。

3. 負對數似然函數的定義

負對數似然函數 $\text{NLL}(\theta |X)$是對數似然函數的負值。它將最大化似然函數的問題轉化為最小化損失函數的問題，便于在機器學習中使用優化算法。

$$\text{NLL}(\theta |X)=??(\theta |X)=?\sum _{i=1}^n\log P(x_i|\theta )$$

為什么要取負值？
在機器學習中，優化問題通常被表述為最小化某個損失函數。取負對數似然函數的目的是將最大化似然函數的問題轉化為最小化損失函數的問題。具體來說：

• 最大化似然函數：${\max }_{\theta }?(\theta |X)$
• 最小化負對數似然函數： ${\min }_{\theta }\text{NLL}(\theta |X)$

這兩個優化問題是等價的，因為對數函數是單調遞增的。

4. 負對數似然函數的優化

在實際應用中，通常通過最小化負對數似然函數來估計模型參數 $\theta$。具體步驟如下：

1. 定義模型：選擇一個概率模型 $P(x|\theta )$，例如高斯分布、伯努利分布等。
2. 計算負對數似然函數：根據模型和數據，計算負對數似然函數 $\text{NLL}(\theta |X)$。
3. 優化參數：通過梯度下降或其他優化算法，最小化負對數似然函數，找到最優參數 $\hat{\theta }$。

梯度下降法：假設使用梯度下降法來優化參數$\theta$。梯度下降的更新規則為：

$${\theta }_{\text{new}}={\theta }_{\text{old}}?\eta {?}_{\theta }\text{NLL}(\theta |X)$$

其中：

• $\eta$ 是學習率，控制每次迭代的步長。
• ${?}_{\theta }\text{NLL}(\theta |X)$ 是負對數似然函數對參數$\theta$ 的梯度。

5. 具體應用示例

5.1 邏輯回歸中的負對數似然函數

假設有一個二分類問題，使用邏輯回歸模型。邏輯回歸模型的輸出是樣本屬于類別 1 的概率：

$$P(y=1|x,\theta )=\sigma ({\theta }^{T}x)$$

其中 $\sigma (z)=\frac{1}{1+e^{?z}}$是 Sigmoid 函數。

對于二分類問題，似然函數可以表示為：

$$L(\theta |X,y)=\prod _{i=1}^{n}P(y_i|x_i,\theta )$$

其中yi∈{0,1}y_i \in \{0, 1\}yi?∈{0,1}是第 $i$個樣本的標簽。

對數似然函數為：

$$?(\theta |X,y)=\sum _{i=1}^n\log P(y_i|x_i,\theta )=\sum _{i=1}^n\left[y_i\log \sigma ({\theta }^T{x}_i)+(1?y_i)\log (1?\sigma ({\theta }^T{x}_i))\right]$$

負對數似然函數為：

$$\text{NLL}(\theta |X,y)=?\sum _{i=1}^n\left[y_i\log \sigma ({\theta }^T{x}_i)+(1?y_i)\log (1?\sigma ({\theta }^T{x}_i))\right]$$

5.2 優化邏輯回歸的負對數似然函數

為了優化邏輯回歸模型的參數$\theta$，需要計算負對數似然函數的梯度：

$${?}_{\theta }\text{NLL}(\theta |X,y)=?\sum _{i=1}^n\left[y_i\frac{?}{?\theta }\log \sigma ({\theta }^T{x}_i)+(1?y_i)\frac{?}{?\theta }\log (1?\sigma ({\theta }^T{x}_i))\right]$$

通過鏈式法則，可以得到：

$$\frac{?}{?\theta }\log \sigma ({\theta }^T{x}_i)=\frac{{\sigma }^{\prime }({\theta }^T{x}_i)}{\sigma ({\theta }^T{x}_i)}{x}_i$$

$$\frac{?}{?\theta }\log (1?\sigma ({\theta }^T{x}_i))=\frac{?{\sigma }^{\prime }({\theta }^T{x}_i)}{1?\sigma ({\theta }^T{x}_i)}{x}_i$$

其中 ${\sigma }^{\prime }(z)=\sigma (z)(1?\sigma (z))$是 Sigmoid 函數的導數。

因此，負對數似然函數的梯度可以簡化為：

$${?}_{\theta }\text{NLL}(\theta |X,y)=?\sum _{i=1}^n\left[y_i\frac{\sigma ({\theta }^T{x}_i)(1?\sigma ({\theta }^T{x}_i))}{\sigma ({\theta }^T{x}_i)}{x}_i?(1?y_i)\frac{\sigma ({\theta }^T{x}_i)(1?\sigma ({\theta }^T{x}_i))}{1?\sigma ({\theta }^T{x}_i)}{x}_i\right]$$

進一步簡化為：

$${?}_{\theta }\text{NLL}(\theta |X,y)=?\sum _{i=1}^n\left[y_i(1?\sigma ({\theta }^T{x}_i))?(1?y_i)\sigma ({\theta }^T{x}_i)\right]x_i$$

最終得到：

$${?}_{\theta }\text{NLL}(\theta |X,y)=?\sum _{i=1}^n\left[y_i?\sigma ({\theta }^T{x}_i)\right]x_i$$

這個公式是邏輯回歸模型中負對數似然函數的梯度，它在模型訓練中用于參數的優化。