1.邏輯回歸

邏輯回歸是一種用于解決二分類任務（如預測是否是貓咪等）的統計學習方法。盡管名稱中包含“回歸”，但其本質是通過線性回歸的變體輸出概率值，并使用Sigmoid函數將線性結果映射到[0,1]區間。

以貓咪預測為例

假設單個樣本/單張圖片為（$\mathbf{x}$，$\mathbf{y}$），特征向量X =$\mathbf{x}$，則$\hat{y}$即為X的預測值，$\hat{y}$=P（y=$\mathbf{y}$/$\mathbf{x}$）,$\hat{y}$∈（0,1）。
假設特征權重參數為$\mathbf{w}$，是一個n_x維的向量，則有：
$\hat{y}$= $\sigma$（ $w^{?}$$x$+$b$）
$z$ = $w^{?}$$x$+$b$
$\hat{y}$=$\sigma （z）$

2. Sigmoid函數

Sigmoid函數是一種常用的S型激活函數，數學表達式為：
$$\sigma (z)=\frac{1}{1+e^{?z}}$$

機器學習便是學習參數$x$和$b$，使得$\hat{y}$盡可能接近實際值$y$。

符號慣例介紹

定義一個額外特征向量$x_0$ =1，
$\hat{y}$=$\sigma$(${\theta }^T$$x$ )，其中${\theta }_0$充當$b$，其余${\theta }_1$到 ${\theta }_{nx}$充當$\mathbf{w}$

核心特性

1. 輸出范圍：$ (0,1) $，適合概率映射
2. 單調性：全程可導且導數最大值為$ 0.25 $（出現在$x=0$處）
3. 導數特性：${\sigma }^{\prime }(x)=\sigma (x)(1?\sigma (x))$，便于梯度計算

Python實現

import numpy as npdef sigmoid(x):return 1 / (1 + np.exp(-x))# 支持向量化計算
print(sigmoid(np.array([-1.0, 0.0, 1.0])))  # 輸出：[0.2689, 0.5, 0.7311]

典型應用

1. 邏輯回歸中的概率轉換
2. 神經網絡隱藏層的激活函數
3. 強化學習中的動作選擇概率

局限說明

• 深層網絡易出現梯度消失（導數值隨網絡深度指數衰減）
• 輸出不以零為中心可能影響優化效率
• 現多被ReLU系列函數替代用于隱藏層