Sigmoid函數導數推導詳解

• 在邏輯回歸中，Sigmoid函數的導數推導是一個關鍵步驟，它使得梯度下降算法能夠高效地計算。

1. Sigmoid函數定義

首先回顧Sigmoid函數的定義：

$$g(z)=\frac{1}{1+e^{?z}}$$

2. 導數推導過程

1. 從Sigmoid函數出發：
   $$g(z)=\frac{1}{1+e^{?z}}$$

2. 令$u=1+e^{?z}$，則$g(z)=u^{?1}$

3. 使用鏈式法則：
   $$\frac{dg}{dz}=\frac{dg}{du}?\frac{du}{dz}=?u^{?2}?(?e^{?z})=\frac{e^{?z}}{(1+e^{?z}{)}^2}$$

4. 現在，我們將其表示為$g(z)$的函數：
   $$\frac{e^{?z}}{1+e^{?z}}=1?\frac{1}{1+e^{?z}}=1?g(z)$$

5. 因此：
   $$g^{\prime }(z)=\frac{1}{1+e^{?z}}?\frac{e^{?z}}{1+e^{?z}}=g(z)?(1?g(z))$$

3. 代碼實現

import numpy as np
import matplotlib.pyplot as pltdef sigmoid(z):return 1 / (1 + np.exp(-z))def sigmoid_derivative(z):return sigmoid(z) * (1 - sigmoid(z))z = np.linspace(-10, 10, 100)
plt.figure(figsize=(10, 6))
plt.plot(z, sigmoid(z), label="Sigmoid function")
plt.plot(z, sigmoid_derivative(z), label="Sigmoid derivative")
plt.xlabel("z")
plt.ylabel("g(z)")
plt.title("Sigmoid Function and its Derivative")
plt.legend()
plt.grid(True)
plt.show()

4. 導數性質分析

1. 最大值：當$g(z)=0.5$時，導數達到最大值$0.25$
2. 對稱性：導數在$z=0$時最大，隨著$|z|$增大而迅速減小
3. 非負性：導數始終非負，因為$0<g(z)<1$

5. 導數形式的重要型

• 在邏輯回歸的梯度下降中，需要計算損失函數對參數的導數。由于損失函數中包含Sigmoid函數，這個導數形式使得計算變得非常簡潔：

$$\frac{?}{?{\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$

• 其中$h_{\theta }(x)=g({\theta }^{T}x)$。如果沒有這個簡潔的導數形式，梯度計算會復雜得多。

---

• 推導損失函數對${\theta }_j$的偏導數：
  $$\begin{array}{rl}\frac{?}{?{\theta }_j}J(\theta )& =?\frac{1}{m}\sum _{i=1}^m\left(y_i\frac{1}{h_{\theta }(x_i)}?(1?y_i)\frac{1}{1?h_{\theta }(x_i)}\right)\frac{?}{?{\theta }_j}{h}_{\theta }(x_i)\\ & =?\frac{1}{m}\sum _{i=1}^m\left(y_i\frac{1}{g({\theta }^T{x}_i)}?(1?y_i)\frac{1}{1?g({\theta }^T{x}_i)}\right)g({\theta }^T{x}_i)(1?g({\theta }^T{x}_i))x_i^j\\ & =?\frac{1}{m}\sum _{i=1}^m\left(y_i(1?g({\theta }^T{x}_i))?(1?y_i)g({\theta }^T{x}_i)\right)x_i^j\\ & =\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x_i)?y_i)x_i^j\end{array}$$