總結反向傳播算法。

來源于https://udlbook.github.io/udlbook/，我不明白初始不從${\mathbf{x}}_0$開始，而是從${\mathbf{z}}_0$開始，不知道怎么想的。

---

考慮一個深度神經網絡$g[{\mathbf{x}}_i,?]$，它接受輸入${\mathbf{x}}_i$，具有$N$個隱藏層和 ReLU 激活函數，并且有單獨的損失項$L_i=\mathrm{loss}[g[{\mathbf{x}}_i,?],{\mathbf{y}}_i]$。反向傳播的目標是計算關于偏差${\mathbf{b}}_{\iota }$和權重${\mathbf{W}}_{\iota }$的導數$\frac{?L_i}{?{\mathbf{b}}_{\iota }}$和$\frac{?L_i}{?{\mathbf{W}}_{\iota }}$。

前向傳遞： 計算并存儲以下量：

z 0 = b 0 + W 0 x i x ι = f [ z ι ? 1 ] ι ∈ { 1 , 2 , … , M } z ι = b ι + W ι x ι . ι ∈ { 1 , 2 , … , M } \begin{aligned} \boldsymbol{z}_0 &= \boldsymbol{b}_0 + \boldsymbol{W}_0 \boldsymbol{x}_i \\ \boldsymbol{x}_\iota &=f[\boldsymbol{z}_{\iota-1}] & \iota \in \{1, 2, \ldots, M\} \\ \boldsymbol{z}_\iota &= \boldsymbol{b}_\iota + \boldsymbol{W}_\iota \boldsymbol{x}_\iota. & \iota \in \{1, 2, \ldots, M\} \end{aligned} z0?xι?zι??=b0?+W0?xi?=f[zι?1?]=bι?+Wι?xι?.?ι∈{1,2,…,M}ι∈{1,2,…,M}?

反向傳遞： 從損失函數$L_i$關于網絡輸出${\mathbf{z}}_M$的導數$\frac{?L_i}{?{\mathbf{z}}_M}$開始，并在網絡中反向工作：

? L i ? b ι = ? L i ? z ι ι ∈ { M , M ? 1 , … , 1 } ? L i ? W ι = ? L i ? z ι x ι T ι ∈ { M , M ? 1 , … , 1 } ? L i ? z ι ? 1 = I [ z ι ? 1 > 0 ] ⊙ ( W ι T ? L i ? z ι ) , ι ∈ { M , M ? 1 , … , 1 } \begin{aligned} \frac{\partial L_i}{\partial \boldsymbol{b}_\iota} &= \frac{\partial L_i}{\partial \boldsymbol{z}_\iota} & \iota \in \{M, M-1, \ldots, 1\} \\ \frac{\partial L_i}{\partial \boldsymbol{W}_\iota} &= \frac{\partial L_i}{\partial \boldsymbol{z}_\iota} \boldsymbol{x}_\iota^{\mathsf T} & \iota \in \{M, M-1, \ldots, 1\} \\ \frac{\partial L_i}{\partial \boldsymbol{z}_{\iota-1}} &= \mathbb{I}[\boldsymbol{z}_{\iota-1} > 0] \odot \left( \boldsymbol{W}_\iota^{\mathsf T} \frac{\partial L_i}{\partial \boldsymbol{z}_\iota} \right), & \iota \in \{M, M-1, \ldots, 1\} \end{aligned} ?bι??Li???Wι??Li???zι?1??Li???=?zι??Li??=?zι??Li??xιT?=I[zι?1?>0]⊙(WιT??zι??Li??),?ι∈{M,M?1,…,1}ι∈{M,M?1,…,1}ι∈{M,M?1,…,1}?

其中$\odot$表示逐點乘法，而$\mathbb{I}[{\mathbf{z}}_{\iota ?1}>0]$是一個向量，其中在${\mathbf{z}}_{\iota ?1}$大于零的位置包含一，在其他位置包含零。

最后，計算關于第一組偏差和權重的導數：

$$\begin{array}{rl}\frac{?L_i}{?{\mathbf{b}}_0}& =\frac{?L_i}{?{\mathbf{z}}_0}\\ \frac{?L_i}{?{\mathbf{W}}_0}& =\frac{?L_i}{?{\mathbf{z}}_0}{\mathbf{x}}_i^{\mathsf{T}}.\end{array}$$

為批次中的每個訓練樣本計算這些導數，并將它們相加以獲取用于 SGD 更新的梯度。

請注意，反向傳播算法非常高效；前向和反向傳遞中最耗計算的步驟是矩陣乘法（分別由$\mathbf{W}$和${\mathbf{W}}^{\mathsf{T}}$進行），這只需要加法和乘法。然而，它不是內存高效的；前向傳遞中的中間值必須全部存儲，這可能會限制可以訓練的模型的大小。