神經網絡中梯度計算求和公式求導問題

以下是公式一推導出公式二的過程。

表達式一
$\frac{\partial E}{\partial w_{jk}} = -2(t_k - o_k) \cdot \text{sigmoid}\left(\sum_j w_{jk} \cdot o_j\right) \cdot (1 - \text{sigmoid}\left(\sum_j w_{jk} \cdot o_j\right)) \cdot \frac{\partial}{\partial w_{jk}} \left(\sum_j w_{jk} \cdot o_j\right)$
表達式二
$\frac{\partial E}{\partial w_{jk}} = -2(t_k - o_k) \cdot \text{sigmoid}\left(\sum_j w_{jk} \cdot o_j\right) \cdot (1 - \text{sigmoid}\left(\sum_j w_{jk} \cdot o_j\right)) \cdot o_j$

這是一個關于神經網絡中梯度計算的推導問題，主要運用了鏈式法則來進行求導推導，以下是詳細過程：

已知條件

已知要對 $\frac{\partial E}{\partial w_{j,k}}$ 進行求導，表達式最初形式為：
$\frac{\partial E}{\partial w_{j,k}} = -2(t_{k} - o_{k}) \cdot \text{sigmoid}(\sum_{j} w_{j,k} \cdot o_{j})(1 - \text{sigmoid}(\sum_{j} w_{j,k} \cdot o_{j})) \cdot \frac{\partial (\sum_{j} w_{j,k} \cdot o_{j})}{\partial w_{j,k}}$
這里 $E$ 通常表示誤差， $t_{k}$ 是目標值， $o_{k}$ 是輸出值， $w_{j,k}$ 是權重， $o_{j}$ 是前一層神經元的輸出， $\text{sigmoid}$ 是激活函數。

推導過程

重點關注 $\frac{\partial (\sum_{j} w_{j,k} \cdot o_{j})}{\partial w_{j,k}}$ 這一項。
- 根據求和求導的性質，對于 $\sum_{j} w_{j,k} \cdot o_{j}$ ，因為只有當 $j$ 取特定值時， $w_{j,k}$ 才是變量（其他項的 $w_{i,k}$ 中 $\neq j$ 對于當前求導來說是常量）。
- 那么 $\sum_{j} w_{j,k} \cdot o_{j}$ 展開后，對 $w_{j,k}$ 求導時，除了包含 $w_{j,k}$ 的這一項，其他項都為 0（因為它們相對于 $w_{j,k}$ 是常數）。
- 而包含 $w_{j,k}$ 的這一項為 $w_{j,k} \cdot o_{j}$ ，根據求導公式 $(ax)^\prime = a$ （ $a$ 為常數， $x$ 為變量），對 $w_{j,k} \cdot o_{j}$ 關于 $w_{j,k}$ 求導，結果就是 $o_{j}$ 。
將 $\frac{\partial (\sum_{j} w_{j,k} \cdot o_{j})}{\partial w_{j,k}} = o_{j}$ 代入原式，就得到了第二個表達式：
$\frac{\partial E}{\partial w_{j,k}} = -2(t_{k} - o_{k}) \cdot \text{sigmoid}(\sum_{j} w_{j,k} \cdot o_{j})(1 - \text{sigmoid}(\sum_{j} w_{j,k} \cdot o_{j})) \cdot o_{j}$

綜上，通過對 $\frac{\partial (\sum_{j} w_{j,k} \cdot o_{j})}{\partial w_{j,k}}$ 進行求導并代入原式，就從第一個表達式推導出了第二個表達式。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/71469.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/71469.shtml
英文地址，請注明出處：http://en.pswp.cn/web/71469.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！