【機器學習】反向傳播如何求梯度（公式推導）

寫在前面

前期學習深度學習的時候，很多概念都是一筆帶過，只是覺得它在一定程度上解釋得通就行，但是在強化學習的過程中突然意識到，反向傳播求梯度其實并不是一件簡單的事情，這篇博客的目的就是要講清楚反向傳播是如何對特定的某一層求梯度，進而更新其參數的

為什么反向傳播不容易實現

首先，眾所周知，深度網絡就是一個廣義的多元函數，
但在通常情況下，想要求一個函數的梯度，就必須知道這個函數的具體表達式
但是問題就在于，深度網絡的“傳遞函數”并不容易獲得，或者說并不容易顯式地獲得
進而導致反向傳播的過程難以進行

為什么反向傳播可以實現

損失函數是關于參數的函數

如果要將一個函數F對一個變量x求偏導，那偏導存在的前提條件就是F是關于x的函數，否則求導結果就是0

符號定義（后續公式均據此展開）
- $x=[x1,x2,…xn]x=[x_1,x_2,\dots x_n]$
- $ypred=[y1,y2,…ym]y_{pred}=[y_1,y_2, \dots y_m]$
- $θ=[w1,b1,w2,b2,…wn,bn]\theta=[w_1,b_1,w_2,b_2,\dots w_n,b_n]$
- $a^{i}=第 i層網絡激活函數的輸出，最后一層的輸出就是y_{pred}$
- $z^{i}=第i層網絡隱藏層的輸出$
- $g^i\ '(z^i)第i層激活函數的導數，在輸入=z^i處的值$
關系式
- 網絡的抽象函數式 $ypred=F(x;θ)y_{pred}=F(x;\theta)$
  即網絡就是一個巨大的多元函數，接受兩個向量（模型輸入和參數）作為輸入，經過內部正向傳播后輸出一個向量
- 損失函數Loss的抽象函數式 $Loss=L(ytrue,ypred)=L(ytrue,F(x;θ))Loss=L(y_{true},y_{pred})=L(y_{true},F(x;\theta))$
  其中 $y_{true}$ 和 $x$ 屬于參變量，它雖然會變，但是和模型本身沒什么關系，唯一屬于模型自己的變量就是 $θ\theta$ ，所以不難看出，損失函數L是關于模型參數 $θ\theta$ 的函數，損失值Loss完全由模型參數 $θ\theta$ 決定

鏈式法則

這個法則是深層網絡得以實現梯度計算的關鍵
核心公式如下：
$\frac{\partial L}{\partial \theta^i}=\frac{\partial L}{\partial z^i}·\frac{\partial z^i}{\partial \theta^i}$
其中， $?L?zi\frac{\partial L}{\partial z^i}$ 是損失L對第i層加權輸入 $z^i$ 的梯度， $?zi?θi\frac{\partial z^i}{\partial \theta^i}$ 是第i層加權輸入 $z^i$ 對本層參數 $θi\theta^i$ 的梯度
進一步深究可以發現 $?zi?θi\frac{\partial z^i}{\partial \theta^i}$ 相對容易求，因為它只涉及到當前層的當前神經元的求解，在面向對象語言中，很容易為每個屬于同一個類的實例增加一個方法，比如像這里的輸入對參數求導，舉例來說;
$if\ \theta^i=W^i\ and\ Z^i=W^i*a^{i-1}+b^i,\\ then\ \frac{\partial z^i}{\partial \theta^i}=(a^{i-1})^T$
其中，
(說實話，我非常想把隱藏層稱為“傳遞函數”，控制和機器學習實際上有非常多可以相互借鑒的地方，而且在事實上，二者也確實是不可分割的關系)
然后我們要來處理相對麻煩的 $?L?zi\frac{\partial L}{\partial z^i}$
- 多層感知機為例，共k層，已知網絡輸出，求網絡第i層的梯度
- 用數學歸納法在這種遞歸系統中比較合適
  - 歸納奠基
    $L=L(ytrue,ypred)=L(ytrue,F(x;θ))L=L(y_{true},y_{pred})=L(y_{true},F(x;\theta))$
    
    $?L?zk=?L?ak??ak?zk=?L?ak?(gk)′(zk)\frac{\partial L}{\partial z^k}=\frac{\partial L}{\partial a^k}·\frac{\partial a^k}{\partial z^k}=\frac{\partial L}{\partial a^k}\otimes (g^k)'(z^k)$
    
    上面的公式說明：損失對隱藏層輸出的偏導，等價于損失函數對最終輸出的偏導，再逐元素乘上最后層激活函數 在隱藏層輸出處 的導數
    
    其中，激活函數在創建網絡時就明確已知，因此求導取值并沒有難度
    由于 $Loss=L(y_{true},y_{pred})$ 直接與網絡最終輸出 $y_{pred}$ 相關，因此損失對最終輸出的偏導并不難求；
    比如將損失函數定義為均方差MSE:（其他網絡基本同理）
    $L=12∑j=1m(yj?ajk)2?L?ak=?(yj?ajk)L=\frac{1}{2}\sum^m_{j=1}(y_j-a_j^k)^2\\\frac{\partial L}{\partial a^k}=-(y_j-a_j^k)$
  - 歸納遞推（從第 i 層到第 i-1 層）
    
    假設已知 $?L?zi\frac{\partial L}{\partial z^i}$ （反向傳播，因此我們假設的是后一層已知）
    
    由鏈式法則可得：
    $?L?zi?1=(?L?zi)?(?zi?ai?1)?(?ai?1?zi?1)\frac{\partial L}{\partial z^{i-1}}=(\frac{\partial L}{\partial z^i})·(\frac{\partial z^i}{\partial a^{i-1}})·(\frac{\partial a^{i-1}}{\partial z^{i-1}})$
    其中，第一個因子已知
    
    第二個因子 $?zi?ai?1\frac{\partial z^i}{\partial a^{i-1}}$ ，分子為第 i 層隱藏層的輸出，分母為第 i 層隱藏層的輸入（即第 i-1 層激活層的輸出），因此其值就是第 i 層隱藏層的權重矩陣 $W^i$ 本身
    
    第三個因子 $?ai?1?zi?1\frac{\partial a^{i-1}}{\partial z^{i-1}}$ ，分子為第 i-1 層激活層的輸出，分母為第 i-1 層激活層的輸入，因此其值就是第 i-1 層激活函數 在隱藏層輸出處 的導數
    
    綜上：在已知第 i 層損失對輸出的梯度的情況下，可以推出第 i-1 層損失對輸出的梯度，遞推成立
  - 歸納總結
    綜上所述，反向傳播求梯度完全可行，按照上面的過程撰寫程序，就可以很方便地反向逐層根據損失梯度更新參數

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/914300.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/914300.shtml
英文地址，請注明出處：http://en.pswp.cn/news/914300.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！