[轉]小白都能看懂的softmax詳解

1.softmax初探

在機器學習尤其是深度學習中，softmax是個非常常用而且比較重要的函數，尤其在多分類的場景中使用廣泛。他把一些輸入映射為0-1之間的實數，并且歸一化保證和為1，因此多分類的概率之和也剛好為1。
首先我們簡單來看看softmax是什么意思。顧名思義，softmax由兩個單詞組成，其中一個是max。對于max我們都很熟悉，比如有兩個變量a,b。如果a>b，則max為a，反之為b。用偽碼簡單描述一下就是 if a > b return a; else b。
另外一個單詞為soft。max存在的一個問題是什么呢？如果將max看成一個分類問題，就是非黑即白，最后的輸出是一個確定的變量。更多的時候，我們希望輸出的是取到某個分類的概率，或者說，我們希望分值大的那一項被經常取到，而分值較小的那一項也有一定的概率偶爾被取到，所以我們就應用到了soft的概念，即最后的輸出是每個分類被取到的概率。

2.softmax的定義

首先給一個圖，這個圖比較清晰地告訴大家softmax是怎么計算的。
這里寫圖片描述
(圖片來自網絡)

假設有一個數組V，Vi 表示V中的第i個元素，那么這個元素的softmax值為:

S i = e i \sum j e j

該元素的softmax值，就是該元素的指數與所有元素指數和的比值。

這個定義可以說很簡單，也很直觀。那為什么要定義成這個形式呢？原因主要如下。
1.softmax設計的初衷，是希望特征對概率的影響是乘性的。
2.多類分類問題的目標函數常常選為cross-entropy。即L=?∑ktk?lnP(y=k) ，其中目標類的tk 為1，其余類的tk 為0。
在神經網絡模型中(最簡單的logistic regression也可看成沒有隱含層的神經網絡)，輸出層第i個神經元的輸入為ai=∑dwidxd 。
神經網絡是用error back-propagation訓練的，這個過程中有一個關鍵的量是?L/?αi 。后面我們會進行詳細推導。

3.softmax求導

前面提到，在多分類問題中，我們經常使用交叉熵作為損失函數

L o s s = ? \sum i t i l n y i

其中，ti 表示真實值，yi 表示求出的softmax值。當預測第i個時，可以認為ti=1 。此時損失函數變成了:

L o s s i = ? l n y i

接下來對Loss求導。根據定義：

y i = e i \sum j e j

我們已經將數值映射到了0-1之間，并且和為1，則有：

e i \sum j e j = 1 ? \sum j \neq i e j \sum j e j

接下來開始求導

? L o s s i ? i = ? ? l n y i ? i = ? ( ? l n e i \sum j e j ) ? i = ? 1 e i \sum j e j ? ? ( e i \sum j e j ) ? i = ? \sum j e j e i ? ? ( 1 ? \sum j \neq i e j \sum j e j ) ? i = ? \sum j e j e i ? (? \sum j \neq i e j) ? ? ( 1 \sum j e j ) ? i = \sum j e j ? \sum j \neq i e j e i ? ? e i ( \sum j e j ) 2 = \sum j \neq i e j \sum j e j = ? (1 ? e i \sum j e j) = y i ? 1

上面的結果表示，我們只需要正想求出yi ，將結果減1就是反向更新的梯度，導數的計算是不是非常簡單！

4.softmax VS k個二元分類器

如果你在開發一個音樂分類的應用，需要對k種類型的音樂進行識別，那么是選擇使用 softmax 分類器呢，還是使用 logistic 回歸算法建立 k 個獨立的二元分類器呢？
這一選擇取決于你的類別之間是否互斥，例如，如果你有四個類別的音樂，分別為：古典音樂、鄉村音樂、搖滾樂和爵士樂，那么你可以假設每個訓練樣本只會被打上一個標簽（即：一首歌只能屬于這四種音樂類型的其中一種），此時你應該使用類別數 k = 4 的softmax回歸。（如果在你的數據集中，有的歌曲不屬于以上四類的其中任何一類，那么你可以添加一個“其他類”，并將類別數 k 設為5。）
如果你的四個類別如下：人聲音樂、舞曲、影視原聲、流行歌曲，那么這些類別之間并不是互斥的。例如：一首歌曲可以來源于影視原聲，同時也包含人聲。這種情況下，使用4個二分類的 logistic 回歸分類器更為合適。這樣，對于每個新的音樂作品，我們的算法可以分別判斷它是否屬于各個類別。
現在我們來看一個計算視覺領域的例子，你的任務是將圖像分到三個不同類別中。(i) 假設這三個類別分別是：室內場景、戶外城區場景、戶外荒野場景。你會使用sofmax回歸還是 3個logistic 回歸分類器呢？ (ii) 現在假設這三個類別分別是室內場景、黑白圖片、包含人物的圖片，你又會選擇 softmax 回歸還是多個 logistic 回歸分類器呢？
在第一個例子中，三個類別是互斥的，因此更適于選擇softmax回歸分類器。而在第二個例子中，建立三個獨立的 logistic回歸分類器更加合適。

參考文獻：
1.https://www.zhihu.com/question/40403377
2.http://deeplearning.stanford.edu/wiki/index.php/Softmax回歸

---------------------
作者：bitcarmanlee
來源：CSDN
原文：https://blog.csdn.net/bitcarmanlee/article/details/82320853
版權聲明：本文為作者原創文章，轉載請附上博文鏈接！
內容解析By：CSDN,CNBLOG博客文章一鍵轉載插件

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/285335.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/285335.shtml
英文地址，請注明出處：http://en.pswp.cn/news/285335.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！