深度學習基礎（三）loss函數

? ? loss函數，即損失函數，是決定網絡學習質量的關鍵。若網絡結構不變的前提下，損失函數選擇不當會導致模型精度差等后果。若有錯誤，敬請指正，Thank you！

一、loss函數定義

二、常見的loss算法種類

1.MSE(均值平方差)

2.交叉熵

三、總結

四、tensorflow相應函數

1.MSE

2.交叉熵

一、loss函數定義

loss函數的作用就是描述模型的預測值與真實值之間的差距大小。我的理解是尋找一個標準來幫助訓練機制隨時優化參數，以便于找到網絡的最高精度下的參數。這個標準不難理解，與我們日常生活中的很多事情一致，例如倒車入庫，在你倒車的同時肯定會一邊打方向盤一邊看倒后鏡一樣（當然具備自動倒車入庫功能的車除外），根據倒后鏡中看到的停車線，隨時調整以便能夠準確入庫，這個停車線就是標準。更通俗的來說，loss函數就是指導模型在訓練過程中朝著收斂的方向前進。

二、常見的loss算法種類

1.MSE(均值平方差)

數理統計中演化而來，均方誤差是指參數估計值和參數真實值之差平方的期望值。在此處其主要是對每個預測值與真實值作差求平方的平均值，具體公式如下所示：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? $MSE = \frac{1}{n}\sum_{i=1}^{n}{(Y-Y_{pred})^2}$

MSE越小代表模型越好，類似的算法還包括RMSE和MAD。

2.交叉熵

交叉熵(crossentropy)刻畫了兩個概率分布之間的距離，更適合用在分類問題上，因為交叉熵表達預測輸入樣本屬于某一類的概率。其公式如下所示：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ?? ? ? ?? $C = \frac{1}{n}\sum_{i=1}^{n}{[Yln(Y_{pred})+(1-Y)ln(1-Y_{pred})]}$

與MSE一樣，交叉熵也是值越小代表模型精度越高。

三、總結

loss函數的選取取決于輸入標簽數據的類型：若輸入的是實數、無界的值，損失函數使用平方差；若輸入標簽是位矢量(分類標志)，使用交叉熵更適合。此外預測值與真實值要采用同樣的數據分布，以便于loss函數取得更佳的效果。

四、tensorflow相應函數

由于博主是基于tensorflow的框架來學習深度學習，之后的每篇文章最后一部分都會介紹tensorflow相應函數。

1.MSE

tensorflow沒有單獨的MSE函數，不過可由開發者自己組合即可，如下所示：

#logits為真實值，outputs為預測值
MSE = tf.reduce_mean(tf.square(logits-outputs)))
RMSE = tf.sqrt(tf.reduce_mean(tf.square(logits-outputs)))
mad =  tf.reduce_mean(tf.complex_abs(logits-outputs))

2.交叉熵

tensorflow具有多種常見的交叉熵函數：

#Sigmoid交叉熵
tf.nn.simoid_cross_entropy_with_logits(logits,target,name=None)
#softmax交叉熵
tf.nn.softmax_cross_entropy_with_logits(logits,target,name=None)
#Sparse交叉熵
tf.nn.sparse_cross_entropy_with_logits(logits,target,name=None)
#加權Sigmoid交叉熵
tf.nn.weighter_cross_entropy_with_logits(logits,target,pos_weight,name=None)

參考文獻：

1.《深度學習之tensorflow》

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/256539.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/256539.shtml
英文地址，請注明出處：http://en.pswp.cn/news/256539.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！