什么是邏輯回歸
- 線性回歸預測的是一個連續值,邏輯回歸給出的“是”和“否”的回答
Singmoid
- sigmoid函數是一個概率分布函數,給定某個輸入,它將輸出為一個概率值
邏輯回歸損失函數
- 平方差所懲罰的是與損失為同一數量級的情形,對于分類問題,我們最好的使用交叉熵損失函數會更有效,交叉熵會輸出一個更大的“損失”
交叉熵損失函數
- 交叉熵刻畫的是實際輸出(概率)與期望輸出(概率)的距離,也就是交叉熵的值越小,兩個概率根部就越近。假設概率分布p為期望輸出,概率分布q為實際輸出,H(p,q)為交叉熵,則:
keras交叉熵
在keras里,我們使用 binary-crossentropy 來計算二元交叉熵