二分類交叉熵損失（Binary Cross-Entropy Loss）是用于二分類問題的常見損失函數。它衡量的是模型輸出的預測概率分布與真實標簽之間的差異。
1 二分類問題
在二分類問題中，每個樣本的目標輸出是 0 或 1，表示樣本屬于某一類或另一類。例如，假設我們有一個分類任務，模型的輸出是某個樣本屬于類別 1 的概率 ：，而類別 0 的概率就是?
。
2. 交叉熵損失公式
對于一個單獨的樣本，二分類交叉熵損失可以表示為：
其中：
y是真實標簽，取值為 0 或 1。
是模型預測的類別 1 的概率，通常通過 Sigmoid 函數計算得到，輸出的值在 [0, 1] 之間。
3. 損失函數解釋
-
如果真實標簽 y=1，則損失函數變為
，即當預測的概率
越接近 1 時，損失越小，越接近 0 時，損失越大。
-
如果真實標簽 y=0，則損失函數變為
，即當預測的概率
因此，二分類交叉熵損失的目標是：
-
如果真實標簽是 1，模型要盡量預測一個接近 1 的概率。
-
如果真實標簽是 0，模型要盡量預測一個接近 0 的概率。
4. 平均損失
對于多個樣本，我們通常計算平均損失：
其中 N= 是樣本的數量，是第 iii 個樣本的真實標簽，
是第 i個樣本的預測概率。
5. Sigmoid函數與交叉熵
在二分類中，通常我們先通過 Sigmoid 函數將模型的輸出（通常是一個實數）轉換為概率值 。Sigmoid函數的公式如下：
