引言：損失函數 （Loss Function）是機器學習和深度學習中非常重要的一個概念。用于衡量模型的預測值與真實值之間的差異，從而指導模型優化其參數以最小化這種差異。

一、損失函數作用

• 量化誤差：損失函數是將預測值和真實值之間的差異轉化為一個標量值。
• 優化目標：通過最小化損失函數，模型可以逐步調整參數以提高預測的準確性，用來優化模型參數。
• 評估模型性能：反映模型預測結果與目標值的匹配程度。

二、常見損失函數

1. 回歸問題

損失函數	公式	特點	適用場景
均方誤差（MSE）	$L=\frac{1}{n}{\sum }_{i=1}^n(y_i?{\hat{y}}_i{)}^2$	放大誤差，對離群點敏感	標準線性回歸
平均絕對誤差（MAE）	$L=\frac{1}{n}{\sum }_{i=1}^n|y_i?{\hat{y}}_i|$	抗噪強，優化不穩定	離群點多的回歸
Huber Loss	$L=\{\begin{array}{ll}\frac{1}{2}(y_i?{\hat{y}}_i{)}^2& \text{if?}|y_i?{\hat{y}}_i|\le \delta \\ \delta |y_i?{\hat{y}}_i|?\frac{1}{2}{\delta }^2& \text{其他}\end{array}$	平衡 MAE 和 MSE	魯棒回歸任務
Log-Cosh Loss	$L=\sum \log (\cosh (\hat{y}?y))$	平滑的 MAE	對離群點略魯棒

2. 分類問題

損失函數	公式	特點	適用場景
交叉熵損失（Binary Cross Entropy）	$L=?\frac{1}{n}{\sum }_{i=1}^n\left[y_i\log ({\hat{y}}_i)+(1?y_i)\log (1?{\hat{y}}_i)\right]$	二分類	邏輯回歸、二分類神經網絡
交叉熵損失（Categorical Cross Entropy）	$L=?\frac{1}{n}{\sum }_{i=1}^n{\sum }_{j=1}^k{y}_{ij}\log ({\hat{y}}_{ij})$	多分類	Softmax 輸出
稀疏分類交叉熵（Sparse Categorical Cross Entropy）	使用類索引而不是 one-hot	節省內存	類別數較多
Focal Loss	添加調節因子處理樣本不平衡	小樣本分類	檢測、醫學圖像分類

3. 其他問題

損失函數	應用	說明
相對熵（KL Divergence）	分布擬合	常見于 NLP / VAE
Contrastive Loss	度量學習	Siamese 網絡
Triplet Loss	排序學習	圖像識別、人臉匹配
CTC Loss	序列對齊	語音識別、OCR 等
Dice Loss / IoU Loss	圖像分割	非常常用于醫學圖像

三、如何選擇損失函數

任務類型	輸出形式	推薦損失函數	PyTorch API
回歸（無離群）	連續數值	MSE	nn.MSELoss()
回歸（有離群）	連續數值	MAE / Huber	nn.L1Loss() / nn.HuberLoss()
二分類	概率（Sigmoid）	Binary Cross Entropy	nn.BCELoss() / nn.BCEWithLogitsLoss()
多分類	概率（Softmax）	Cross Entropy	nn.CrossEntropyLoss()
多標簽分類	多個 Sigmoid 輸出	nn.BCEWithLogitsLoss()	多標簽分類問題
圖像分割	概率圖	Dice Loss / Cross Entropy	自定義 Dice Loss
NLP（語言模型）	詞分布	KL Divergence / CE	nn.KLDivLoss() / nn.CrossEntropyLoss()
度量學習	特征嵌入	Contrastive / Triplet	自定義損失函數

四、舉個🌰

import numpy as np# 真實值和預測值
y_true = np.array([1.0, 2.0, 3.0])
y_pred = np.array([1.2, 1.8, 2.5])# 1. 均方誤差 (MSE)
mse = np.mean((y_true - y_pred) ** 2)
print(f"均方誤差: {mse:.4f}")# 2. 均絕對誤差 (MAE)
mae = np.mean(np.abs(y_true - y_pred))
print(f"均絕對誤差: {mae:.4f}")# 3. Huber損失 (delta=1.0)
delta = 1.0
diff = np.abs(y_true - y_pred)
huber = np.mean(np.where(diff <= delta, 0.5 * diff ** 2, delta * diff - 0.5 * delta ** 2))
print(f"Huber損失: {huber:.4f}")# 4. 二分類交叉熵 (假設y_true是0/1標簽，y_pred是概率)
y_true_binary = np.array([0, 1, 1])
y_pred_binary = np.array([0.2, 0.8, 0.9])
cross_entropy = -np.mean(y_true_binary * np.log(y_pred_binary + 1e-10) + (1 - y_true_binary) * np.log(1 - y_pred_binary + 1e-10))
print(f"二分交叉熵: {cross_entropy:.4f}")

均方誤差: 0.1100
均絕對誤差: 0.3000
Huber損失: 0.0550
二分交叉熵: 0.1839

五、總結

損失函數是機器學習和深度學習中不可或缺的一部分，合理選擇和設計損失函數可以顯著提高模型的性能。