很多同學問：“模型好不好，怎么量化？”
本篇系統梳理 sklearn.metrics 中常用且“夠用”的多分類指標，并給出一段可直接運行的示例代碼，覆蓋：準確率、宏/微/加權 F1、Kappa、MCC、混淆矩陣（計數/歸一化）、Top-K 準確率、ROC-AUC（OvR/OvO）、PR-AUC、對數損失、（多類）Brier 分數、以及 ROC/PR 曲線繪制。

🧭 指標速覽與使用場景

• 整體驗證

  • accuracy_score（OA，總體準確率）
  • balanced_accuracy_score（類別不均衡時更合理）

• 逐類與加權

  • precision_recall_fscore_support / classification_report
  • 平均方式：average="macro" | "micro" | "weighted"

• 一致性/穩健性

  • cohen_kappa_score（Kappa）
  • matthews_corrcoef（MCC，抗不均衡）

• 混淆矩陣

  • confusion_matrix（計數 & 歸一化）

• 概率質量/排序質量

  • roc_auc_score（多類：multi_class="ovr"|"ovo"；average="macro"|"weighted"）
  • average_precision_score（PR-AUC）
  • top_k_accuracy_score（Top-K）
  • log_loss（對數損失，校準敏感）
  • 多類 Brier（自定義：one-hot 與 predict_proba 的 MSE 均值）

• 曲線

  • ROC 曲線（micro/macro）
  • Precision-Recall 曲線（micro）

經驗：類不均衡→看 balanced_accuracy / macro-F1 / Kappa / MCC；
要概率好壞→看 log_loss / ROC-AUC / PR-AUC；
Top-K 檢索/多候選→看 top_k_accuracy_score。

💻 一鍵可跑代碼（修改 DATA_DIR 后直接運行）

# -*- coding: utf-8 -*-
"""
Sklearn案例⑧：metrics 全解析（多分類 / 概率與曲線）
數據：KSC（將 DATA_DIR 改為你的數據路徑）
"""import os, numpy as np, scipy.io as sio, matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import (accuracy_score, balanced_accuracy_score,precision_recall_fscore_support, classification_report, confusion_matrix,cohen_kappa_score, matthews_corrcoef, top_k_accuracy_score, roc_auc_score,average_precision_score, log_loss)
from sklearn.preprocessing import label_binarize# ============ 參數 ============
DATA_DIR = "your_path"     # ←← 修改為包含 KSC.mat / KSC_gt.mat 的目錄
PCA_DIM, TRAIN_RATIO, SEED = 30, 0.3, 42# ============ 1. 載入與預處理 ============
X = sio.loadmat(os.path.join(DATA_DIR, "KSC.mat"))["KSC"].astype(np.float32)  # (H,W,B)
Y = sio.loadmat(os.path.join(DATA_DIR, "KSC_gt.mat"))["KSC_gt"].astype(int)   # (H,W)
coords = np.argwhere(Y != 0)
Xpix   = X[coords[:,0], coords[:,1]]       # (N,B)
y      = Y[coords[:,0], coords[:,1]] - 1   # 0..C-1
num_classes = int(y.max() + 1)Xtr, Xte, ytr, yte = train_test_split(Xpix, y, train_size=TRAIN_RATIO,stratify=y, random_state=SEED)
scaler = StandardScaler().fit(Xtr)
pca    = PCA(n_components=PCA_DIM, random_state=SEED).fit(scaler.transform(Xtr))
Xtr    = pca.transform(scaler.transform(Xtr))
Xte    = pca.transform(scaler.transform(Xte))# ============ 2. 訓練一個可輸出概率的模型 ============
# 用 RF 示范（也可以換 SVC(probability=True)、LogReg 等）
clf = RandomForestClassifier(n_estimators=300, random_state=SEED, n_jobs=-1)
clf.fit(Xtr, ytr)
y_pred = clf.predict(Xte)
y_proba = clf.predict_proba(Xte)           # (N_test, C)# ============ 3. 基礎/穩健指標 ============
oa  = accuracy_score(yte, y_pred)
boa = balanced_accuracy_score(yte, y_pred)
kappa = cohen_kappa_score(yte, y_pred)
mcc   = matthews_corrcoef(yte, y_pred)prec_m, rec_m, f1_m, _   = precision_recall_fscore_support(yte, y_pred, average="macro", zero_division=0)
prec_w, rec_w, f1_w, _   = precision_recall_fscore_support(yte, y_pred, average="weighted", zero_division=0)print("=== 基礎評估 ===")
print(f"OA                : {oa*100:.2f}%")
print(f"Balanced Acc      : {boa*100:.2f}%")
print(f"Macro-F1          : {f1_m*100:.2f}% (P={prec_m*100:.1f} R={rec_m*100:.1f})")
print(f"Weighted-F1       : {f1_w*100:.2f}% (P={prec_w*100:.1f} R={rec_w*100:.1f})")
print(f"Cohen's Kappa     : {kappa:.4f}")
print(f"Matthews Corrcoef : {mcc:.4f}")
print("\n=== 分類報告（逐類） ===")
print(classification_report(yte, y_pred, digits=4, zero_division=0))# ============ 4. 混淆矩陣（計數/歸一化） ============
cm = confusion_matrix(yte, y_pred, labels=np.arange(num_classes))
cm_norm = cm / np.maximum(cm.sum(axis=1, keepdims=True), 1)plt.figure(figsize=(10,4))
plt.subplot(1,2,1)
plt.imshow(cm, interpolation='nearest')
plt.title("Confusion Matrix (Counts)")
plt.xlabel("Pred"); plt.ylabel("True")
plt.colorbar(fraction=0.046, pad=0.04)plt.subplot(1,2,2)
plt.imshow(cm_norm, vmin=0, vmax=1, interpolation='nearest')
plt.title("Confusion Matrix (Normalized)")
plt.xlabel("Pred"); plt.ylabel("True")
plt.colorbar(fraction=0.046, pad=0.04)
plt.tight_layout(); plt.show()# ============ 5. 概率/排序質量 ============
# 5.1 多類 ROC-AUC：OvR & OvO（macro/weighted）
y_bin = label_binarize(yte, classes=np.arange(num_classes))  # (N,C)
auc_ovr_macro = roc_auc_score(yte, y_proba, multi_class="ovr", average="macro")
auc_ovr_weight= roc_auc_score(yte, y_proba, multi_class="ovr", average="weighted")
auc_ovo_macro = roc_auc_score(yte, y_proba, multi_class="ovo", average="macro")
print("\n=== 概率/排序質量 ===")
print(f"ROC-AUC OvR (macro)   : {auc_ovr_macro:.4f}")
print(f"ROC-AUC OvR (weighted): {auc_ovr_weight:.4f}")
print(f"ROC-AUC OvO (macro)   : {auc_ovo_macro:.4f}")# 5.2 PR-AUC（macro）
ap_macro = average_precision_score(y_bin, y_proba, average="macro")
print(f"PR-AUC (macro)        : {ap_macro:.4f}")# 5.3 對數損失（log-loss）
ll = log_loss(yte, y_proba, labels=np.arange(num_classes))
print(f"Log Loss              : {ll:.4f}")# 5.4 多類 Brier（自定義：one-hot 與 predict_proba 的 MSE 均值）
brier_multi = np.mean((y_bin - y_proba)**2)
print(f"Brier Score (multi)   : {brier_multi:.4f}")# 5.5 Top-K 準確率（以 K=3 為例）
top3 = top_k_accuracy_score(yte, y_proba, k=3, labels=np.arange(num_classes))
print(f"Top-3 Accuracy        : {top3*100:.2f}%")# ============ 6. 曲線：micro-ROC 與 micro-PR ============
# micro：將多類視為一個“整體二分類”匯總，便于一張圖比較
from sklearn.metrics import RocCurveDisplay, PrecisionRecallDisplay
# ROC (micro)
fpr = dict(); tpr = dict()
from sklearn.metrics import roc_curve, precision_recall_curve, auc
y_bin_pred = y_proba
fpr_micro, tpr_micro, _ = roc_curve(y_bin.ravel(), y_bin_pred.ravel())
roc_auc_micro = auc(fpr_micro, tpr_micro)# PR (micro)
prec_micro, rec_micro, _ = precision_recall_curve(y_bin.ravel(), y_bin_pred.ravel())
pr_auc_micro = auc(rec_micro, prec_micro)plt.figure(figsize=(10,4))
plt.subplot(1,2,1)
plt.plot(fpr_micro, tpr_micro, lw=2, label=f"micro-ROC AUC={roc_auc_micro:.3f}")
plt.plot([0,1],[0,1],'--', lw=1)
plt.xlabel("FPR"); plt.ylabel("TPR")
plt.title("ROC (micro-average)")
plt.legend(frameon=False)plt.subplot(1,2,2)
plt.plot(rec_micro, prec_micro, lw=2, label=f"micro-PR AUC={pr_auc_micro:.3f}")
plt.xlabel("Recall"); plt.ylabel("Precision")
plt.title("Precision-Recall (micro-average)")
plt.legend(frameon=False)
plt.tight_layout(); plt.show()

? 實戰要點（如何選指標）

• 報告一頁通讀：OA + macro-F1 + Kappa + MCC + 混淆矩陣(歸一化)
  這幾項能同時反映整體、逐類與穩健性，對不均衡也更有意義。
• 需要概率質量：加上 log_loss + ROC-AUC(ovr, macro) + PR-AUC(macro)；
  若要“多候選命中”，再加 Top-K。
• 展示與溝通：曲線（ROC/PR）更直觀，歸一化混淆矩陣能指出“易混類”。
• 避免踩坑：類別極不均衡時，單看 accuracy 容易誤判；閾值可調的任務（告警/檢索），更應看 PR-AUC 與 Precision-Recall 曲線。

歡迎大家關注下方我的公眾獲取更多內容！