深度學習中的層次分類問題（Hierarchical Classification）是指分類任務中存在類別間的層次結構，且模型需要根據這種層次關系進行預測的問題。與傳統的扁平分類（Flat Classification）不同，層次分類要求模型在預測時考慮類別的層級關系，例如從粗粒度到細粒度的分類過程，或根據類別的樹狀/圖狀結構進行推理。

1. 層次分類的定義與特點

• 層級結構：類別之間存在父子關系或繼承關系，形成一個樹狀或圖狀的層次結構。
  示例：

  • 生物學分類：界→門→綱→目→科→屬→種

  • 商品分類：電子產品→手機→智能手機→iPhone 15

  • 疾病診斷：疾病大類→亞型→具體病理特征

• 分類目標：

  • 直接預測最細粒度的類別（葉節點），同時保證路徑符合層次約束。

  • 在分類過程中逐層細化（如先判斷是否為“動物”，再判斷是否為“哺乳動物”）。

2. 層次分類的常見場景

• 細粒度視覺分類（Fine-Grained Visual Classification）：
  區分鳥類子類（如“麻雀” vs. “畫眉”）、汽車型號（如“寶馬X5” vs. “寶馬X6”）等。

• 文本分類：
  新聞主題分類（如“體育→足球→英超”）、文檔層級標簽標注。

• 醫學診斷：
  疾病類型→亞型→分子分型（如癌癥分類）。

• 電商推薦：
  商品的多層級標簽預測（如“家居→家具→沙發→真皮沙發”）。

3. 層次分類的挑戰

1. 類別不平衡：
   高層級類別數據多，低層級（細粒度）類別數據少。

2. 錯誤傳播：
   若高層分類錯誤，后續細粒度分類無法修正。

3. 復雜層級約束：
   類別可能屬于多個父節點（非嚴格樹狀結構）。

4. 標注成本：
   需要同時標注樣本的層級路徑（如“動物/哺乳動物/犬科/狗”）。

4. 深度學習中解決層次分類的方法

(1) 層次化網絡結構設計

• 分層預測網絡：
  為每個層級設計獨立的分類器，逐層預測。
  示例：

  • 第一層網絡判斷“動物” vs. “植物”，

  • 第二層網絡在“動物”基礎上判斷“哺乳動物” vs. “鳥類”，

  • 最后一層預測具體物種。

• 聯合訓練：
  通過多任務學習同時優化各層級的分類損失。

(2) 層次感知的損失函數

• 層次交叉熵（Hierarchical Cross-Entropy）：
  根據類別層級調整損失權重。例如，對高層錯誤施加更大懲罰。

• 路徑相似性約束：
  強制模型在特征空間中保持類別路徑的拓撲結構（如父類與子類特征相近）。

(3) 層次Softmax

• 樹狀Softmax：
  將Softmax計算限制在層次結構的路徑上，減少計算量并融入層級信息。
  適用場景：大規模層次分類（如WordNet的10萬+類別）。

(4) 圖神經網絡（GNN）

• 利用類別關系圖：
  將類別層次結構建模為圖，通過GNN傳播類別間的依賴關系。

(5) 遷移學習與知識蒸餾

• 預訓練高層特征：
  先在大類上預訓練模型，再微調細粒度分類層。

• 教師模型指導：
  用扁平分類模型作為教師，指導層次分類模型學習細粒度特征。

5. 層次分類 vs. 扁平分類

特性	層次分類	扁平分類
類別關系	顯式利用層級結構	忽略類別關系
計算復雜度	更高（需處理層次約束）	較低
可解釋性	更高（決策路徑可追溯）	較低
適用場景	細粒度分類、層級數據	簡單分類任務

6. 實際應用案例

• ImageNet數據集：
  原始的ImageNet包含WordNet的層次結構（約2萬類別），早期模型需處理層級分類問題。

• 醫療影像診斷：
  預測疾病類型時，需先判斷器官（如“肺部”），再識別病變類型（如“肺癌→腺癌”）。

• 自動駕駛：
  交通標志分類（如“警告標志→限速標志→限速30km/h”）。

7. 關鍵研究方向

• 動態層次分類：允許層次結構隨數據變化自適應調整。

• 小樣本層次分類：在少量標注數據下利用層級關系提升性能。

• 可解釋性增強：可視化模型在層次分類中的決策路徑。