摘要
醫學圖像分析中的深度學習模型易受數據集偽影偏差、相機差異、成像設備差異等導致的分布偏移影響，導致在真實臨床環境中診斷不可靠。領域泛化（Domain Generalization, DG）方法旨在通過多領域訓練提升模型在未知領域的性能，但其依賴精確的領域標簽，而醫學數據通常缺乏此類標簽。為此，我們提出一種無需領域標簽的領域泛化框架——提示驅動的潛在領域泛化（Prompt-driven Latent Domain Generalization, PLDG）。該框架包含無監督領域發現與提示學習：首先通過聚類與偏差相關的風格特征生成偽領域標簽，隨后利用協作式領域提示引導視覺變換器（ViT）從多樣化的潛在領域學習知識。通過領域提示生成器實現跨領域知識共享，并采用領域混合策略緩解偽標簽噪聲問題。在皮膚癌分類、糖尿病視網膜病變分類和組織病理學癌癥檢測等任務上的實驗表明，PLDG無需領域標簽即可達到或超越傳統DG方法的性能。
關鍵詞：領域泛化，提示學習，皮膚病學，皮膚癌，糖尿病視網膜病變
I. 引言
深度學習在醫學圖像分析中取得了顯著進展，但其性能易受分布偏移的影響。例如，皮膚鏡圖像分類模型可能過度依賴標尺、凝膠氣泡等偽影而非實際病灶特征；糖尿病視網膜病變（Diabetic Retinopathy, DR）分類模型可能過擬合特定相機的成像風格。此類偏差導致模型在真實臨床場景中的泛化能力受限。傳統領域泛化方法旨在通過多領域訓練提升模型對未知領域的適應性，但其依賴預定義的領域標簽。然而，醫學數據中領域標簽常面臨以下挑戰：
-
獲取成本高：領域標簽需人工標注，耗時費力；
-
定義模糊：醫學圖像的領域劃分（如偽影類型、醫院來源）缺乏統一標準，不同專家可能存在分歧；
-
任務依賴性：領域劃分與下游任務強相關，難以跨任務遷移。
現有方法存在兩大局限性：
-
數據集層面：依賴領域標簽的假設不切實際；
-
算法層面：領域不變特征學習可能忽略對未知領域有用的信號，而集成學習方法未充分利用跨領域信息。
為此，我們提出潛在領域泛化（Latent Domain Generalization, LDG），通過無監督方式自動發現潛在領域并實現模型泛化。本文的核心貢獻如下：
-
無需領域標簽的框架：提出PLDG，通過聚類ViT淺層風格特征生成偽領域標簽，結合提示學習實現跨領域知識遷移；
-
領域提示生成器：通過低秩分解促進領域提示間的知識共享；
-
領域混合策略：緩解偽標簽噪聲問題，增強決策邊界靈活性；
-
廣泛驗證：在皮膚病變、DR分類、癌癥檢測及去偏任務中驗證有效性，性能超越傳統DG方法。
II. 相關工作
A. 領域泛化
傳統方法包括：
-
領域對抗訓練：如DANN通過對抗損失對齊特征分布；
-
統計對齊：如CORAL匹配二階統計量；
-
元學習：通過模擬領域偏移優化模型魯棒性。
近期研究表明，ViT因其對紋理偏差的弱敏感性，在DG任務中表現優于CNN。然而，現有方法仍依賴領域標簽，且醫學圖像領域泛化研究較少。
B. 醫學圖像中的領域泛化
現有工作多依賴人工標注的偽影標簽或數據集差異作為領域標簽，但存在噪聲和定義不準確問題。例如，Bissoto等人通過二元分類器標注皮膚數據集的偽影標簽，但標注結果可能存在誤差；Mohammad等人將不同DR數據集直接視為不同領域，忽略了數據集內部相機多樣性。本文首次提出基于ViT風格特征的無監督領域發現方法，擺脫對預定義標簽的依賴。
C. 提示學習
提示學習通過添加可學習向量適配預訓練模型至下游任務。例如，VPT在ViT中插入可學習提示以微調模型；Doprompt為不同領域設計獨立提示以捕獲領域特定知識。與現有方法不同，PLDG引入領域提示生成器，通過共享提示與低秩分解實現跨領域協作學習。
III. 方法
A. 問題定義
B. 整體框架
PLDG框架如圖1所示，包含以下步驟：
-
無監督領域發現：基于ViT淺層CLS令牌的風格特征聚類生成偽領域標簽；
-
領域提示學習：通過領域提示生成器與混合策略優化模型，提升跨領域泛化能力。
C. 基于簡約性偏差的偽領域標簽聚類
深度學習模型存在簡約性偏差（Simplicity Bias），即傾向于學習簡單特征（如背景偽影）而非復雜語義特征。本文利用該特性，從ViT淺層（如第1層）提取CLS令牌風格特征，通過k-means聚類生成偽領域標簽。風格特征對齊損失定義為：
D. 基于ViT的領域提示學習
2. 損失函數
IV. 實驗結果
A. 實驗設置
B. 對比實驗
1. 皮膚癌分類（表I）
PLDG在Derm7pt_derm和PAD數據集上分別提升3.46%和14.18%，平均ROC-AUC達84.32%，優于DANN、CORAL等傳統方法。
2. DR分類（表II）
PLDG平均準確率達75.6%，顯著高于依賴領域標簽的方法（如ERM++：72.1%），表明其在領域標簽噪聲場景下的優勢。
3. 癌癥檢測（表III）
PLDG在Camelyon17-WILDS上準確率為89.7%，僅次于使用領域標簽的EPVT（90.2%），驗證其實際應用價值。
C. 消融實驗（表IV、V）
逐步添加提示（P）、適配器（A）、混合（M）、生成器（G）組件，結果顯示：
-
+P：平均ROC-AUC提升3.39%；
-
+P+A+M：進一步提升0.87%；
-
+P+A+M+G：最終提升1.26%，驗證各模塊的有效性。
D. 超參數分析（圖4）
-
提示長度：4時性能最優；
-
聚類數：4時平均ROC-AUC最高，且對聚類數不敏感（2~5均表現良好）。
E. 領域提示權重分析（圖5）
領域距離（Fr'echet距離）與提示權重呈負相關，表明模型能自適應關注與目標領域相似的源領域。
F. 聚類分析（圖6、7）
-
ViT淺層（L1）CLS令牌聚類結果與類別標簽無關（NMI=0.12），主要反映風格特征；
-
t-SNE可視化顯示偽領域對應“墨水標記”、“暗角”、“深膚色”等醫學相關偏差。
G. 去偏評估（圖8）
在陷阱數據集中，PLDG在最高偏差等級（Bias=1）時ROC-AUC為68.5%，顯著優于ERM（62.37%），表明其對分布偏移的魯棒性。
V. 結論
本文提出PLDG框架，首次在醫學圖像分類中實現無需領域標簽的潛在領域泛化。實驗表明：
-
領域標簽非必要：通過偽標簽發現，PLDG性能媲美甚至超越傳統DG方法；
-
跨領域知識共享：領域提示生成器有效促進知識遷移；
-
魯棒性：領域混合策略緩解偽標簽噪聲，提升模型泛化能力。未來工作將擴展至多模態醫學數據與實時部署場景。（代碼QQandweichat）
 |  |
參考文獻
圖1?傳統領域泛化與潛在領域泛化對比
圖2?PLDG算法流程
圖3?領域提示生成器與混合策略示意圖
圖4?提示長度與聚類數對性能的影響
圖5?領域提示權重與領域距離的關系
圖6?偽領域標簽與類別/領域標簽的標準化互信息（NMI）
圖7?偽領域標簽的t-SNE可視化
圖8?陷阱數據集去偏性能對比
-E卷-100分)
