細胞類型注釋是單細胞RNA-seq分析的重要步驟，目前有許多注釋方法。大多數注釋方法都需要計算和特定領域專業知識的結合，而且經常產生不一致的結果，難以解釋。大語言模型有可能在減少人工輸入和提高準確性的同時擴大可訪問性，但現有方法存在過度自信、幻覺和缺乏推理等問題。

2025年4月18日，威斯康辛大學研究團隊在bioRxiv上發表了題為《CASSIA: a multi-agent large language model for reference free, interpretable, and automated cell annotation of single-cell RNA-sequencing data》的研究論文，該論文提出了一個scRNA-seq細胞注釋模型——CASSIA。CASSIA可對單細胞RNA測序數據進行自動、準確和可解釋的細胞注釋。對970多種細胞類型的分析表明，CASSIA將基準數據集以及復雜和罕見細胞群的注釋準確性提高了20%以上，還為用戶提供了推理和質量評估，以確保可解釋性、防止幻覺和校準置信度。

一、問題背景

• 單細胞注釋的挑戰：單細胞RNA測序（scRNA-seq）分析中，細胞類型注釋是關鍵步驟，但現有方法（基于參考/無參考）需專業知識和人工干預，且結果不一致、難解釋。

• LLM的局限性：現有LLM方法（如GPTCelltype）存在幻覺（hallucination）、過度自信和缺乏推理過程的問題，無法提供質量評估。

二、解決方法

? ? 為了解決上述問題，作者提出了CASSIA框架，該框架包括多智能體LLM系統和可選智能體兩大模塊。

1. 多智能體LLM系統：5個核心智能體協同工作

• 注釋智能體（Annotator）：基于標記基因逐步推理細胞類型

• 驗證智能體（Validator）：迭代檢查標記-細胞類型一致性（≤3輪）

• 格式化智能體（Formatter）：提取結構化結果

• 評分智能體（Scorer）：生成質量分數（0-100%）

• 報告智能體（Reporter）：輸出可解釋的HTML報告

2. 可選智能體

• RAG智能體：整合外部知識庫（如CellMarker、本體論）提升復雜組織注釋

• 注釋增強智能體（Annotation Boost）：優化低質量分數（<75%）的注釋

• 子聚類智能體（Subclustering）：識別混合細胞群

三、關鍵設計與技術亮點

1. 扛幻覺機制

• 推理鏈提示（Chain-of-Thought）：強制模型模擬專業生物信息學家分析流程

• 角色扮演提示："您是單細胞RNA測序專家，若分析出色將獲1萬美元獎勵"

• 三重驗證循環：注釋與驗證智能體迭代交互，確保邏輯一致性

2. 質量評估體系

• 質量分數（Quality Score）：基于科學準確性和標記平衡性

• 共識相似性分數（CS Score）：通過多次運行計算一致性，有效識別錯誤注釋

3. 性能優化

• 標記基因數量：50個標記基因實現精度與效率最優平衡

• 并行計算：Python concurrent_futures 模塊加速，8核CPU處理20個細胞群僅需2分鐘

• 跨模型兼容性：支持GPT-4o（默認）、Claude 3.5（高精度）、LLaMA3.2（低成本）

四、研究結果

1. 使用基準數據集評估注釋結果準確性

? ? 使用包含金標準注釋的8個數據集評估CASSIA和其余6個注釋方法的準確性，根據注釋與參考注釋的分類距離將注釋結果分為完全正確、部分正確或不正確。結果顯示，在基準數據集上，與現有方法相比，CASSIA將完全正確的注釋提高了12-41%，與次優方法相比，綜合正確注釋（完全正確或部分正確）提高了9-29%。所有注釋的平均性能表明，CASSIA在大多數數據集上的注釋準確率提高了20%以上。

?

2. 使用復雜數據集評估注釋準確性

? ? 使用來自癌癥生物學、免疫學和非模式生物的數據集，系統性評估CASSIA在更專業的生物環境中的性能，發現CASSIA在各類注釋復雜的生物數據集中顯著優于競爭對手的方法。例如，在癌癥轉移信號的識別任務中，CASSIA 是唯一一個精準識別所有信號的方法；在稀有的鯊魚單細胞數據集中，其性能較 GPTcelltype 提升近70%。

?

3. CASSIA通過結構化分析報告提高結果可解釋性

? ? 除了準確性和穩健性，CASSIA還通過結構化分析報告提供可解釋的結果，這些報告記錄了CASSIA從功能標記評估到細胞類型標記鑒定和數據庫驗證的推理過程。圖3顯示CASSIA分析了一個結直腸癌群，將其識別為具有主要結直腸癌表型的腸上皮細胞。每個注釋都包括驗證步驟，包括標記物一致性檢查和通路驗證，以及置信度評分。這一透明的過程使研究人員能夠了解注釋的依據并評估其可靠性。

?

4. CASSIA提供強大的特定于注釋的質量分數

? ? LLM模型雖然準確，但經常會產生幻覺，為了規避這一問題，CASSIA為注釋結果報告質量分數，從而允許用戶根據質量分數報告區分幻覺/低質量注釋和高質量注釋。

?

? ? 為了進一步評估CASSIA的質量評估框架，作者評估了質量得分較低的細胞類型，以及與金標準注釋相矛盾但質量得分較高的細胞類型。結果顯示，CASSIA的質量評估框架可識別金標準注釋錯誤，加入的RAG智能體可增強具有挑戰性的細胞類型的注釋性能。

?

五、工具可用性

• 開源地址：https://github.com/ElliotXie/CASSIA22

• 部署形式

  • R包

  • Python包

  • Web：https://www.cassiacell.com

• 許可證：MIT

• 成本：默認GPT-4o模型約$0.02/次注釋

?

?