1. 引言
最新百川開源了一個可以和openai新模型掰手腕的醫療垂直大模型:Baichuan-M2在HealthBench基準上取值60.1的高分,超過了gpt-oss-120b。這次一起回顧下百川給的技術報告。
2. Baichuan-M2概覽:“模型+系統”
Baichuan-M2的成功源于一套精心設計的、端到端的訓練與優化系統。
- 基礎模型 (Base Model):論文披露,Baichuan-M2建立在Qwen2.5-32B模型之上。選擇一個強大的開源模型作為基座,使其能夠繼承其原有的通用語言理解和推理能力。
- 訓練范式:整個訓練流程可以概括為兩個核心階段:
- 中期訓練 (Mid-Training):一個高效的、有監督的微調階段,旨在將海量、權威的醫學知識注入模型,并教會模型“像醫生一樣”結構化地思考。
- 強化學習 (Reinforcement Learning):在自研的“虛擬臨床世界”中進行大規模的交互式學習,通過與“虛擬病人”對話和“專家級”反饋,優化模型的診斷和治療策略。