一、GRPO的核心原理與設計目標

Group Relative Policy Optimization（GRPO）是DeepSeek團隊提出的一種強化學習算法，旨在解決傳統PPO（Proximal Policy Optimization）在大語言模型（LLM）訓練中的資源消耗問題。其核心創新在于 通過組內相對獎勵替代價值函數（Critic Model） ，顯著降低了計算成本。具體實現包括：

1. 組采樣機制：針對每個輸入問題生成多個輸出（如G=16），計算組內獎勵的均值和標準差。
2. 優勢函數計算：采用歸一化公式 A i = r