LLM的準確率評估采用什么方式:準確率評估使用的是 sklearn.metrics
模塊中的 accuracy_score
函數
評估方式
代碼里的準確率評估是基于每個樣本最后一個預測的 token 與真實的 token 進行對比。具體來說,它會遍歷測試數據集中的每個樣本,使用模型預測出最后一個 token 的 ID,然后將預測的 token ID 與真實的 token ID 作比較,最后計算預測正確的樣本數量占總樣本數量的比例,以此作為準確率。
公式原理
準確率(Accuracy)的計算公式如下:
Accuracy = 預測正確的樣本數 總樣本數 \text{Accuracy} = \frac{\text{預測正確的樣本數}}{\t