模型評估:對預測函數地預測精度的評估。
多重回歸:涉及三個及其以上的變量的回歸問題。
評估模型的方法:
交叉驗證:將數據集分成測試集和訓練集,可以采用3:7或者2:8的比例方式進行劃分,使用測試集進行對模型的評估,對測試數據計算測試數據的誤差的平方,再取其平均值,也就是以前提及的均方差MSE(Mean Square Error,誤差越小,精度越高):
TP:True Positive,預測正確(T),實際為正,預測為正
FP:False Positive,預測錯誤(F),實際為負,預測為正
TN:True Negative,預測正確(T),實際為負,預測為負
FN:False Negative,預測錯誤(F),實際為正,預測為負
分類準確率公式:其值越高,則模型精度越高,意味著模型越好(在數據量平衡的情況下)
?
如何在不考慮數據量是否均衡的情況下,使得其能更好評估模型,這就涉及精確率公式:
該值越高,說明被錯誤分類的樣本越少
同時還有另外一個評估模型的指標公式,其為召回率Recall:
三個公式總結圖:
所以一般評估模型采用分類準確率acc、精確率P、召回率R來綜合來評價一個模型。但是一般來說,精確率P和召回率R會一個高一個低,需要對其進行取舍。所以為了更為全面的評估一個模型的好壞,故引入F值,F值是能夠綜合評定模型性能的指標。F值的公式如下所示:
該F值的公式稱為F1值更為準確,因為這是在β權重為1時的公式表達式,F1值為精確率和召回率的調和平均值。其更為普適的公式為Fβ公式:
在計算P、R、F值的時,統計的對象可能是TP,也可以是TN。那么我們該如何選擇呢?
當面對數據不平衡的情況,使用數據較少的數據集作為統計對象,來計算其對應的P、R、F值。即用數量少的。
K折交叉驗證:
不單單可以將數據分成3:7或者2:8,這里有一個K折交叉驗證,將全部的數據集劃分為K份,將K-1份數據作為訓練數據,剩下的一份作為測試數據,然后每次更好訓練數據和測試數據,重復K次交叉驗證。再最后計算K個精度的平均值,作為其最終的精度。
那么K折交叉驗證的K值的確定怎么設定合適呢?
設定過大,會增加時間的耗費。所以只能盡可能憑借經驗確定一個合適的K值。