LR和SVM的聯系與區別?
相同點:
(1)?LR和SVM都可以處理分類問題?,且—?般都用于處理線性二?分類問題(在改進的情況下可以處理多分類問題)
(2)兩個方?法都可以增加不同的正則化項?,如L1、?L2等等。所以在很多實驗中?,兩種算法的結果是很接近的。
區別:
(1)?LR是參數模型,?SVM是非參數模型。
(2)從目 標函數來看?,區別在于邏輯回歸采用 的是Logistical Loss?,SVM采用 的是hinge?loss.這兩個損失函數的目?的都是增加對分類影響較大 的數據點的權重?,減少與分類關系較小 的數據點的權重。
(3)?SVM的處理方?法是只考慮Support?Vectors?,也就是和分類最相關的少數點?,去學習分類器。?而邏輯回歸通過??非?線性映射?,大大?減小 了離分類平面?較遠的點的權重?,相對提升了與分類最相關的數據點的權重。
(4)邏輯回歸相對來說模型更簡單,好理解?,特別是大?規模線性分類時比?較方?便。而SVM的理解和優化相對來說?復雜—?些,?SVM轉化為對偶問題后,分類只需要計算與少數幾?個支?持向量的距離,這個在進行?復雜核函數計算時優勢?很明顯,能夠大大?簡化模型和計算。
(5)?Logic能做的SVM能做?,但可能在準確率上有問題,?SVM能做的Logic有的做不了。