Boosting與Bagging的區別

? ? ? ? Bagging思想專注于降低方差，操作起來較為簡單，而Boosting思想專注于降低整體偏差來降低泛化誤差，在模型效果方面的突出表現制霸整個弱分類器集成的領域。具體區別體現在如下五點：

• 弱評估器：Bagging相互獨立、并行構建；Boosting相互關聯，按照順序依次構建，先建弱分類器的效果影響后續模型的建立

• 建樹前的抽樣方式：Bagging和Boosting都是樣本有放回抽樣和特征無放回抽樣；但Boosting先建弱分類器的預測效果可能影響抽樣細節

• 集成的結果：Bagging對回歸進行平均，對分類取眾數，即少數服從多數；Boosting每個算法都有自己獨特的規則，一般表現為某種分數的加權平均和使用輸出函數進行分類，如sigmoid和softmax函數

• 目標：Bagging降低方差來提高模型整體的穩定性來提高泛化能力；Boosting降低偏差提高模型整體的精度來提高泛化能力，眾多弱分類器疊加后可以等同于強學習器

• 單個評估器效力較弱時：Bagging可能失效，需要單個評估器準確率大于50%；Boosting則大概率會提升模型表現

????????如果說Bagging不同算法之間的核心區別在于靠以不同方式實現隨機性，那Bosting的不同算法之間的核心區別就在于上一個弱評估器的評估結果具體如何影響下一個弱評估器的建立過程。