提升樹 （Boosting Decision Tree ）
每一個弱學習器通過擬合殘差來構建強學習器
梯度提升樹 （Gradient Boosting Decision Tree）
每一個弱學習器通過擬合負梯度來構建強學習器
一、提升樹
殘差
數學公式為：
殘差=真實值?預測值
其中：
- ri?：第?i?個樣本的殘差
- yi：第?i?個樣本的真實值（觀測值）
- y^i：模型對第?i?個樣本的預測值
二、GBDT
? ? ? ? GBDT（梯度提升樹）不再擬合殘差，而是利用梯度下降的近似方法，利用損失函數的負梯度作為提升樹算法中的殘差近似值。
負梯度
負梯度=殘差=真實值-預測值
流程
1 初始化弱學習器（目標值的均值作為預測值）
2 迭代構建學習器，每一個學習器擬合上一個學習器的負梯度
3 直到達到指定的學習器個數
4 當輸入未知樣本時，將所有弱學習器的輸出結果組合起來作為強學習器的輸出
詳細過程
