【機器學習】機器學習的基本分類-監督學習-梯度提升樹（Gradient Boosting Decision Tree, GBDT）

梯度提升樹是一種基于**梯度提升（Gradient Boosting）**框架的機器學習算法，通過構建多個決策樹并利用每棵樹擬合前一棵樹的殘差來逐步優化模型。

1. 核心思想

Boosting：通過逐步調整模型，使后續的模型重點學習前一階段未能正確擬合的數據。
梯度提升：將誤差函數的負梯度作為殘差，指導新一輪模型的訓練。

與隨機森林的區別

特性	隨機森林	梯度提升樹
基本思想	Bagging	Boosting
樹的訓練方式	并行訓練	順序訓練
樹的類型	完全樹	通常是淺樹（弱學習器）
應用場景	抗過擬合、快速訓練	高精度、復雜任務

2. 算法流程

輸入：
- 數據集 $D = \{ (x_i, y_i) \}_{i=1}^{n}$ ?。
- 損失函數 $L(y, \hat{y})$ ，如平方誤差、對數似然等。
- 弱學習器個數 T?和學習率 η。
初始化模型：
- $f_0$ 是一個常數，通常為目標變量的均值（回歸）或類別概率的對數（分類）。
迭代訓練每棵弱學習器（樹）：
- 第 t 次迭代：
  1. 計算第 t?輪的負梯度（殘差）：
    $r_i^{(t)} = -\left[ \frac{\partial L(y_i, f(x_i))}{\partial f(x_i)} \right]_{f=f_{t-1}}$
    殘差反映當前模型未能擬合的部分。
  2. 構建決策樹 $h_t(x)$ 擬合殘差 $r_i^{(t)}$ 。
  3. 計算最佳步長（葉節點輸出值）： $\gamma_t = \arg\min_\gamma \sum_{i=1}^n L\left(y_i, f_{t-1}(x_i) + \gamma h_t(x_i)\right)$
  4. 更新模型： $f_t(x) = f_{t-1}(x) + \eta \gamma_t h_t(x)$ 其中 η?是學習率，控制每棵樹的貢獻大小。
輸出模型：最終模型為：
$f_T(x) = \sum_{t=1}^T \eta \gamma_t h_t(x)$

3. 損失函數

GBDT 可靈活選擇損失函數，以下是常用的幾種：

平方誤差（MSE，回歸問題）：
- 負梯度： $r_i = y_i - f(x_i)$
對數似然（Log-Loss，二分類問題）：
- 負梯度： $r_i = y_i - \sigma(f(x_i))$
指數損失（Adaboost）：
$L(y, \hat{y}) = e^{-y\hat{y}}$

?4. GBDT 的優缺點

優點

靈活性：支持回歸和分類任務，且損失函數可定制。
高精度：由于采用 Boosting 框架，能取得非常好的預測效果。
特征選擇：內置特征重要性評估，幫助篩選關鍵特征。
處理缺失值：部分實現（如 XGBoost）可以自動處理缺失值。

缺點

訓練時間長：由于弱學習器依次構建，訓練過程較慢。
對參數敏感：需要調整學習率、樹的數量、最大深度等參數。
不擅長高維稀疏數據：相比線性模型和神經網絡，GBDT 在處理高維數據（如文本數據）時表現一般。

?5. GBDT 的改進

XGBoost：
- 增加正則化項，控制模型復雜度。
- 支持并行化計算，加速訓練。
- 提供更高效的特征分裂方法。
LightGBM：
- 提出葉子分裂（Leaf-Wise）策略。
- 適合大規模數據和高維特征場景。
CatBoost：
- 專門針對分類特征優化。
- 避免目標泄露（Target Leakage）。

?6. GBDT 的代碼實現

以下是 GBDT 的分類問題實現：

from sklearn.datasets import make_classification
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score# 生成數據
X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 創建 GBDT 模型
gbdt = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42)
gbdt.fit(X_train, y_train)# 預測
y_pred = gbdt.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("分類準確率:", accuracy)# 特征重要性
import matplotlib.pyplot as plt
import numpy as npfeature_importances = gbdt.feature_importances_
indices = np.argsort(feature_importances)[::-1]plt.figure(figsize=(10, 6))
plt.title("Feature Importance")
plt.bar(range(X.shape[1]), feature_importances[indices], align="center")
plt.xticks(range(X.shape[1]), indices)
plt.show()

輸出結果

分類準確率: 0.9366666666666666

7. 應用場景

回歸問題：如預測房價、商品銷量。
分類問題：如金融風險預測、垃圾郵件分類。
排序問題：如搜索引擎的結果排序。
時間序列問題：預測趨勢或模式。

GBDT 是機器學習中的經典算法，盡管深度學習在許多領域占據主導地位，但在表格數據和中小規模數據集的應用中，GBDT 仍然是非常強大的工具。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/62203.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/62203.shtml
英文地址，請注明出處：http://en.pswp.cn/web/62203.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！