人工智能例子匯總:AI常見的算法和例子-CSDN博客
使用 決策樹(Decision Tree) 實現 梯度提升(Gradient Boosting) 主要是模擬 GBDT(Gradient Boosting Decision Trees) 的原理,即:
- 第一棵樹擬合原始數據
- 計算殘差(負梯度方向)
- 用新的樹去擬合殘差
- 累加所有樹的預測值
- 重復步驟 2-4,直至達到指定輪數
下面是一個 純 Python + PyTorch 實現 GBDT(梯度提升決策樹) 的代碼示例。
1. 純 Python 實現梯度提升決策樹
import numpy as np
from sklearn.tree import DecisionTreeRegressor
fr