概率預測之NGBoost(Natural Gradient Boosting)回歸和線性分位數回歸
- NGBoost
- NGBoost超參數解釋
- NGBoost.fit
- score(X, Y)
- staged_predict(X)
- feature_importances_
- pred_dist 方法來獲取概率分布對象
- 分位數回歸(Quantile Regression)
- smf.quantreg 對多變量數據進行分位數回歸分析
- 概率預測指標
- 參考
概率預測是一種預測方法,它不僅提供一個具體的預測值(如點預測),還提供預測值的概率分布或置信區間。這種方法能夠更好地捕捉預測的不確定性,適用于需要了解預測結果可靠性的場景。
NGBoost
NGBoost(Natural Gradient Boosting)是一個用于提升樹的分位數回歸和概率預測的強大庫。它通過自然梯度提升方法來優化分位數損失函數,從而能夠提供更準確的概率預測和分位數回歸。
NGBoost超參數解釋
- n_estimators
含義:提升樹的數量。
作用:控制模型的復雜度和擬合能力。增加樹的數量可以提高模型性能,但也可能導致過擬合。
默認值:通常為50或100。 - learning_rate
含義:學習率,用于縮放每棵樹的貢獻。
作用:降低每棵樹的影響以防止過擬合,同時通過更多的樹逐步逼近目標。
默認值:0.1。 - minibatch_frac
含義:每次迭代時使用的樣本比例(類似于隨機梯度下降中的批量大小)。
作用:減少計算量并引入隨機性,有助于防止過擬合。
默認值:1.0(使用所有