簡介

梯度提升主要是基于數學最值問題

數學描述

目標函數為
$$obj(\theta )=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{k=1}^{t}w(f_k)$$
其中$t$表示集成的樹的個數，${\hat{y}}_i^{(t)}={\hat{y}}_i^{(t?1)}+f_t(x_i)$
在集成第$t$個樹時，目標函數表示為
$$\begin{array}{rl}ob{j}^{(t)}& =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t)})+\sum _{k=1}^{t}w(f_k)\\ & =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t?1)}+f_t(x_i))+w(f_t)+constant\end{array}\text{\hspace{1em}?}$$
對$l(y_i,{\hat{y}}_i^{(t?1)}+f_t(x_i))$泰勒級數展開為
$$l(y_i,{\hat{y}}_i^{(t?1)}+f_t(x_i))=l(y_i,{\hat{y}}_i^{(t?1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)$$其中$$g_i={?}_{{\hat{y}}_i^{(t?1)}}l(y_i,{\hat{y}}_i^{(t?1)}),h_i={?}_{{\hat{y}}_i^{(t?1)}}^{2}l(y_i,{\hat{y}}_i^{(t?1)})$$所以替換后，刪除常量后有
$$ob{j}^{(t)}=\sum _{i=1}^n\left[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)\right]+w(f_t)$$