Robust Regression

最小二乘回歸受數據中的離群點的影響較大，穩健回歸通過降低離群點的影響緩解此問題。M估計法是穩健回歸的重要方法之一，M 估計法的目標函數為：

$min\sum\rho(\epsilon_i) = min\sum\rho(y_i - \hat{\beta} * X_i)$

函數 $\rho$ 具有特性：

$\rho(\epsilon)\ge 0, \rho(0)=0$
$\rho(\epsilon) = \rho(-\epsilon)$

目標函數關于帶估計參數 $\hat{\beta}$ 求導：

$\frac{\sum\rho(y_i-\hat{\beta}X_i)}{\partial \hat{\beta}} = \sum -\frac{\rho(y_i - \hat{\beta}X_i)}{\partial \hat{\beta}}X_i\triangleq \sum \psi(\rho(y_i - \hat{\beta}X_i)) X_i$

其中 $\psi(\epsilon) = \frac{\partial \rho(\epsilon)}{\partial \hat{\beta}}$

Andrews 估計

Andrews 1974年提出:

$\psi(z)=\left\{ \begin{aligned} sin(z/c) & & |z| \le c \\ 0 & & |z| \ge c \end{aligned} \right.$

$\rho(z)=\left\{ \begin{aligned} 1 - cos(z) & & |z| < \pi \\ 0 & & |z| \ge \pi \end{aligned} \right.$

Huber 估計

$\psi(z)=\left\{ \begin{aligned} z & & |z| < c \\ c\cdot sign(z) & & |z| \ge c \end{aligned} \right.$

$\rho(z)=\left\{ \begin{aligned} \frac 12 z^2 & & |z| < c \\ c|z| - \frac12c^2 & & |z| \ge c \end{aligned} \right.$

Tuerky 估計

$\psi(z)=\left\{ \begin{aligned} z(c^2 - z^2)^2 & & |z| < c \\ c\cdot sign(z) & & |z| \ge c \end{aligned} \right.$

$\rho(z)=\left\{ \begin{aligned} \frac 16(c^6 - (c^2-z^2)^3) & & |z| < c \\ 0 & & |z| \ge c \end{aligned} \right.$

$L_p$ 估計

$\rho(z) = |z|^p$

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/41174.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/41174.shtml
英文地址，請注明出處：http://en.pswp.cn/web/41174.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！