Bagging-Bootstrap AGGrgratING

• Bagging并行訓練n個基本學習器（base learner）
• 通過平均所有學習器的輸出（回歸）或主投票（分類）做決策
• 每個模型是用在訓練集上通過bootstrap采樣得到的新的數據集進行訓練得到的
  bootstrap采樣：假設有m個訓練樣例，那么隨機采樣m個樣本做替代
  大概63%的樣本會被采樣，剩下的數據可用來進行驗證

class Bagging:def __init__(self,base_learner,n_learners):self.learners = [clone(base_learner) for _ in range(n_learners)]def fit(self,X,y):for learner in self.learners:examples = np.random.choice(np.arange(len(X)),int(len(X)),replace=Ture)learner.fit(X.iloc[examples,:],y.iloc[examples])def predict(self,X):preds = [learner.predict(X) for learner in self.learners]return np.array(preds).mean(axis=0)

隨機森林

• 使用決策樹作為base learner
• 對每個learner都隨機選取一系列特征

多適用于不穩定的learners

• Bagging減少了方差，尤其是對不穩定的learners
• 簡單考慮回歸，ground truth f，base learner h，bagging：$\stackrel{?}{f}(x)=E[h(x)]$
• 由于$(E[x]{)}^2\le E[x^2]$，則有
  ${\left(f(x)?\stackrel{?}{f}(x)\right)}^2\le E[(f(x)?h(x){)}^2]?(E[h(x)]{)}^2\le E[h(x{)}^2]$
• 決策樹是不穩定的，線性回歸是穩定的