Boosting

• 将多个弱模型结合形成一个强的模型
  主要用于减少偏差
• 顺序学习n个若模型，在第i步：
  训练一个若模型$h_i$，估计它的误差${ϵ}_t$
  根据${ϵ}_t$重采样数据，以关注错误预测的样例
• 著名样例：AdaBoost，gradient boosting

Gradient Boosting

• 假设在时间t训练了$H_t(x)$，其中$H_1(x)=0$
• 在时间步t=1,2,…
  根据残差$\{(x_i,y_i-H_t(x_i)){\}}_{i=1,...,m}$训练一个新模型$h_t$
  $H_{t+1}(x)=H_t(x)+\eta h_t(x)$
  学习率$\eta$通过收缩（shrinkage）正则化这个模型
• 若使用MES作为损失，残差就相当于$-\partial L/\partial H$

class GradientBoosting:
	def __init__(self,base_learner,n_learners,learning_rate):
		self.learners = [clone(base_learner)for _ in range(n_learners)]
		self.lr = learning_rate

	def fit(self,X,y):
		residual = y.copy()
		for learner in self.learners:
			learner.fit(X,residual)
			residual -= self.lr*learner.predict(X)

	def predict(self,X):
		preds = [learner.predict(X) for learner in self.learners]
		return np.array(preds).sum(axis=0)*self.lr

Gradient Boosting Decision Trees(GBDT)

• 用决策树作为弱learner
  通过一个**小的max_depth（限制最大深度）**正则化，随机采样特征
• 顺序建树运行很慢
  流行的加速算法：XGBoosting，lightGBM