点击上方蓝色字体，关注AI小白入门哟

跟着博主的脚步，每天进步一点点

本文介绍了XGboost模型。首先在GBDT的基础上介绍XGboost，然后对比了XGboost与GBDT的不同之处，最后介绍了XGboost的损失函数和学习过程。

作者 | 文杰

编辑 | yuquanle

XGBoost

XGBoost是基于GBDT的一个改进，改进之处有以下几点：

1. 传统GBDT以CART作为基分类器，XGBoost还支持线性分类器；

2. 目标函数中引入了正则项，决策树作为基学习器时约束定义叶子节点数和系数，线性分类器使用 和 ；

3. 损失函数的残差拟合使用二阶多项式拟合，不再采用梯度下降策略，而是导数为 导出决策树和权重参数；

4. 支持并行，并行不是在基学习器层次，而是在特征选择层面，将特征列排序后存储，在迭代过程中重复使用；

5. 样本采样，后剪枝处理防止过拟合；

6. 对于缺失值处理，特征分裂时会默认给样本进行分类。

XGBoost目标函数如下：

在第 次迭代中有：

其中 可以看做是损失函数在某一点的泰勒展开后的 。

, ，且采用决策树做基学习器，则有：

其中 是决策树的系数， 是拟合一阶导的决策树， 是拟合二阶导的决策树，而这两颗决策树可以共用决策树的结构，决策值不同构成一个二维输出的决策树。且二维决策树在两个维度的系数是有关系的,即 , 。

对 求导为0，有：

将 代入目标函数得：

由此，构建决策树的准则即为最小化目标函数，当决策树定下之后， 也就定下。所以在XGBoost中实际上的参数只有决策树自身。

The End

方便交流学习，备注：昵称-学校or公司-方向，进入DL&NLP交流群。

记得备注呦

【推荐阅读】

初学者|NLP相关任务简介

【科研】自然语言理解难在哪儿？

自然语言处理中注意力机制综述

新年送福气|您有一份NLP大礼包待领取

“达观杯”文本智能处理挑战赛，季军带你飞

【机器学习】一文读懂线性回归、岭回归和Lasso回归

长按二维码关注
AI小白入门

ID:StudyForAI

学习AI学习ai(爱)

期待与您的相遇~

你点的每个在看，我都认真当成了喜欢