XGBoost
- 提出者
- Chen, T. & Guestrin, C.
- 年份
- 2016
- 类型
- Ensemble (gradient-boosted decision trees)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
XGBoost(Extreme Gradient Boosting)是由陈天奇和Carlos Guestrin于2016年推出的一种可扩展的树增强算法。它通过逐个添加决策树来构建强大的预测器,每棵树都纠正前一棵树留下的错误,是一种在竞赛中广泛使用的强大预测方法。
方法背后的直觉
XGBoost不是生成许多独立的树并对它们进行平均,而是按顺序生成树:每棵新树都专注于当前模型仍然出错的案例。通过逐步迭代,集成模型会逐渐消除剩余的误差,同时正则化惩罚项会保持单棵树的简单性,从而使组合模型能够泛化而不是死记硬背训练数据。
历史学
XGBoost由陈天奇和Carlos Guestrin在其2016年发表于ACM SIGKDD的论文《XGBoost: A Scalable Tree Boosting System》中提出。通过将决策树的正则化梯度增强与可扩展、高效的实现相结合,它成为最广泛采用的预测算法之一,尤其在数据科学竞赛中表现突出。
何时使用
当预测性能是首要任务时,请在具有连续、分类、二元或计数特征且至少有约100个观测值的表格数据上使用XGBoost进行准确的分类或预测。它不需要正态分布的数据;充足的数据和周到的特征工程是主要的实际假设。当样本量少于约100个时,梯度增强往往会过拟合,此时更简单的模型(如逻辑回归或单棵决策树)更可靠。
局限与注意事项
- 需要足够的数据——大约100个观测值以上——否则会过拟合,交叉验证结果会变得不可靠。
- 在小样本上,没有足够的数据来调整许多超参数,因此更简单的模型泛化能力更好。
- 许多超参数和一个黑盒集成模型使其比单个模型更难设置和解释。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在表格数据上具有强大的预测准确性,这也是它在竞赛中如此普遍的原因。
- 内置正则化惩罚树的复杂度,有助于控制过拟合。
- 容忍缺失值并处理混合特征类型(连续、分类、二元、计数)。
- 可扩展性好,并直接受益于特征工程。
应用
- 对具有许多特征的表格数据进行分类和预测。
- 竞赛级别的预测建模,其中准确性至关重要。
- 对连续、分类、二元和计数特征的风险评分和预测任务。
- 处理缺失值和工程特征常见的建模问题。
使用方式
使用方式
XGBoost是一种梯度增强方法:它将许多浅层决策树组合成一个集成模型。树是逐个添加的,并且每棵新树都旨在减少模型中已有树之后仍然存在的预测误差。
该模型最小化一个目标函数,该函数将衡量与数据拟合的损失项与惩罚树复杂度的正则化项相加。这种显式的复杂度惩罚有助于XGBoost控制过拟合,同时仍然拟合灵活的非线性关系。
公式
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)在每次增强回合中,当前预测通过添加新拟合树的输出来更新。每棵树的选择都是为了使预测朝着最能减小目标函数的方向移动,因此集成模型的准确性会随着回合的增加而提高。
公式
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)所有回合结束后,最终预测是每棵树贡献的总和,用于分类或预测目标。由于该模型能够容忍缺失值并受益于特征工程,因此一旦有足够的观测值,它在表格数据上表现强劲。
常见陷阱
- 将其应用于小样本(n < 100),此时梯度增强会过拟合,交叉验证估计不可靠。
- 跳过通过交叉验证进行超参数调优(例如网格搜索),并接受默认值。
- 即使XGBoost可以容忍缺失值,但仍未决定缺失值处理和类别编码。
- 在报告性能之前,未能设置适当的训练/测试拆分或k折交叉验证。
常见问题
XGBoost需要多少数据?
大约100个观测值是一个合理的最小值。当样本量少于100个时,梯度增强往往会过拟合,交叉验证结果会变得不可靠,因此更简单的模型(如逻辑回归或单棵决策树)更可靠。
XGBoost需要正态分布的数据吗?
不需要。它不作正态性假设,并且适用于连续、分类、二元和计数特征。主要的实际要求是拥有足够的数据并进行一些周到的特征工程。
XGBoost与随机森林有何不同?
随机森林独立生成树并对它们进行平均以减少方差。XGBoost按顺序生成树,每棵树都纠正前一棵树的错误,并对树的复杂度进行正则化惩罚,通过仔细调优可以达到更高的准确性。
如何解释XGBoost模型?
由于该模型是许多树的集成,因此通常使用SHAP等特征归因分析来检查贡献,同时结合RMSE或AUC等测试集指标以及交叉验证的超参数调优。
相关方法
参考文献
Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.
打开 DOI 文献已复制。