Skip to content
返回搜索结果

XGBoost

提出者
Chen, T. & Guestrin, C.
年份
2016
类型
Ensemble (gradient-boosted decision trees)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

XGBoost(Extreme Gradient Boosting)是由陈天奇和Carlos Guestrin于2016年推出的一种可扩展的树增强算法。它通过逐个添加决策树来构建强大的预测器,每棵树都纠正前一棵树留下的错误,是一种在竞赛中广泛使用的强大预测方法。

方法背后的直觉

XGBoost不是生成许多独立的树并对它们进行平均,而是按顺序生成树:每棵新树都专注于当前模型仍然出错的案例。通过逐步迭代,集成模型会逐渐消除剩余的误差,同时正则化惩罚项会保持单棵树的简单性,从而使组合模型能够泛化而不是死记硬背训练数据。

历史学

XGBoost由陈天奇和Carlos Guestrin在其2016年发表于ACM SIGKDD的论文《XGBoost: A Scalable Tree Boosting System》中提出。通过将决策树的正则化梯度增强与可扩展、高效的实现相结合,它成为最广泛采用的预测算法之一,尤其在数据科学竞赛中表现突出。

何时使用

当预测性能是首要任务时,请在具有连续、分类、二元或计数特征且至少有约100个观测值的表格数据上使用XGBoost进行准确的分类或预测。它不需要正态分布的数据;充足的数据和周到的特征工程是主要的实际假设。当样本量少于约100个时,梯度增强往往会过拟合,此时更简单的模型(如逻辑回归或单棵决策树)更可靠。

局限与注意事项

  • 需要足够的数据——大约100个观测值以上——否则会过拟合,交叉验证结果会变得不可靠。
  • 在小样本上,没有足够的数据来调整许多超参数,因此更简单的模型泛化能力更好。
  • 许多超参数和一个黑盒集成模型使其比单个模型更难设置和解释。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在表格数据上具有强大的预测准确性,这也是它在竞赛中如此普遍的原因。
  • 内置正则化惩罚树的复杂度,有助于控制过拟合。
  • 容忍缺失值并处理混合特征类型(连续、分类、二元、计数)。
  • 可扩展性好,并直接受益于特征工程。

应用

  • 对具有许多特征的表格数据进行分类和预测。
  • 竞赛级别的预测建模,其中准确性至关重要。
  • 对连续、分类、二元和计数特征的风险评分和预测任务。
  • 处理缺失值和工程特征常见的建模问题。

使用方式

使用方式

1

XGBoost是一种梯度增强方法:它将许多浅层决策树组合成一个集成模型。树是逐个添加的,并且每棵新树都旨在减少模型中已有树之后仍然存在的预测误差。

2

该模型最小化一个目标函数,该函数将衡量与数据拟合的损失项与惩罚树复杂度的正则化项相加。这种显式的复杂度惩罚有助于XGBoost控制过拟合,同时仍然拟合灵活的非线性关系。

公式
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)
3

在每次增强回合中,当前预测通过添加新拟合树的输出来更新。每棵树的选择都是为了使预测朝着最能减小目标函数的方向移动,因此集成模型的准确性会随着回合的增加而提高。

公式
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)
4

所有回合结束后,最终预测是每棵树贡献的总和,用于分类或预测目标。由于该模型能够容忍缺失值并受益于特征工程,因此一旦有足够的观测值,它在表格数据上表现强劲。

常见陷阱

  • 将其应用于小样本(n < 100),此时梯度增强会过拟合,交叉验证估计不可靠。
  • 跳过通过交叉验证进行超参数调优(例如网格搜索),并接受默认值。
  • 即使XGBoost可以容忍缺失值,但仍未决定缺失值处理和类别编码。
  • 在报告性能之前,未能设置适当的训练/测试拆分或k折交叉验证。

常见问题

XGBoost需要多少数据?

大约100个观测值是一个合理的最小值。当样本量少于100个时,梯度增强往往会过拟合,交叉验证结果会变得不可靠,因此更简单的模型(如逻辑回归或单棵决策树)更可靠。

XGBoost需要正态分布的数据吗?

不需要。它不作正态性假设,并且适用于连续、分类、二元和计数特征。主要的实际要求是拥有足够的数据并进行一些周到的特征工程。

XGBoost与随机森林有何不同?

随机森林独立生成树并对它们进行平均以减少方差。XGBoost按顺序生成树,每棵树都纠正前一棵树的错误,并对树的复杂度进行正则化惩罚,通过仔细调优可以达到更高的准确性。

如何解释XGBoost模型?

由于该模型是许多树的集成,因此通常使用SHAP等特征归因分析来检查贡献,同时结合RMSE或AUC等测试集指标以及交叉验证的超参数调优。

相关方法

参考文献

  1. Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.

    打开 DOI 文献
    已复制。