Skip to content
返回搜索结果

梯度提升(Gradient Boosting)

提出者
Friedman, J. H.
年份
2001
类型
Ensemble (sequential boosting of decision trees)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

梯度提升是一种集成学习方法,由 Jerome H. Friedman 于 2001 年正式提出,它将一系列弱学习器(通常是浅层决策树)组合起来,使得每棵新树都拟合前序树的残差误差。它是 XGBoost、LightGBM 和 CatBoost 等流行实现的核心算法。

方法背后的直觉

梯度提升并非一次性构建一个强模型,而是按顺序构建许多小树,其中每棵新树都专注于纠正当前集成模型仍然存在的错误。通过反复将预测朝着最能减小剩余误差的方向微调,一系列弱学习器最终累加成一个高度准确的预测器。

历史学

梯度提升由 Jerome H. Friedman 在其 2001 年的论文“Greedy Function Approximation: A Gradient Boosting Machine”中正式提出,该论文将提升框架为函数空间中的梯度下降。该思想——添加弱学习器来拟合当前集成模型的残差——成为实践中最成功的表格数据算法的基础,包括 XGBoost、LightGBM 和 CatBoost。

何时使用

对于具有至少约 100 个观测值的横截面或面板表格数据,在连续、分类、二元和有序特征上,它是一种准确分类和预测的有力选择。特征缩放通常不是必需的,但树的数量、学习率和最大深度的超参数调优至关重要,并且建议使用早停来防止过拟合。观测值少于约 100 个时,顺序树容易记住噪声,随机森林或单棵决策树更安全。

局限与注意事项

  • 树的数量、学习率和最大深度的超参数调优至关重要且耗时。
  • 顺序提升如果没有正则化,容易过拟合,这就是为什么建议使用早停。
  • 在小样本(n低于约 100)上,顺序树会记住噪声,即使早停也无济于事。
  • 数据太少时,没有足够的交叉验证材料来可靠地优化超参数。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在表格数据上进行分类和预测时具有非常高的预测准确性。
  • 特征缩放通常不是必需的,并且它可以处理连续、分类、二元和有序特征。
  • 它是 XGBoost、LightGBM 和 CatBoost 等广泛使用的库的核心算法。
  • 早停和小的学习率可以精细控制偏差-方差权衡。

应用

  • 在横截面和面板表格数据上进行高精度分类和预测。
  • 风险评分和结果预测,其中最大预测性能是首要任务。
  • 在手动缩放的情况下,对混合类型特征之间的复杂非线性关系进行建模。
  • 作为生产级梯度提升库(如 XGBoost 和 LightGBM)背后的引擎。

使用方式

使用方式

1

梯度提升按顺序训练弱学习器(通常是浅层决策树),而不是独立训练。集成模型从一个简单的初始猜测开始,后续的每棵树都用于纠正当前模型仍然出错的地方,从而逐步提高准确性。

2

在每一轮中,该方法会查看当前集成模型的残差误差,并根据这些残差(损失函数的负梯度)拟合下一棵树。新树以一个小的学习率权重加入,因此预测是谨慎更新的:F_m(x) = F_{m-1}(x) + nu * h_m(x)。这种顺序的、由梯度引导的校正是该方法名称及其准确性的来源。

公式
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)
3

最终预测是初始估计值与沿途累积的所有小树校正的总和。由于树是贪婪地添加以追逐剩余误差的,因此调整树的数量、学习率和树的深度——连同早停——对于避免过拟合至关重要。

常见陷阱

  • 跳过早停,让提升过程运行过多轮直到过拟合。
  • 将学习率设置得太高,导致每棵树过度校正,而不是温和地调整预测。
  • 将其应用于少于约 100 个观测值的样本,此时顺序树会记住噪声。
  • 接受默认超参数,而不是调整 n_estimators、learning_rate 和 max_depth。
  • 将其视为需要像基于距离的模型一样进行特征缩放,而实际上通常不需要缩放。

常见问题

梯度提升与随机森林有何不同?

随机森林并行构建许多独立的树并对它们进行平均,而梯度提升则顺序构建树,每棵树都拟合以纠正前序树的残差误差。提升通常能达到更高的准确性,但对过拟合更敏感,需要仔细调整。

为什么建议使用早停?

因为每棵新树都在追逐剩余误差,过长的提升过程会开始拟合噪声。早停会在验证性能停止改进时停止训练,这是防止过拟合的主要保障。

我需要缩放我的特征吗?

基于树的梯度提升通常不需要特征缩放,因为分裂取决于顺序而不是幅度。关键的调整参数是树的数量、学习率和树的深度。

我需要多大的样本量?

至少约 100 个观测值。低于此值,顺序树会记住噪声,即使早停也无济于事,因此随机森林或单棵决策树是更安全的选择。

相关方法

参考文献

  1. Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.

    打开 DOI 文献
    已复制。