梯度提升(Gradient Boosting)
- 提出者
- Friedman, J. H.
- 年份
- 2001
- 类型
- Ensemble (sequential boosting of decision trees)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
梯度提升是一种集成学习方法,由 Jerome H. Friedman 于 2001 年正式提出,它将一系列弱学习器(通常是浅层决策树)组合起来,使得每棵新树都拟合前序树的残差误差。它是 XGBoost、LightGBM 和 CatBoost 等流行实现的核心算法。
方法背后的直觉
梯度提升并非一次性构建一个强模型,而是按顺序构建许多小树,其中每棵新树都专注于纠正当前集成模型仍然存在的错误。通过反复将预测朝着最能减小剩余误差的方向微调,一系列弱学习器最终累加成一个高度准确的预测器。
历史学
梯度提升由 Jerome H. Friedman 在其 2001 年的论文“Greedy Function Approximation: A Gradient Boosting Machine”中正式提出,该论文将提升框架为函数空间中的梯度下降。该思想——添加弱学习器来拟合当前集成模型的残差——成为实践中最成功的表格数据算法的基础,包括 XGBoost、LightGBM 和 CatBoost。
何时使用
对于具有至少约 100 个观测值的横截面或面板表格数据,在连续、分类、二元和有序特征上,它是一种准确分类和预测的有力选择。特征缩放通常不是必需的,但树的数量、学习率和最大深度的超参数调优至关重要,并且建议使用早停来防止过拟合。观测值少于约 100 个时,顺序树容易记住噪声,随机森林或单棵决策树更安全。
局限与注意事项
- 树的数量、学习率和最大深度的超参数调优至关重要且耗时。
- 顺序提升如果没有正则化,容易过拟合,这就是为什么建议使用早停。
- 在小样本(n低于约 100)上,顺序树会记住噪声,即使早停也无济于事。
- 数据太少时,没有足够的交叉验证材料来可靠地优化超参数。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在表格数据上进行分类和预测时具有非常高的预测准确性。
- 特征缩放通常不是必需的,并且它可以处理连续、分类、二元和有序特征。
- 它是 XGBoost、LightGBM 和 CatBoost 等广泛使用的库的核心算法。
- 早停和小的学习率可以精细控制偏差-方差权衡。
应用
- 在横截面和面板表格数据上进行高精度分类和预测。
- 风险评分和结果预测,其中最大预测性能是首要任务。
- 在手动缩放的情况下,对混合类型特征之间的复杂非线性关系进行建模。
- 作为生产级梯度提升库(如 XGBoost 和 LightGBM)背后的引擎。
使用方式
使用方式
梯度提升按顺序训练弱学习器(通常是浅层决策树),而不是独立训练。集成模型从一个简单的初始猜测开始,后续的每棵树都用于纠正当前模型仍然出错的地方,从而逐步提高准确性。
在每一轮中,该方法会查看当前集成模型的残差误差,并根据这些残差(损失函数的负梯度)拟合下一棵树。新树以一个小的学习率权重加入,因此预测是谨慎更新的:F_m(x) = F_{m-1}(x) + nu * h_m(x)。这种顺序的、由梯度引导的校正是该方法名称及其准确性的来源。
公式
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)最终预测是初始估计值与沿途累积的所有小树校正的总和。由于树是贪婪地添加以追逐剩余误差的,因此调整树的数量、学习率和树的深度——连同早停——对于避免过拟合至关重要。
常见陷阱
- 跳过早停,让提升过程运行过多轮直到过拟合。
- 将学习率设置得太高,导致每棵树过度校正,而不是温和地调整预测。
- 将其应用于少于约 100 个观测值的样本,此时顺序树会记住噪声。
- 接受默认超参数,而不是调整 n_estimators、learning_rate 和 max_depth。
- 将其视为需要像基于距离的模型一样进行特征缩放,而实际上通常不需要缩放。
常见问题
梯度提升与随机森林有何不同?
随机森林并行构建许多独立的树并对它们进行平均,而梯度提升则顺序构建树,每棵树都拟合以纠正前序树的残差误差。提升通常能达到更高的准确性,但对过拟合更敏感,需要仔细调整。
为什么建议使用早停?
因为每棵新树都在追逐剩余误差,过长的提升过程会开始拟合噪声。早停会在验证性能停止改进时停止训练,这是防止过拟合的主要保障。
我需要缩放我的特征吗?
基于树的梯度提升通常不需要特征缩放,因为分裂取决于顺序而不是幅度。关键的调整参数是树的数量、学习率和树的深度。
我需要多大的样本量?
至少约 100 个观测值。低于此值,顺序树会记住噪声,即使早停也无济于事,因此随机森林或单棵决策树是更安全的选择。
相关方法
参考文献
Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
打开 DOI 文献已复制。