AdaBoost
- 提出者
- Freund, Y. & Schapire, R.E.
- 年份
- 1997
- 类型
- Ensemble (sequential boosting of weak learners)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
AdaBoost(自适应增强)是最初的增强算法,由 Yoav Freund 和 Robert Schapire 于 1997 年提出,它通过给予错误分类的观测值更多权重来组合一系列简单的弱学习器。作为梯度增强的先驱,它简单、可解释,并且是分类任务的强大基线。
方法背后的直觉
单个浅层决策树是一个弱学习器:其性能仅略优于随机猜测。AdaBoost 通过逐个训练许多这样的弱学习器,将它们组合成一个强大的预测器。在每个学习器训练之后,它错误分类的观测值会被赋予更高的权重,因此下一个学习器会专注于其他学习器持续错误处理的难题。最终的预测是一个加权投票,其中更准确的学习器具有更大的权重。
历史学
AdaBoost 由 Yoav Freund 和 Robert Schapire 于 1997 年提出,作为在线学习在增强方法上的决策理论推广。它是第一个实用的增强算法,并证明了许多弱学习器可以组合成一个强学习器,这项工作成为整个增强家族的基础。它是梯度增强和 XGBoost 等现代工具的直接先驱。
何时使用
适用于具有连续、分类或二元特征且至少有约 50 个观测值的交叉表征(cross-sectional)表格数据上的分类和预测任务,当您想要一个简单、可解释的增强基线时。AdaBoost 不做正态性假设,但它对噪声数据和异常值敏感,因此首先需要进行异常值筛选。通过控制估计器的数量来管理微小但非零的过拟合风险。在小样本上,更简单的逻辑回归或更鲁棒的随机森林是更安全的选择。
局限与注意事项
- 由于其指数损失函数,对噪声数据和异常值敏感;需要进行异常值筛选。
- 过拟合风险低但非零,必须通过估计器数量来控制。
- 在小样本(n 低于约 50)上,噪声观测值会被过度加权,并且每次迭代都可能使性能变差。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 简单且可解释,参数设置少。
- 将弱的深度为 1 的学习器转化为一个强大的分类器,一个可靠的现成基线。
- 无正态性假设;可处理连续、分类和二元特征。
- 梯度增强的先驱,具有清晰的自适应加权机制。
应用
- 交叉表征表格数据上的分类基线。
- 需要简单、可解释的增强模型进行预测的任务。
- 在转向梯度增强之前,用于教授和演示增强思想。
- 将许多浅层决策桩组合成一个单一的强分类器。
使用方式
使用方式
每个训练观测值最初都具有相等的权重。这些权重指示每个后续弱学习器在多大程度上应该关注正确分类该特定观测值。
一个弱学习器——通常是决策桩(decision stump),即深度为 1 的决策树——被拟合到加权数据上。由于其简单性,它本身仅比随机猜测略好。
该学习器的整体准确性决定了它在最终投票中的发言权,并且它错误分类的观测值的权重会增加,以便下一个学习器能够关注它们。指数损失函数驱动这种更新:它以急剧增加的速率惩罚错误分类,这也使得 AdaBoost 对噪声点和异常值敏感。
公式
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])经过多轮迭代,弱学习器通过加权多数投票池化成一个单一的预测,每个学习器根据其准确性进行加权。这种许多简单、专注的学习器的组合形成了一个强大的分类器。
公式
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)常见陷阱
- 在未进行筛选的情况下,对包含异常值的数据运行 AdaBoost。
- 让估计器数量不受控制地增长,而不是对其进行调优。
- 在样本量低于约 50 的情况下使用它,此时噪声点会主导加权过程。
- 在更鲁棒的集成方法(如随机森林)能更好地拟合噪声数据时,却选择了 AdaBoost。
常见问题
AdaBoost 与随机森林有何不同?
随机森林并行构建许多独立的树并对它们进行平均(bagging);AdaBoost 顺序构建弱学习器,每个学习器关注前一个学习器出错的案例(boosting)。由于其指数损失函数,AdaBoost 对噪声和异常值更敏感,而随机森林更鲁棒。
为什么 AdaBoost 对异常值敏感?
它使用一个指数损失函数,该函数以急剧增加的速率惩罚错误分类。持续错误分类的点——通常是异常值或噪声观测值——会不断获得权重,因此它们可能会主导后续迭代并降低模型性能。
应该使用多少个估计器?
估计器(弱学习器)的数量控制着 AdaBoost 微小但真实的过拟合风险。在验证性能提高时增加它,一旦性能趋于平稳或开始下降就停止。
这里的弱学习器是什么?
通常是决策桩——深度为 1 的决策树。它本身仅比随机猜测略好,但 AdaBoost 将许多这样的决策桩组合起来,每个都根据其准确性进行加权,形成一个单一的强分类器。
相关方法
参考文献
Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.
打开 DOI 文献已复制。