Skip to content
返回搜索结果

Bagging(Bootstrap Aggregating)

提出者
Breiman, L.
年份
1996
类型
Ensemble meta-algorithm (variance reduction via bootstrap aggregation)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

Bagging,是“Bootstrap Aggregating”的简称,由Leo Breiman于1996年提出的一种集成元算法。它在从训练数据中独立抽取的自助样本上训练基学习器的多个副本,并通过平均(用于回归)或多数投票(用于分类)来组合它们的预测,从而生成一个方差比任何单个基学习器显著低的最终预测器。

方法背后的直觉

想象一下向一位专家征求意见:他们的答案很大程度上取决于他们特定的经验。现在想象一下向一百位专家征求意见,每位专家的背景略有不同,然后将他们的答案平均。个体的怪癖会相互抵消,群体的共识会更加可靠。Bagging对机器学习模型的作用正是如此:它通过有放回地重采样原始数据来生成许多略有不同的训练集,为每个训练集训练一个模型,然后合并所有预测。每个模型都看到了现实世界的一个不同切片,因此它们各自的错误往往不会对齐,聚合后的结果比任何单个模型都稳定得多。

历史学

Leo Breiman于1996年发表了“Bagging Predictors in Machine Learning”,其动机是认识到不稳定的学习器——那些输出会因数据微小扰动而发生显著变化的学习器——可以通过对训练集的自助副本进行平均来稳定。理论依据在于偏差-方差分解:平均可以减少方差而保持偏差不变。Breiman在一系列分类和回归基准测试中展示了比单个决策树一致的精度改进。Bagging迅速成为一种基础性的集成技术,并直接启发了Random Forest(Breiman, 2001),后者在每个分裂点增加了随机特征子采样,以进一步去相关化树并实现更大的方差减少。如今,Bagging已成为一类广泛的集成方法的概念骨干,并且是研究生级别机器学习课程的标准主题。

何时使用

当基学习算法是高方差的——即对训练数据中的微小扰动敏感——并且减少该方差是误差的主要来源时,Bagging是适用的。完全生长、未修剪的决策树是典型例子。Bagging适用于表格数据的分类和回归,不对数据分布做任何假设,并能处理混合特征类型。当数据集足够大以支持B个高质量的独立自助样本时(至少约30个观测值是一个实际的下限,但数百个更佳),Bagging最为有益。当基学习器已经稳定(如在正确指定的线性回归问题上)或主要误差来源是偏差而非方差时,Bagging无效——在这种情况下,提升方法更合适。

局限与注意事项

  • 不减少偏差:如果基学习器欠拟合,Bagging无法纠正。
  • 集成预测比单个模型更难解释;没有单个决策树可视化结构的类似物。
  • 内存和存储随B线性扩展:将数百个大型模型保存在内存中可能成本高昂。
  • 随着B的增长,收益迅速递减;性能通常在B=500之前很久就趋于平稳。
  • 在稳定的基学习器上(例如,正确指定的线性回归),Bagging的改进微乎其微。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 直接减少估计量的方差而不增加偏差,产生比任何单个基模型更稳定的预测。
  • 易于并行化:每个自助迭代都是独立的,使得大型集成在计算上可行。
  • 内置的OOB误差估计提供了诚实的泛化估计,无需额外数据成本。
  • 模型无关的元算法:与任何足够不稳定的基学习器(树、神经网络、最近邻)兼容。
  • 对训练集中的异常值具有鲁棒性:任何单个异常观测值在大多数自助样本中都不存在。

应用

  • 在嘈杂的表格数据上构建稳定的分类和回归模型,其中单个决策树会过拟合。
  • 通过检查B个基学习器预测的散布来生成预测区间。
  • 通过在整个集成中对每个特征进行排列,导致OOB准确度下降来估计特征重要性。
  • 集成基线:一个快速的基准,用于量化更复杂的方法(Boosting、Stacking)相比简单聚合的改进程度。

使用方式

使用方式

1

从大小为n的原始训练集中抽取B个独立的自助样本。每个样本是通过从原始数据中有放回地抽取n个观测值生成的,因此平均而言,每个样本包含约63.2%的唯一训练实例;剩余的约36.8%被排除在外,并构成该迭代的袋外(OOB)集。

公式
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, B
2

一个基学习算法——最常是生长到完整深度的决策树,但任何足够不稳定的学习器都符合要求——独立地拟合到每个自助样本上,产生B个不同的模型。关键要求是不稳定性:如果微小的数据扰动导致模型发生巨大变化,Bagging将产生最大的方差减少。

公式
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)
3

对于回归任务,对B个模型的输出进行平均。这个平均步骤是减少方差的主要机制:在独立性假设下,B个同分布模型的平均值的方差是单个模型方差的1/B,即使在正相关的情况下,减少量也是可观的。

公式
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})
4

对于分类任务,每个基学习器对一个类标签投一票,得票最多的类被作为最终预测返回。平局任意打破。多数投票在渐近意义上等同于对每个基学习器产生的类概率估计进行平均。

公式
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]
5

由于每个基学习器都在大约63.2%的数据上进行训练,剩余的观测值可以作为该学习器的诚实保留测试集。将所有未看到该观测值的学习器的OOB预测进行平均,可以得到一个近乎无偏的泛化误差估计,而无需单独的验证集或交叉验证。

公式
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)

常见陷阱

  • 将Bagging应用于低方差基学习器(如岭回归),并期望获得大幅精度提升。
  • 设置B太小(例如,B<10),导致聚合结果仍然嘈杂,OOB估计不可靠。
  • 忽略类别不平衡:Bagging在每个自助样本中保留了原始数据中的类别分布,因此严重的类别不平衡会在所有学习器中复制。
  • 混淆Bagging与Boosting:Bagging在独立样本上并行训练模型以减少方差,而Boosting则顺序训练模型以减少偏差——它们处理不同的误差来源。
  • 将OOB误差视为 proper held-out 评估的替代品,当数据集非常小时,因为在这种情况下OOB估计可能过于乐观。

常见问题

应该使用多少个自助样本B?

Breiman (1996) 发现性能相对较快地稳定下来;对于决策树,B=50到100通常就足够了。增加B超过几百个会产生收益递减。随着B的增长,监控OOB误差,并在其趋于平稳时停止。

Bagging和Random Forest有什么区别?

Random Forest通过在每棵树的每个分裂点增加随机特征子采样来扩展Bagging。这种额外的随机化进一步去相关化了基学习器,从而实现了比单独Bagging更大的方差减少。因此,使用完全生长树的Bagging是Random Forest的一个特例,其中所有特征都在每个分裂点被考虑。

Bagging可以应用于决策树以外的学习器吗?

可以。任何不稳定的学习器——其预测会随着训练数据微小变化而显著改变——都可以从Bagging中受益。神经网络、k近邻和未修剪的回归树都符合要求。像具有正确模型指定的线性回归这样的稳定学习器受益很小,因为方差很小,无需减少。

OOB误差是否可以可靠地替代交叉验证?

对于中等到大型数据集,OOB误差是泛化误差的近乎无偏估计,并且计算成本为零,因为不需要额外的模型拟合。在非常小的数据集(n低于约50)上,OOB估计可能过于乐观,此时交叉验证更可取。

相关方法

参考文献

  1. Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.

    打开 DOI 文献
    已复制。
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.

    ISBN:978-0-387-84857-0
    已复制。
  3. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.

    ISBN:978-1-4614-7138-7
    已复制。