它有什么作用?
装袋(Bagging),即自助重采样集成,是一种集成学习方法,通过在训练数据的不同随机子集上训练单个学习算法的多个副本,来降低方差。每个子集通过自助采样(有放回地随机抽取样本)创建。预测通过多数投票(分类)或平均(回归)进行组合。装袋法由Leo Breiman于1996年提出,是随机森林的基础,尤其擅长降低高方差模型的过拟合。
方法背后的直觉
核心思想是通过在不同的随机数据子集上训练相同的模型并平均其预测结果,在不增加偏差的情况下降低方差。如果一个模型过拟合了特定的训练样本,不同的自助样本会暴露其过拟合的不同子集,平均化会抵消掉虚假的模式。装袋法通过利用随机性来工作:每个自助样本略有不同,因此每个训练的模型也略有不同,它们的聚合比任何单个模型都更稳定。
历史学
装袋法由Leo Breiman于1996年提出,其基础是统计学中的自助法(Efron, 1979)。Breiman证明了装袋法通过降低不稳定学习器的方差来减少其预测误差。随着随机森林(Breiman, 2001)的引入,该方法成为基础,随机森林结合了装袋法和随机特征选择。装袋法仍然是机器学习中的一种标准技术,尤其是在集成方法领域。
何时使用
当处理容易过拟合的高方差模型(例如,决策树、神经网络)时,使用装袋法。当基学习器不稳定——对训练数据的微小变化敏感时,装袋法最为有效。装袋法对于低偏差、低方差模型(例如,k值小的k-NN、稳定数据上的线性回归)效果不佳。它也适合并行计算,因为每个基学习器都可以独立训练。
局限与注意事项
- 不提供偏差降低;仅对高方差基学习器有效。
- 计算成本随基学习器数量线性增长。
- 与刻意抽样策略相比,自助样本缺乏多样性。
- 当基模型具有高偏差时(例如,复杂数据上的线性模型),性能可能不会提高。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在不增加偏差的情况下降低方差,提高泛化能力。
- 可与任何基学习器类型配合使用;可以使用决策树等不稳定模型。
- 易于并行化——每个自助样本都可以独立处理。
- 通过袋外误差(out-of-bag error)计算提供方差估计。
- 易于实现,只需最少的超参数调整。
应用
- 医学诊断:对决策树进行装袋以进行疾病分类,提高对嘈杂患者数据的鲁棒性。
- 金融风险建模:对决策树进行集成,以在各种市场条件下预测信用违约。
- 遥感:对图像分类器进行装袋,以减少过拟合地对卫星图像进行分类。
- 基因组学:对基因选择和疾病预测的集成方法,从高维微阵列数据中提取。
- 制造质量控制:对神经网络进行装袋,以在生产过程中检测缺陷。
使用方式
使用方式
通过有放回地从训练数据中随机抽取,创建B个自助样本,每个样本的大小等于原始数据集的大小。
在每个自助样本上训练一个独立的基学习器(例如,决策树、神经网络)。
对于新的输入,将其通过所有B个训练好的基学习器,并收集它们的预测结果。
通过多数投票(分类)或平均(回归)组合预测结果。
常见陷阱
- 使用过少的基学习器(B < 20)会降低方差降低的效果;通常在B = 100-500时出现边际效益递减。
- 在重叠的子集(例如,连续的数据分割)上训练基学习器,而不是使用随机的自助样本。
- 假设装袋法可以消除过拟合;它降低了方差,但有偏差的模型仍然有偏差。
- 未能利用袋外预测进行验证,错失了交叉验证的一种高效替代方案。
常见问题
应该使用多少个自助样本(B)?
从B = 50-100开始,并监控性能;通常,效益在B = 100-500左右趋于平稳。如果方差降低停滞,则增加B。对于关键应用,尽管计算成本较高,B > 1000也可能是合理的。
什么是袋外误差,我该如何使用它?
每个自助样本大约排除原始数据的1/3(平均约36.8%)。这些袋外样本可用于验证特定模型,而无需单独的验证集。对所有模型的袋外误差进行平均,可以估计泛化误差。
装袋法比交叉验证更好吗?
它们服务于不同的目的。交叉验证用于估计模型性能;装袋法用于提高模型性能。使用装袋法训练集成模型,并使用袋外估计进行验证,从而避免了k折交叉验证的开销。
装袋法能改进k-NN等低方差模型吗?
效果不佳。装袋法是为高方差模型设计的。低方差模型(稳定、简单)从方差降低中获益甚少。可以考虑其他集成方法或专注于偏差降低。