Skip to content
返回搜索结果

堆叠泛化

提出者
David Wolpert
年份
1992
类型
meta-learning aggregation
类别
Ensemble

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

堆叠泛化(Stacked generalization),或称堆叠(stacking),是一种两层集成方法,其中基学习器(base-level classifiers)在原始数据上进行训练,而元学习器(meta-learner)则在基学习器的预测结果上进行训练。元学习器学习如何最佳地组合基学习器的预测,而不是使用固定的聚合规则。该方法由 David Wolpert 于 1992 年提出,通过自动学习基模型之间的最佳权重和交互模式,堆叠泛化实现了最先进的性能。

方法背后的直觉

堆叠泛化解决了简单投票的一个根本局限性:并非所有基分类器都同样准确,且固定规则忽略了这一点。堆叠泛化不采用多数投票或简单平均,而是训练一个二级模型,该模型学习更信任表现优异的基分类器,而不信任不可靠的分类器。元学习器识别基预测中的模式,并学习何时进行聚合。可以将其理解为教导决策者识别在不同情境下应相信哪位专家。

历史学

堆叠泛化由 David Wolpert 于 1992 年正式提出,并由 Breiman (1996) 扩展用于回归。在机器学习竞赛(Kaggle、Netflix Prize)展示其有效性之前,它一直相对小众。现代变体如超学习器(super-learner,Van der Laan & Polley, 2007)和融合(blending)进一步完善了该方法。堆叠泛化现在是集成学习中的标准技术,尤其是在竞争性机器学习领域。

何时使用

当您拥有具有中等个体准确性的多样化基分类器并希望优化它们的组合时,请使用堆叠泛化。当基模型具有不同的优势和劣势时(例如,决策树、神经网络、支持向量机),它尤其有效。如果基分类器高度相关或计算成本至关重要,请避免使用堆叠泛化,因为堆叠泛化需要训练一个额外的元模型。

局限与注意事项

  • 需要仔细设计以避免过拟合:如果未正确验证,元学习器可能会记忆基预测。
  • 计算成本增加:需要训练 K+1 个模型,而不是仅仅 K 个。
  • 元学习器选择通常是问题特定的;没有普遍的最佳选择。
  • 随着复杂性增加,可解释性降低——难以理解最终的决策逻辑。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 自动学习最优聚合权重,优于固定的投票规则。
  • 适应单个基分类器的优势和劣势。
  • 处理异构基学习器(不同算法、超参数)。
  • 在机器学习竞赛中常能达到最先进的性能。

应用

  • 医学图像分析:堆叠卷积神经网络(CNN)、随机森林和梯度提升模型,用于从 X 射线和 MRI 诊断疾病。
  • 金融预测:结合 ARIMA、神经网络和支持向量机(SVM)预测,以预测股票价格或信用风险。
  • 自然语言处理:堆叠 BERT、GPT 和手工特征分类器,用于文本分类和情感分析。
  • Kaggle 竞赛:获胜方案经常采用包含 50 多个基模型和多个元学习器的复杂堆叠泛化。
  • 推荐系统:堆叠协同过滤、基于内容和神经网络模型,以预测用户偏好。

使用方式

使用方式

1

步骤1 — 使用不同的算法或数据样本,在原始训练数据上训练 K 个多样化的基分类器(0级模型)。

2

步骤2 — 通过将训练数据输入每个基分类器并收集其预测结果来生成元特征。这些预测结果构成了元学习器的新训练数据集。

3

步骤3 — 在元特征上训练一个元学习器(1级模型,通常是逻辑回归等简单模型),以学习最优组合权重。

4

步骤4 — 预测新样本时:首先将其输入所有基分类器,收集它们的预测结果作为元特征,然后将其输入元学习器以生成最终预测。

常见陷阱

  • 在基分类器训练所用的相同数据上训练元学习器(信息泄露)。应使用 k 折交叉验证或留出验证集。
  • 相对于基分类器的数量,选择过于复杂的元学习器(例如,只有 3 个基预测的随机森林元学习器)。
  • 未能确保基分类器足够多样化——堆叠泛化会放大相关性而非减少它。
  • 过度调整元学习器的超参数,这可能导致在验证元特征上过拟合。

常见问题

如何在堆叠泛化中避免过拟合?

使用 k 折交叉验证来生成元特征:每个折叠的测试预测成为元训练数据。这可以防止元学习器看到用于训练基分类器的数据上的预测。始终使用单独的留出验证集进行最终评估。

我应该使用什么模型作为元学习器?

简单的模型通常效果最好:逻辑回归、线性回归或小型决策树。复杂的元学习器(随机森林、神经网络)有在元特征上过拟合的风险。从简单开始,只有当验证性能停滞不前时才增加复杂性。

基分类器应该在相同的数据上训练吗?

不。在不同数据样本上训练(bagging)或使用不同算法训练的多样化基分类器可以提高元学习器的泛化能力。相同的基分类器会产生相同的预测,无法为元学习器提供有用的信息。

我可以在回归和分类中使用堆叠泛化吗?

可以。对于回归,元学习器从基回归器输出中预测连续值。对于分类,它从基分类器概率分数中预测类别。原理是相同的。

相关方法

参考文献

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241-259.

    打开 DOI 文献
    已复制。
  2. Breiman, L. (1996). Stacked regressions. Machine Learning, 24(1), 49-64.

    打开 DOI 文献
    已复制。