Skip to content
返回搜索结果

堆叠法

提出者
Wolpert, D.H.
年份
1992
类型
Ensemble (heterogeneous meta-learning)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

堆叠法(Stacking),或称堆叠泛化(stacked generalization),是一种集成学习方法,由David Wolpert于1992年提出,它通过一个独立的元模型(Level-1)来组合多个不同基模型(Level-0)的输出。与装袋法(bagging)和提升法(boosting)不同,堆叠法刻意使用异构模型类型,并且是Kaggle竞赛中的标准最终阶段策略。

方法背后的直觉

不同的模型族会犯不同类型的错误:树集成模型、支持向量机和线性模型各自以自己的方式捕捉数据。堆叠法将它们的预测视为新特征,并训练一个额外的模型来学习如何最佳地融合它们,从而元模型可以利用每个基模型擅长的部分并忽略其薄弱之处——产生一个通常优于任何单一模型的组合预测。

历史学

堆叠泛化(Stacked generalization)由David Wolpert于1992年提出,作为一种通过更高层模型组合多个泛化器的方法。该思想后来由van der Laan, Polley和Hubbard于2007年以Super Learner(超级学习器)的名称进行了形式化和强大的理论支撑,它使用交叉验证来组合基学习器库。此后,堆叠法已成为机器学习竞赛中的标准最后阶段策略,其中异构模型集成通常在排行榜上名列前茅。

何时使用

当预测精度是首要任务,并且您有几个合理强大、多样化的基模型可以组合时,请使用堆叠法,适用于具有连续、分类或二元特征的横截面数据,并且至少有约100个观测值。它不需要正态分布的数据。在约100个观测值以下,k折交叉验证无法生成足够可靠的Level-0预测,元模型会过拟合,因此单个调优模型(如随机森林或XGBoost)更安全。

局限与注意事项

  • 需要相当大的样本量(约100+)才能使k折交叉验证生成可靠的Level-0预测。
  • 当基模型高度相关而非多样化时,收益会缩小。
  • 比单一模型更复杂、计算量更大,并且整体上更难解释。
  • 在小样本量下,无法实现基模型的多样性,通常单个模型就足够了。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过利用犯不同错误的异构基模型,通常能达到最高的预测精度。
  • 灵活性高:任何模型族都可以作为基学习器,顶部再加一个简单的元模型。
  • 假设较少——无正态性要求,且能处理连续、分类和二元特征。
  • 在Kaggle等竞赛预测场景中被验证为标准的最终阶段策略。

应用

  • 在Kaggle等预测建模竞赛中的最终阶段集成。
  • 组合异构模型以实现高精度分类和预测。
  • 在生物统计学和流行病学中的Super Learner集成。
  • 融合强大但多样化的模型,当需要榨取额外精度时。

使用方式

使用方式

1

在数据上训练一组多样化的基学习器(Level-0)——例如随机森林、梯度提升模型和支持向量机。这些模型越多样化且相互独立,堆叠法能获得的好处就越大;当基模型之间高度相关时,堆叠法的收益会缩小。

2

Level-0 预测是通过 k 折交叉验证生成的,而不是在基模型已拟合的相同数据上生成的。这种“外折”(out-of-fold)方案对于防止数据泄露至关重要:每个观测值的元特征来自在训练中未见过该观测值的模型。

3

一个元模型(Level-1)在交叉验证的基模型输出上进行训练,以产生最终预测。元学习器通常保持简单——逻辑回归、岭回归或小型XGBoost——这样它就能学习到合理的权重来组合基模型,而自身又不会过拟合。

公式
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

常见陷阱

  • 在基模型训练的同一数据上生成Level-0预测,导致数据泄露到元模型中。
  • 堆叠许多高度相关的基模型并期望获得巨大收益。
  • 使用过于复杂的元模型,导致其过拟合基模型输出,而不是使用简单的回归器。
  • 将堆叠法应用于小型数据集,其中基模型多样性和可靠的交叉验证是不可能的。

常见问题

堆叠法与装袋法和提升法有何不同?

装袋法和提升法构建许多同类型的模型,而堆叠法则刻意组合异构模型族,并通过一个独立的元模型学习如何融合它们。这种多样性是堆叠法的优势所在。

为什么使用交叉验证来构建元特征?

如果元模型在基模型对其自身训练数据所做的预测上进行训练,信息就会泄露,堆叠法会过拟合。通过k折交叉验证生成“外折”(out-of-fold)的Level-0预测,为元模型提供诚实的输入。

元模型应该是什么?

保持简单——逻辑回归、岭回归或小型XGBoost。简单的元学习器可以学习到合理的融合权重,而不会过拟合基模型输出。

何时不应使用堆叠法?

当观测值少于约100个时,交叉验证无法产生足够可靠的Level-0预测,且基模型多样性难以实现,因此单个调优的随机森林或XGBoost是更安全的选择。

相关方法

参考文献

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    打开 DOI 文献
    已复制。
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    打开 DOI 文献
    已复制。