Skip to content
返回搜索结果

半监督堆叠集成

提出者
Combines Wolpert (1992) stacking with semi-supervised learning principles
年份
2000s–2010s
类型
Ensemble (stacked generalization with unlabeled data augmentation)
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

半监督堆叠集成将经典的堆叠泛化框架扩展到只有一小部分训练样本带有标签的场景。首先在有标签数据上训练基础学习器,然后用它们为无标签样本分配伪标签;扩展后的数据集用于训练更强的基础模型,这些模型的外折预测构成元学习器的输入,从而产生一个利用有标签和无标签结构的两层集成模型。

方法背后的直觉

堆叠通过在不同基础模型的预测上训练元学习器,已经超越了单个模型。半监督堆叠增加了一个额外的技巧:它不丢弃大量的无标签样本,而是使用当前的基础模型以一定的置信度阈值猜测它们的标签,将这些带有伪标签的样本重新纳入训练,重新训练基础模型,并重复此过程。每次迭代都为基础模型提供了更多学习数据,因此它们为元学习器生成的元特征变得越来越有信息量——所有这些都不需要任何额外的人工标注。

历史学

Wolpert于1992年将堆叠泛化形式化为通过学习型元学习器组合多个模型的方法。半监督学习原则——利用无标签数据改进监督模型——由Chapelle、Schölkopf和Zien在他们2006年麻省理工学院出版社的著作中进行了整合。两者的明确结合,即半监督堆叠,在2000年代和2010年代通过应用机器学习文献出现,特别是在竞赛机器学习和标注稀缺的领域得到了采用。

何时使用

当您有一个带有少量有标签数据集和大量无标签特征向量的分类或回归任务时,请使用半监督堆叠——这在医学影像、自然语言处理或遥感等标注成本高昂的领域很常见。当无标签数据与有标签数据来自相同分布,并且至少有3-5个多样化的基础学习器族可用时,它尤其有效。当无标签池很小(与标准堆叠相比没有优势)、当有标签集已经足够大以至于半监督收益微不足道、或者当怀疑有标签和无标签样本之间存在分布偏移时,请避免使用它,因为伪标签错误会在迭代中累积。

局限与注意事项

  • 伪标签错误在迭代过程中累积;如果初始基础模型较弱,错误的伪标签可能会降低而非提高性能。
  • 超参数空间广阔:迭代次数、置信度阈值、折叠数和基础学习器多样性都会相互作用。
  • 计算成本高:多个基础学习器的k折再训练会重复进行多次迭代,因此运行时间增长迅速。
  • 要求无标签分布与有标签分布紧密匹配;协变量偏移会使伪标签假设失效。
  • 可解释性低——两层堆叠加上迭代伪标签使得难以追溯任何单个预测是如何形成的。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 利用大量无标签数据,无需额外标注成本,通常能显著提高监督学习堆叠的准确性。
  • 继承了经典堆叠的所有优点:基础学习器之间的多样性同时减少了方差和偏差。
  • 灵活性强:任何监督学习器都可以作为基础模型或元学习器,使该框架具有广泛的适用性。
  • 置信度阈值提供了一种原则性机制,用于控制每次迭代中引入的伪标签的质量。
  • 可扩展性好——无标签数据成本低,因此随着无标签与有标签样本比例的增长,该方法的价值也越大。

应用

  • 医学图像分类,其中标注扫描稀缺但未标注扫描丰富。
  • 自然语言处理任务(情感、主题),具有大型无标签语料库和小型有标签训练集。
  • 遥感土地覆盖分类,使用丰富的卫星图像但地面真实标签很少。
  • 欺诈检测,其中已确认的欺诈案例与未审查的交易相比很少。
  • 生物信息学任务,例如蛋白质功能预测,其中经过实验验证的样本有限。

使用方式

使用方式

1

基础学习器(例如,梯度提升树、支持向量机、神经网络)在有标签子集上进行训练。然后它们预测每个无标签样本的类别概率;最大预测概率超过置信度阈值的样本被分配伪标签,并添加到工作训练集中以供下一次迭代使用。

2

多样化的基础学习器在真实标签和伪标签的组合集上进行(重新)训练,使用k折交叉验证以避免数据泄露。基础模型之间的多样性——在算法族、正则化强度或特征子集方面——至关重要;同质堆叠从第二层获得的收益很小。

3

每个基础学习器在有标签样本上的外折预测被收集到一个元特征矩阵中。每一行对应一个有标签的训练样本;每一列是根据未见过该样本的折叠估计的一个基础模型的预测,为元学习器保留了无偏表示。

4

元学习器(通常是逻辑回归、浅层神经网络或另一种树模型)在元特征矩阵上使用真实标签进行训练。它学习如何最好地组合基础学习器的输出,纠正它们的系统偏差并利用它们的互补优势。

5

步骤1-4重复进行固定次数的迭代,或者直到伪标签集稳定(很少有新样本超过置信度阈值)。在每次通过时,可以稍微放宽置信度阈值以纳入更多无标签数据,但需要谨慎:过低的阈值会传播错误的伪标签并降低性能。

常见陷阱

  • 在早期迭代中将置信度阈值设置过低,导致训练集充斥着噪声伪标签,从而降低基础学习器质量。
  • 只使用一两个高度相关的基础学习器;没有多样性,元学习器会收到冗余信号,堆叠性能不会优于单个模型。
  • 在生成元特征时未能使用交叉验证,导致数据泄露,从而夸大训练准确性并误导元学习器训练。
  • 在伪标签样本而不是保留的真实标签测试集上评估最终性能,产生过于乐观的指标。
  • 忽略收敛——在伪标签集稳定后运行过多迭代会浪费计算资源,并有过度拟合自信但错误预测的风险。

常见问题

如何选择伪标签的置信度阈值?

对于分类任务,一个常见的起点是0.9或更高,这意味着只有当主要类别概率超过90%的样本才会被赋予伪标签。随着基础模型的改进,阈值可以在后续迭代中放宽。始终监控迭代过程中的验证准确性,以发现引入过多噪声的阈值。

我应该使用哪些基础学习器?

多样性是关键原则。典型的组合包括梯度提升树(例如XGBoost)、带有径向核的支持向量机和神经网络。结合在偏差-方差特性和它们捕获的特征关系上不同的模型,可以为第二层生成最具信息量的元特征。

这与标准堆叠有何不同?

标准堆叠始终只使用有标签数据。半监督堆叠增加了一个伪标签循环,通过高置信度的无标签样本迭代地扩展有效训练集,因此当有标签数据稀缺而无标签数据丰富时,它最有用。

它能处理回归和分类任务吗?

是的。对于回归任务,置信度阈值被基于残差的标准取代——例如,包括在基础模型中预测值稳定(低方差)的伪标签样本。元学习器然后组合连续输出而不是类别概率。

标签传播错误的风险是什么?

如果初始基础模型不准确,它们自信的预测仍然可能是错误的,并且这些错误会在后续迭代中得到强化。使用较高的初始置信度阈值,在迭代过程中监控一个保留的有标签验证集,并在验证性能停止改进时停止是主要的防御措施。

相关方法

参考文献

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    打开 DOI 文献
    已复制。
  2. Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN:978-0-262-03358-9
    已复制。