Skip to content
返回搜索结果

主动学习堆叠集成

提出者
Wolpert, D. H. (stacking); Settles, B. (active learning survey)
年份
1992–2012
类型
Hybrid (active learning + stacked ensemble)
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

主动学习堆叠集成(Active Learning Stacking Ensemble)将主动学习查询循环与堆叠泛化(stacked generalization)相结合:当存在一个未标记数据池时,模型会迭代选择信息量最大的实例进行人工标记,并利用这些标记来训练和优化一个由多个基础学习器(base learner)和一个元学习器(meta-learner)组成的堆叠集成模型。这种方法在最大化集成模型预测能力的同时,降低了标注成本。

方法背后的直觉

数据标注成本高昂。主动学习旨在回答:哪些未标记样本能让模型学到最多?通过衡量堆叠集成模型中基础学习器之间的不确定性或分歧,系统可以将人类标注者引导至集成模型最困惑的样本。每个新标记的数据点都会反馈到堆叠管道中,更新基础学习器和元学习器。其结果是,与标准监督训练所需的标签数量相比,用少得多的标签构建了一个强大的集成模型。

历史学

堆叠泛化由David Wolpert于1992年提出,作为通过元学习器组合不同基础学习器的一种方式。主动学习作为选择信息量样本的系统框架,由Burr Settles于2012年进行了全面调查。将主动查询策略应用于集成或堆叠架构的组合方法,在2000年代和2010年代兴起,当时研究人员寻求降低复杂模型的标注成本,现在已成为低资源和标注高效机器学习中的一个既定范式。

何时使用

当标记数据稀缺或获取成本高昂、存在大量未标记数据池且需要高预测准确性时,请使用主动学习堆叠集成。它在医疗标注、法律文档分类和科学图像标记等专家时间有限的领域尤其有价值。当所有数据都可以廉价标记时,请勿使用此方法——标准堆叠会更简单且同样有效。当未标记池很小(主动选择几乎没有益处)或在查询循环期间需要实时预测时,请避免使用此方法,因为每次查询后重新训练堆叠的计算成本很高。

局限与注意事项

  • 对于大型基础学习器集合,每次查询后重新训练整个堆叠集成模型的计算成本很高。
  • 查询策略设计并非易事:糟糕的采集函数可能会选择冗余或信息量不足的样本。
  • 元学习器需要足够的标记数据才能学习可靠的组合权重;在标签数量非常少的情况下,元特征会很嘈杂。
  • 人类预言机的反馈延迟在实践中可能导致迭代循环缓慢。
  • 性能在很大程度上取决于基础学习器的多样性和所选的元学习器。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 与被动监督堆叠相比,使用更少的标记样本即可实现高预测准确性。
  • 来自多个基础学习器的集成多样性使得查询不确定性估计更加可靠。
  • 元学习器自适应地组合基础学习器,纠正每个基础学习器的偏差。
  • 与几乎任何基础学习器和元学习器组合兼容。
  • 系统地减少标注预算,提高专家时间效率。

应用

  • 标记案例有限的医学图像或临床记录分类。
  • 专家标注成本高昂的法律和法规文档分类。
  • 生物学、化学和遥感领域的科学数据标记。
  • 领域特定标记数据稀缺的情感分析和文本分类。
  • 需要人工调查真实标签的欺诈检测。
  • 任何具有大量未标记池和严格标注预算的表格预测任务。

使用方式

使用方式

1

一小部分已标记的种子集(seed set)用于拟合堆叠中的初始基础学习器。剩余数据作为候选池保持未标记状态。这个种子集定义了所有后续主动查询的起点。

2

采集函数(acquisition function)——例如预测不确定性、边界采样(margin sampling)或基于委员会查询(query-by-committee)的基础学习器间分歧——对每个未标记的候选样本进行评分。得分最高的实例被选为信息量最大的样本进行标注。

3

选定的实例会呈现给人类标注者或自动化预言机(oracle),由其分配真实标签。这个已标记的样本被添加到训练集中,用于下一轮训练。

4

利用更新后的已标记数据集,每个基础学习器(例如,决策树、支持向量机、逻辑回归)都会重新训练。基础学习器在训练集上的袋外(out-of-fold)预测结果构成了用于训练元学习器的元特征矩阵。

5

元学习器(通常是逻辑回归或线性模型)在基础学习器生成的元特征上进行训练。它学习如何最佳地组合基础学习器的预测,并纠正每个基础学习器的系统误差。

6

步骤2至5重复执行,直到达到预设的查询预算,或模型在保留验证集上的性能趋于稳定。最终的堆叠集成模型是基于所有累积的已标记数据训练得到的模型。

常见陷阱

  • 仅使用单个基础学习器——这消除了使主动查询信号可靠的集成多样性。
  • 在不进行中间重新训练的情况下进行大批量查询,这浪费了增量反馈的益处。
  • 每轮结束后仅在训练数据上进行评估,而不是在保留验证集上进行评估。
  • 在选择查询时忽略类别不平衡,这可能导致主动循环过度采样多数类别。
  • 将标记种子集的性能与最终模型的性能混淆。

常见问题

哪种查询策略最适合堆叠集成?

基于委员会查询(Query-by-committee)衡量基础学习器之间的分歧,这是一种自然的契合,因为基础学习器本身就构成了一个委员会。对元学习器输出进行不确定性采样也很常见,并且实现起来更简单。

我需要多少标记样本才能开始?

每个类别至少需要一个代表性样本的种子集;在实践中,每个类别10-50个标记样本足以让基础学习器生成有意义的不确定性估计,用于第一轮查询。

是每次查询一个样本好,还是批量查询好?

单次查询更新能最大化信息量,但每次标记后都需要重新训练,成本很高。批量模式主动学习(Batch-mode active learning)一次选择多样化的批量查询,并每批重新训练一次,在成本和信息增益之间提供了实用的权衡。

我可以使用深度学习器作为堆叠中的基础模型吗?

可以,但每次主动查询轮次后重新训练深度学习器成本非常高。一个常见的折衷方案是仅定期冻结或微调基础学习器,同时更频繁地运行带有元学习器的查询循环。

我怎么知道何时停止查询?

当验证性能在几轮中趋于稳定、标注预算耗尽,或者当采集函数对所有剩余候选样本分配统一的低信息量分数时——这表明模型已经从数据池中学习到大部分可提供的信息,此时应停止查询。

相关方法

参考文献

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    打开 DOI 文献
    已复制。
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool Publishers.

    打开 DOI 文献
    已复制。