主动学习投票集成
- 提出者
- Seung, H. S., Opper, M., & Sompolinsky, H.
- 年份
- 1992
- 类型
- Active learning with ensemble voting
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
主动学习投票集成——正式名称为“委员会查询”(Query by Committee)——是一种主动学习策略,它训练一个由不同模型组成的委员会,并选择委员会成员分歧最大的未标记样本进行人工标注。通过将标注精力集中在信息量最大的点上,它能以远少于被动学习所需的标注样本达到高精度。
方法背后的直觉
想象一下让五位专家对一个未标记的样本进行分类。如果四位同意而一位不同意,答案就很清楚了——无需付费获取标签。但如果他们以三比二分裂,那么该样本就处于决策边界上,标注它将能教会所有模型最多东西。主动学习投票集成使这种直觉变得精确:构建一个模型委员会,让它们投票,只有在投票接近时才付费获取标签。其结果是一个高效的学习循环,能最大限度地利用有限的标注预算。
历史学
“委员会查询”(QBC)框架由Seung、Opper和Sompolinsky于1992年在COLT会议上提出,作为一种基于版本空间委员会的主动学习的原则性方法。它是最早使用集成模型分歧来指导数据收集的理论性论述之一,并且仍然是基于委员会的主动学习的典型参考。更广泛的主动学习文献由Burr Settles于2009年发表的广泛引用的技术综述进行了整合,该综述系统化了基于池、基于流和成员查询场景,并将QBC与不确定性采样一起确立为核心策略。
何时使用
当标注成本高昂或耗时——例如临床标注、法律文件标记、专业图像审查——并且存在大量未标记数据和少量标记种子集时,使用主动学习投票集成。它适用于委员会分歧是有意义信号的分类任务,并且可以部署至少3-5个不同的模型。当标签廉价且丰富(此时在整个数据集上进行被动学习将同样有效甚至更有效)、未标记池非常小、无法进行实时在线标注,或者需要一个可解释的单一模型而非集成模型时,应避免使用。
局限与注意事项
- 需要一个标注循环,这增加了基础设施的复杂性:一个池管理器、一个오라클接口和一个再训练管道。
- 性能在很大程度上取决于委员会的多样性;同质化委员会产生无信息量的分歧。
- 基于池的主动学习假设整个未标记池可以放入内存;非常大的池需要近似。
- 如果오라클产生系统性的标注错误,则不保证收敛。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 与随机采样相比,显著减少了达到目标精度所需的标记样本数量。
- 集成投票在推理时提供了降低预测方差的双重好处。
- 模型无关:任何一组不同的分类器都可以构成委员会。
- 分歧得分提供了一个内置的不确定性信号,易于监控和可视化。
- 基于1992年引入的“委员会查询”框架,具有坚实的理论基础。
应用
- 医学图像标注,因为放射科专家稀缺且标注成本高昂。
- 命名实体识别和文本分类,但标注语料库有限。
- 情感分析,包含需要专家审查的领域特定术语。
- 药物发现和分子性质预测,需要昂贵的湿法实验验证。
- 卫星图像分类,因为只有一小部分图块可以手动审查。
使用方式
使用方式
一个由k个不同基础模型(投票集成)组成的委员会在一个小的标记样本种子集上进行初始化。多样性是关键:模型可能在架构、超参数或训练子集上有所不同,因此它们的分歧是有信息量的,而不是随机的。
对于池U中的每个未标记候选样本x,计算委员会之间的分歧D(C, x)——常用指标包括投票熵(投票分布的离散程度)或预测之间的KL散度。选择具有最高分歧得分的样本:x* = argmax D(C, x)。
公式
x^* = \arg\max_{x \in U} D(C, x)选定的未标记样本被提交给人类 오라클(专家标注员、众包平台或自动标注器)以获取真实标签。这是唯一产生标注成本的步骤。
新标记的样本被添加到训练集中,并且所有委员会成员都被重新训练(或增量更新)。循环返回到查询步骤,直到标注预算耗尽或达到性能阈值。
在推理时,训练好的委员会对所有k个成员产生多数投票:预测类别是各个预测h_1(x)到h_k(x)的众数,结合了主动学习的效率增益和集成的方差减少。
公式
\hat{y} = \text{mode}(h_1(x), h_2(x), \ldots, h_k(x))常见陷阱
- 使用相同或几乎相同的委员会成员——多样性是该方法的核心,没有它,分歧就会崩溃。
- 每次查询后从头开始重新训练;批量查询(每轮选择b个样本)更实用。
- 在整个循环过程中忘记在固定的保留测试集上进行评估——仅在不断增长的训练集上进行测量会掩盖过拟合。
- 在推理时将分歧得分视为置信度度量,而未进行适当校准。
- 忽略信息性-代表性权衡:决策边界附近的极度不确定样本可能是异常值,而不是典型样本。
常见问题
我应该使用多少个委员会成员?
三到十个不同的模型是一个常见的实际范围。成员太少会产生更嘈杂的分歧估计;成员太多会增加计算成本。经验上,五个不同的分类器通常能在稳定性和效率之间取得良好的平衡。
我如何衡量委员会的分歧?
投票熵是最常用的度量:H = -sum_c p(c) log p(c),其中p(c)是预测类别c的委员会成员的比例。对于概率模型,平均KL散度与平均预测值是另一种选择。分数越高表示样本信息量越大。
我可以使用深度学习模型吗?
可以。深度集成或MC-dropout近似可以作为委员会。主要挑战是再训练成本——例如,通过具有不同输出头的共享骨干网络进行微调的策略可以显著降低此成本。
如果我的标注预算非常紧张——比如少于20个标签怎么办?
使用非常少的标签时,随机采样或分层种子选择的表现通常与QBC相当,因为所有方法都从几乎相同的信息匮乏的基线开始。一旦种子集每类至少有20-50个样本,QBC的优势就更明显了。
主动学习投票集成是否适用于回归任务?
是的,通过将分歧衡量为委员会预测的方差或标准差,而不是投票熵。相同的查询-再训练循环适用;最终输出是委员会预测的平均值。
相关方法
参考文献
Seung, H. S., Opper, M., & Sompolinsky, H. (1992). Query by committee. In Proceedings of the Fifth Annual Workshop on Computational Learning Theory (COLT '92), pp. 287–294. ACM.
打开 DOI 文献已复制。Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
打开出版物文献已复制。