Skip to content
返回搜索结果

主动学习支持向量机

提出者
Tong, S. & Koller, D.
年份
2001
类型
Active learning + kernel classifier
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

主动学习支持向量机(Active Learning Support Vector Machine)将支持向量机(SVM)强大的决策边界能力与智能查询策略相结合,该策略能够选择信息量最大的未标记实例供人工标注。该方法由 Tong 和 Koller 于 2001 年提出,它能够使用远少于被动监督学习所需的标记样本来实现高分类精度,因此在标注成本高昂或耗时的情况下非常实用。

方法背后的直觉

标准的 SVM 需要大量标记样本才能绘制出可靠的决策边界。主动学习 SVM 颠倒了标注流程:它首先在一个小的标记种子集上训练一个初步的 SVM,然后查看所有未标记数据并询问“哪个实例,如果被标记,将最清晰地锐化边界?”它选择最接近当前超平面(模型最不确定的地方)的实例,仅标记该点,重新训练,然后重复。由于每个标签都是战略性选择的,因此少量标注就可以产生一个几乎与穷举标注一样好的边界。

历史学

主动学习 SVM 的开创性公式由 Simon Tong 和 Daphne Koller 于 2001 年在 ICML 上提出,并发表在《机器学习研究杂志》(Journal of Machine Learning Research, 2001)上。他们的简单边距算法将基于边距的查询选择确立为标准方法。Burr Settles 于 2010 年的文献综述系统化了更广泛的主动学习领域,并将 AL-SVM 确立为其规范实例之一。该方法仍然是标注效率学习研究中的一个基准,并广泛应用于文本分类、生物医学图像分析和遥感领域。

何时使用

当标记数据稀缺或获取成本高昂时,应使用主动学习 SVM——这在医学成像、文档分类和科学标注任务中很常见——并且有大量未标记数据可用。当标注成本高且决策边界非平凡时,其性能优于随机标注。当标记所有可用数据已经可行时;当特征空间维度极高且没有清晰的核结构时;或者当未标记池太小而无法从选择性查询中受益时,则不应使用。当神谕可用性间歇时也应避免,因为迭代循环需要反复的人工访问。

局限与注意事项

  • 在每次迭代时从头开始重新训练 SVM 对于大型标记池来说计算成本很高;增量 SVM 更新可以缓解但不能完全消除成本。
  • 边距采样可能会选择冗余或异常实例,如果未标记池在边界附近包含噪声或重复项。
  • 性能严重依赖于核函数和超参数的选择,而使用少量标记样本很难可靠地调整这些参数。
  • 假设神谕始终可用且无误;来自真实标注者的有噪声或不一致的标签会降低收敛速度。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 与被动监督学习相比,使用显著更少的标记样本即可实现高分类精度。
  • 紧密植根于 SVM 理论:基于边距的查询选择具有清晰的几何和概率依据。
  • 灵活的核函数选择(线性、RBF、多项式)允许适应文本、图像和表格特征空间。
  • 基于池的公式很实用:整个未标记集一开始就可用,这在实际应用中很常见。
  • 迭代重新训练提供了标注预算与性能之间自然监测曲线。

应用

  • 文本和文档分类,需要昂贵的专家标注(例如,法律、医疗记录)。
  • 生物医学图像标注,放射科医生或病理科医生的时间是有限制的。
  • 遥感和卫星图像分类,拥有大量未标记的档案。
  • 垃圾邮件和入侵检测,标注需要安全专家审查。
  • 科学数据标注,例如基因组学或材料科学,每个实例的标注成本很高。

使用方式

使用方式

1

算法在一个小的初始标记样本池上训练 SVM,建立一个早期的决策超平面。这个种子集质量很重要:即使只有少数几个样本,类别平衡和代表性多样性都很重要。

2

该算法通过每个未标记实例到当前 SVM 超平面的距离对其进行评分。具有最小绝对边距值(即最接近边界、模型最不确定的实例)的实例被选作下一个查询。此策略被称为边距采样(margin sampling)或简单边距(simple margin)。

公式
x^* = \arg\min_{x \in U} |\mathbf{w} \cdot \phi(x) + b|
3

选定的实例被呈现给人类标注者(称为“神谕”)进行分配真实类别标签。在基于池的主动学习中,这是每次迭代一个实例;批量模式变体选择一个多样化的迷你批次以减少神谕交互轮次。

4

新标记的实例被添加到标记集中,并在扩大的数据集上从头开始(或增量更新)重新训练 SVM。核函数选择(线性、RBF、多项式)和正则化参数 C 在标记池上固定或通过交叉验证确定。

5

循环继续,直到预定义的预算(标注数量、时间限制或在独立验证集上的目标精度)耗尽,或者直到查询实例的边距越过表明模型置信度足够的置信度阈值。

常见陷阱

  • 从类别不平衡的种子集开始,这会使初始超平面产生偏差,并将所有后续查询偏向一个区域。
  • 忽略特征缩放:SVM 边距是基于距离的,因此未缩放的特征会导致模型完全忽略低方差的维度。
  • 将标记池精度视为可靠的性能估计,而没有独立的独立测试集。
  • 每轮选择过大的批次,这会重新引入被动标注的低效率并降低主动选择的好处。
  • 在本质上非线性的数据上使用线性核函数,然后将不良结果归因于主动学习而非模型错误指定。

常见问题

主动学习 SVM 与标准 SVM 有何不同?

标准 SVM 被动地使用提供的任何标记数据。主动学习 SVM 主动选择要请求标记的未标记实例,选择最接近当前决策边界的实例。分类模型是相同的 SVM;只有数据收集策略发生了变化。

应该使用哪种查询策略?

简单边距(选择最接近超平面的单个未标记实例)是最经典且研究最多的策略。当神谕交互轮次成本高昂时,选择多样化批次的批量模式变体更受欢迎,但实现会稍微复杂一些。

何时应停止查询?

常见的停止标准包括耗尽固定标注预算、在验证集上达到目标精度,或观察到连续查询的实例都远离边界(表明模型置信度已稳定)。避免仅依赖训练集性能,因为这过于乐观。

主动学习 SVM 能处理多类问题吗?

是的,通过一对多(one-vs-rest)或一对一(one-vs-one)分解。多类查询选择的边距通常定义为两个最高类别分数之间的差值;选择具有最小差值的实例。一些实现使用专门的多类主动学习标准。

深度学习是否使主动学习 SVM 过时了?

并非完全如此。当标记数据非常稀缺(几十到几百个示例)、训练计算资源有限或重视边距的可解释性时,主动学习 SVM 仍然具有竞争力。只有当有 GPU 资源且未标记池非常大时,深度主动学习方法才更受欢迎。

相关方法

参考文献

  1. Tong, S., & Koller, D. (2001). Support Vector Machine Active Learning with Applications to Text Classification. Journal of Machine Learning Research, 2, 45–66.

    打开出版物文献
    已复制。
  2. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    打开出版物文献
    已复制。