Skip to content
返回搜索结果

主动学习

提出者
Burr Settles
年份
2009
类型
Interactive supervised learning framework
类别
Interactive ML

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

主动学习是一种迭代式机器学习范式,其中学习算法选择性地向一个“预言家”(通常是人类标注员)查询信息量最大的未标记样本的标签。该范式由 Burr Settles 在其 2009 年的开创性文献综述中正式提出,通过所需的标记样本数量远少于被动监督学习,从而实现高模型精度,解决了标注成本这一实际瓶颈。

方法背后的直觉

设想一名医学生,他不是死记硬背教科书的每一页,而是只向主治医师询问最令人困惑的病例。通过关注不确定性而不是复习他们已经理解的例子,学生可以学得更快。主动学习的工作方式相同:模型识别出它最困惑的例子,请求对这些特定实例进行人工标记,然后更新自身——重复这个循环,直到性能令人满意。

历史学

选择性查询信息性训练样本的概念可以追溯到 Fedorov 的最优实验设计(1972 年)和 Cohn 等人的查询学习(1994 年)。该领域由 Burr Settles 的 2009 年技术报告得到实质性的统一和推广,该报告分类了查询策略、理论界限以及在自然语言处理、生物信息学和计算机视觉中的应用。随着神经网络在 2016 年后成为主流模型类别,深度主动学习应运而生,催生了新的不确定性估计技术。

何时使用

当未标记数据丰富但专家标注成本高昂、耗时或稀缺时——这在医学影像、法律文件分类、科学数据整理和自然语言处理中很常见——主动学习最有利。它假设预言家可用,并且查询策略能够有意义地识别信息性示例。当标注成本可忽略不计、未标记池很小或任务分布在查询之间发生显著变化时,它的适用性较差。替代方法包括半监督学习(当无法通过交互获得标签时)和自训练(当预言家查询不可行时)。

局限与注意事项

  • 查询策略可能引入抽样偏差,导致标记集不能代表真实数据分布。
  • 性能提升在很大程度上取决于查询策略的选择,而查询策略是任务和模型特定的。
  • 每次查询后重新训练模型对于大型神经网络来说计算成本高昂。
  • 预言家噪声(标注员分歧或错误)如果不被显式建模,可能会降低性能。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过将标注工作集中在信息量最大的示例上,可大幅降低标注成本。
  • 适用于任何监督学习器——分类、回归、结构化预测——而无需修改底层模型架构。
  • 理论基础扎实:不确定性采样和查询-委员会方法具有 PAC 学习和贝叶斯理论依据。
  • 与众包工作流和现代标注平台兼容。

应用

  • 医学图像标注(放射学、病理学),其中专家标注成本高且稀缺。
  • 自然语言处理中的命名实体识别和关系抽取,减少了手工标记语料库的需求。
  • 药物发现:选择要合成和测定的分子候选物。
  • 遥感和卫星图像分类,具有有限的地面实况标签。
  • 自动驾驶:优先标注罕见或安全关键的驾驶场景。

使用方式

使用方式

1

该过程始于一个大的未标记样本池 U 和一个最初为空的标记集 L。基础模型可以预先在任何可用的标记种子数据上进行训练,或者随机初始化。标记数据和未标记数据的这种分离是基于池的主动学习的定义性结构假设。

公式
\mathcal{U} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_n\}, \quad \mathcal{L} = \emptyset
2

在每次迭代中,学习器根据信息量准则对每个未标记实例进行评分——在这里,不确定性采样选择最大类后验概率最低的示例,表明模型不确定性最大。替代准则包括查询-委员会分歧和预期模型变化。

公式
\mathbf{x}^* = \arg\max_{\mathbf{x} \in \mathcal{U}} \phi(\mathbf{x}; \theta), \quad \phi(\mathbf{x}) = 1 - \max_{y} P_\theta(y \mid \mathbf{x})
3

所选实例 x* 被呈现给预言家(人类专家、众包平台或自动化标注器),后者提供一个标签 y*。新标记的对从 U 移入 L,查询预算计数器递减。预言家成本通常被视为每次查询统一收费。

公式
y^* = \mathcal{O}(\mathbf{x}^*), \quad \mathcal{L} \leftarrow \mathcal{L} \cup \{(\mathbf{x}^*, y^*)\}, \quad \mathcal{U} \leftarrow \mathcal{U} \setminus \{\mathbf{x}^*\}
4

模型参数在当前标记集 L 上通过最小化经验损失进行重新训练(或微调)。然后,更新后的模型重新对剩余的池进行评分,查询-选择-标记-重训练循环重复进行,直到预算耗尽或达到目标精度阈值。

公式
\theta^* = \arg\min_\theta \frac{1}{|\mathcal{L}|} \sum_{(\mathbf{x},y) \in \mathcal{L}} \mathcal{L}_{\text{loss}}(f_\theta(\mathbf{x}), y)

常见陷阱

  • 冷启动问题:初始标签非常少时,不确定性估计不可靠,导致早期查询效果不佳。
  • 批量模式主动学习如果忽略查询间的相关性,可能会选择冗余实例。
  • 将主动学习应用于具有基于 dropout 的不确定性(例如,MC Dropout)的深度神经网络,可能会低估分布外区域的不确定性。
  • 在没有置信区间的情况下比较不同种子或查询预算的主动学习运行结果,会导致关于策略优越性的误导性结论。

常见问题

主动学习与半监督学习有何不同?

半监督学习利用未标记数据的结构(例如,聚类、流形假设)而不查询预言家,使用伪标签或一致性正则化来更新模型。主动学习明确地从预言家那里请求所选示例的真实标签。这两种方法是互补的,并且可以结合使用。

实践中应使用哪种查询策略?

不确定性采样是最广泛使用的基线,对于二元和多类分类器效果良好。当已存在集成模型时,查询-委员会方法更可取。预期模型变化或 BALD(基于不确定性的主动学习)对于深度模型往往表现更好,但计算量更大。从不确定性采样开始,并与其他方法进行基准测试。

主动学习能否应用于回归任务?

可以。对于回归,信息量通常通过预测方差(例如,来自高斯过程或集成模型)来衡量,而不是类概率熵。学习器查询方差最大的点。这是贝叶斯优化和基于代理模型的设计实验中的标准做法。

相关方法

参考文献

  1. Settles, B. (2009). Active learning literature survey. University of Wisconsin-Madison Computer Sciences Technical Report 1648.

    打开出版物文献
    已复制。