Skip to content
返回搜索结果

主动学习 LightGBM

提出者
Settles, B. (active learning); Ke, G. et al. (LightGBM)
年份
2017–present
类型
Hybrid (active learning query strategy + gradient boosting classifier)
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

主动学习 LightGBM 将主动学习的查询效率标签选择策略与 LightGBM 的速度和准确性相结合,LightGBM 是一个基于直方图的梯度提升框架。该模型会迭代地选择信息量最大的未标记实例进行人工标注,在不断增长的标记数据集上重新训练 LightGBM,并以远少于被动监督学习的标记样本达到高准确率。

方法背后的直觉

标记数据成本高昂。主动学习 LightGBM 通过使用当前的 LightGBM 模型来识别其最不确定的未标记样本——那些接近决策边界或具有最高预测熵的样本——并且仅向人类标注员询问这些样本的标签。由于 LightGBM 训练速度快,并且通过梯度提升产生校准良好的概率估计,因此这种不确定性信号是可靠的。经过几轮查询,模型会学习到它最需要信息的地方,从而以最小的标注工作量提高准确率。

历史学

主动学习作为一个领域由 Settles (2012) 系统化,借鉴了 20 世纪 90 年代选择性采样和查询学习的早期工作。LightGBM 由 Ke 等人在 NeurIPS 2017 上提出,是一种使用基于直方图的分割和叶节点生长的极其高效的梯度提升实现。它们的结合从大约 2018 年开始在应用机器学习中流行起来,特别是在生物医学文本标注、遥感和工业质量控制领域,这些领域标注成本高昂且表格或富特征数据丰富。

何时使用

当标注成本是主要限制因素时,使用主动学习 LightGBM:存在大量未标记的表格数据,但标记每个实例在时间和金钱上成本高昂,并且需要达到 LightGBM 级别的准确率。当类别分布不平衡或未标记数据丰富但标记数据稀缺时,它表现出色。当可以廉价地标记整个数据集时,当数据仅作为完全标记的批次到达(被动学习就足够了)时,当“神谕者”(标注员)不可靠或无法进行交互式操作时,或者当严格需要解释每个决策而无需事后工具时,则不应使用它。

局限与注意事项

  • 查询策略和停止标准需要仔细选择;错误的选择会浪费标注预算。
  • 每轮引入延迟(如果从头开始重新训练);大型数据集和多轮查询可能速度较慢。
  • 性能取决于可靠的“神谕者”;嘈杂或不一致的人工标签会迅速降低模型性能。
  • 不适用于纯粹的流式或在线设置,除非适应 LightGBM 的增量训练。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过专注于信息量最大的实例来标记,可显著减少标注工作量。
  • LightGBM 的速度允许在查询轮次之间快速重新训练,使交互式工作流程成为可能。
  • 通过 LightGBM 的原生支持,可以很好地处理高维表格数据,包括分类特征。
  • 兼容多种查询策略(不确定性采样、边距、熵、委员会查询)。
  • 通过 LightGBM 的类别权重和 scale-pos-weight 参数自然处理类别不平衡。

应用

  • 医学记录标注和临床自然语言处理,因为专家标注成本高昂。
  • 遥感和卫星图像分类,具有部分地面真实覆盖。
  • 工业缺陷检测,基于表格传感器数据和昂贵的人工检查。
  • 欺诈检测和风险评分,具有有限的已确认欺诈标签。
  • 科学文献筛选,在系统评价中优先阅读全文文献。

使用方式

使用方式

1

从可用数据中随机抽取一小组标记的初始样本。这些样本构成初始训练池。其余未标记的实例构成查询池,模型将在后续轮次中从中请求标注。

2

使用基于直方图的叶节点生长方式在当前的标记池上训练 LightGBM,即使在标记样本很少的情况下也能实现快速训练和强大的预测性能。为所有未标记池中的实例生成每个类别的概率估计。

3

一个获取函数根据每个未标记实例的信息量对其进行评分——通常是预测熵 H(y|x)、边距采样或委员会查询分歧。本轮选择得分最高的实例进行标注。

公式
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})
4

选定的实例被呈现给人类“神谕者”——领域专家、众包平台或自动化标注器——提供真实的类别标签。这是唯一需要外部输入的步骤;其成本和可靠性直接限制了可行查询轮次的数量。

5

新标记的实例被添加到训练池中,并从头开始重新训练 LightGBM(或在支持的情况下进行增量更新)。循环重复,直到达到标注预算、准确率阈值或最大查询轮次。

常见陷阱

  • 仅在主动选择的标记集上评估性能,该标记集倾向于困难示例——在主动学习循环开始之前,务必预留一个随机测试集。
  • 忽略冷启动敏感性:如果种子集太小或不具代表性,早期查询可能会产生误导。
  • 使用未经校准的概率作为不确定性分数,而不检查 LightGBM 的校准(Platt 缩放或等渗回归有帮助)。
  • 在报告泛化指标时,将标记池视为独立同分布(i.i.d.),因为主动抽样的集合不是总体样本。

常见问题

哪种查询策略与 LightGBM 结合效果最好?

通过预测熵进行不确定性采样是最常见的起点,因为 LightGBM 直接生成类别概率。当类别计数非常不相等时,边距采样(前两个类别概率之差)通常更稳健。委员会查询需要训练多个模型,但可以减少单一模型不确定性估计的偏差。

需要多少标记样本才能开始?

至少需要每个类别一个样本的种子集;实际上,每个类别随机选择 10-50 个标记实例足以让 LightGBM 在第一轮查询中产生有意义的不确定性估计。

我应该每轮都从头重新训练 LightGBM 吗?

从头开始重新训练可确保模型完全反映更新的标记集,这是标准做法。对于非常大的数据集或多轮查询,存在增量方法,但需要小心避免模型漂移。

我如何知道何时停止查询?

常见的停止规则包括:达到固定的标注预算、在几轮中保持的验证准确率停滞不前,或最大不确定性分数低于某个阈值。跨轮次监控随机保留的测试集性能是最可靠的指标。

主动学习 LightGBM 与半监督学习相同吗?

否。半监督学习在训练中直接使用未标记数据(例如,伪标签或一致性正则化)。主动学习会查询人类“神谕者”以获取选定未标记实例的真实标签;没有被查询标签的未标记数据根本不用于训练。

相关方法

参考文献

  1. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.

    打开 DOI 文献
    已复制。
  2. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.

    打开出版物文献
    已复制。