主动学习决策树
- 提出者
- Settles, B. (active learning framework); Breiman et al. (decision tree base)
- 年份
- 1984–2010
- 类型
- Active learning with decision tree base learner
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
主动学习与决策树结合,将 CART 风格决策树的可解释结构与查询策略相结合,该策略选择信息量最大的未标记实例进行人工标注。该模型通过迭代地仅请求模型最不确定的样本的标签,从而在最小化标注成本的同时最大化表格数据的分类准确性。
方法背后的直觉
标注每一个训练样本的成本都很高。主动学习通过让模型提问:“标注哪个未标记的样本能教会我最多东西?”来解决这个问题。决策树被用作分类器,在每个查询步骤中估计不确定性。每添加一个新标签后,决策树都会重新训练,查询周期重复。其结果是,与从头开始训练的完全监督式决策树相比,该模型在需要更少标注样本的情况下就能达到具有竞争力的准确率,使其在标注成本高昂或耗时的情况下变得实用。
历史学
作为分类器的决策树可以追溯到 Breiman 等人的 CART(1984)和 Quinlan 的 C4.5(1993)。主动学习作为一个系统框架,由 Burr Settles(2010)进行了全面综述,他记录了不确定性采样、委员会查询和预期模型变化策略。自 20 世纪 90 年代末以来,决策树一直是主动学习基准测试的标准基础学习器,出现在 Cohn、Atlas 和 Ladner 的早期基于池的采样工作中(1994)以及后续对不同学习器类型的实证比较中。
何时使用
当标注的训练数据稀缺或获取成本高昂,但有大量未标记实例可用时,请使用主动学习决策树——例如在医学标注、文档分类或传感器故障检测任务中。当需要最终模型的可解释性以及标注效率时,决策树基础模型尤其适用。当可以廉价地标注整个数据集(被动学习就足够了)、标注池已经很大(数百或数千个)、特征空间非常高维(梯度提升或神经网络主动学习器表现更好)或对于非常大的数据集来说每次迭代的重新训练成本过高时,应避免此方法。
局限与注意事项
- 查询策略和决策树的重新训练结合起来,当未标记池非常大时,计算成本可能很高。
- 决策树是高方差学习器;初始标签很少时,早期决策树可能不可靠,导致早期查询效果不佳。
- 在相同的标注预算下,性能上限低于随机森林或梯度提升等集成方法。
- 假设预言家的标签是准确的;与被动学习相比,有噪声或不一致的标签会更快地降低主动学习循环的性能。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 与随机抽样相比,可显著减少达到目标准确率所需的标签数量。
- 决策树基础模型是人类可解释的,使其适用于需要解释的受监管领域或领域。
- 在具有混合特征类型的适中大小的表格数据集上效果良好,且无需进行特征缩放。
- 基于不确定性的查询策略易于实现并向利益相关者解释。
- 每次迭代后的袋外(out-of-bag)或验证集准确率提供了透明的学习曲线。
应用
- 医学图像或记录标注,其中专家标注时间有限。
- 文本分类,标注文档稀缺而未标记语料库庞大。
- 传感器和工业故障检测,标注成本高昂。
- 生态或遥感数据集,实地验证成本高昂。
- 欺诈检测流程,其中只有一小部分交易可以手动审查。
使用方式
使用方式
收集一小部分初始标注实例作为种子,并辅以大量的未标记实例。通常通过随机抽样或分层抽样来选择标注集,以确保在主动学习循环开始之前,至少包含预期类别中的每个类别的一个实例。
在当前的标注集上训练一个决策树分类器(通常是 CART 或 C4.5)。决策树学习分裂规则,以最小化每个节点的纯度(基尼不纯度或熵),从而生成一个分类器,该分类器还可以为任何未标记实例输出类别概率估计。
一个信息量标准——最常见的是基于预测熵 H 或前两个类别概率之间差值的采样不确定性——对每个未标记实例进行评分。选择不确定性得分最高的实例作为查询:x* = argmax H(y-hat | x)。
公式
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)将选定的实例呈现给一个预言家(人工标注者或自动化标注机制)进行标注。其真实标签被添加到标注的训练集中,未标记池减少一个。此步骤是实际应用中的关键瓶颈,应审计标注者的可靠性。
在扩展的标注集上从头开始重新训练决策树,并重复查询-评分-标注周期。停止标准包括达到标注预算、在预留的验证集上达到最低准确率阈值或达到最大迭代次数。最终评估应使用完全独立的测试集。
常见陷阱
- 使用测试集来指导查询策略,这会泄露信息并夸大评估指标。
- 未能设置固定的随机种子,导致不同运行的标注顺序和结果不可复现。
- 在初始种子集中忽略类别不平衡,导致决策树主要从多数类别中查询。
- 基于训练准确率而不是独立的验证集过早地停止循环。
- 将最终的主动学习准确率视为与完全监督基线相当,而不报告使用的标签数量。
常见问题
为什么使用决策树而不是更强大的模型作为基础学习器?
决策树在每次迭代时重新训练速度快,并产生不确定性评分所需的概率估计。它们的可解释性在需要解释最终模型的领域也很重要。为了获得最大准确率,可能会优先选择随机森林或梯度提升的主动学习器,但会牺牲可解释性。
我需要多少初始标注样本才能开始?
一个常见的经验法则是每个类别至少有一个或两个样本,以确保决策树能够进行有意义的分裂。在实践中,通常从 5-20 个标注实例开始;少于这个数量可能会导致初始决策树过于退化,无法产生有信息量的不确定性评分。
查询顺序是否重要?
是的。查询序列是路径依赖的:早期查询会影响决策树的学习内容,从而影响后续哪些样本看起来最不确定。不同的随机种子或初始标注集可能导致学习曲线显著不同,因此在比较策略时,请跨种子复制实验。
我应该何时停止查询?
提前定义一个标注预算,或监控验证准确率并在每新标签的改进低于某个阈值时停止。切勿使用测试集作为停止标准,因为这构成了数据泄露。
我可以使用这种方法处理多类别问题吗?
是的。基于熵的不确定性采样自然地推广到多个类别。对于严重不平衡的多类别设置,请考虑成本敏感型或类别加权决策树,并确保初始种子集涵盖所有类别。
相关方法
参考文献
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
打开出版物文献已复制。Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.
ISBN:978-0-412-04841-8已复制。