自监督决策树
- 提出者
- Multiple authors (active research area, 2010s–2020s)
- 年份
- 2015–present
- 类型
- Self-supervised ensemble/single tree model
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
自监督决策树学习将经典决策树的可解释性与通过自监督代理任务利用大量无标签数据的能力相结合。该模型在对少量有标签数据集进行预测之前,从无标签样本中学习有用的特征表示或节点分裂标准,从而弥合了全监督树与纯无监督聚类之间的差距。
方法背后的直觉
标准的决策树在每个节点都需要有标签示例。在许多现实场景中,收集标签成本高昂,但原始数据却很丰富。自监督决策树通过首先要求决策树解决一个辅助任务来解决这个问题——例如,仅使用无标签数据预测两个样本是否属于同一簇,或重建被掩码的特征。这个代理阶段教会决策树哪些特征和阈值在全局上具有信息量。当最终获得标签时,决策树已经有了先发优势,只需要更少的标签就能达到很高的准确率。
历史学
自监督学习作为一种范式,在 2010 年代通过对比目标和代理任务的研究在深度学习领域崭露头角。研究人员随后将这些思想应用于基于树的模型,以在标签稀缺的情况下恢复其可解释性优势。早期的方法从半监督学习中借鉴了伪标签技术,而后期版本则直接在树生长准则中采用了对比和重建目标,使得该领域在 2020 年代成为一个活跃的研究领域。
何时使用
当有标签训练样本稀缺但具有相同分布的大量无标签样本可用,并且仍需要一定程度的可解释性(排除深度神经网络方法)时,推荐使用此方法。当领域专家能够设计出与预测目标一致的有意义的代理任务时,也适用。当有标签数据集已经很大(标准监督树的性能将匹配或超过)、无标签数据来自不同分布,或者在表格基准测试中仅关注最大预测准确性(梯度提升通常会优于此)时,不适用。
局限与注意事项
- 性能对代理任务的设计敏感;选择不当的任务可能会误导树的结构。
- 如果无标签分布偏离有标签数据,伪标签噪声会随着分裂累积。
- 与标准监督树相比,由于代理训练阶段,计算成本更高。
- 与全监督树相比,伪标签质量和收敛性的理论保证不太成熟。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在有标签样本稀缺的情况下,利用丰富的无标签数据来提高泛化能力。
- 保留了决策树的可解释性:分裂仍然是人类可读且可审计的。
- 灵活的框架,可适应根据领域知识定制的各种代理任务。
- 在不牺牲基于树的预测的白盒特性的情况下,降低了标注成本。
- 兼容集成扩展(随机森林、提升树)以获得进一步的准确性提升。
应用
- 医学诊断,其中有标签的患者记录很少,但无标签的影像或临床数据却很丰富。
- 工业故障检测,使用大量的正常运行传感器日志和少数有标签的故障事件。
- 自然语言分类,其中标记的语料库有限,但原始文本量很大。
- 金融欺诈检测,其中相对于交易量,已确认的欺诈标签很少。
- 科学数据分析(基因组学、气候学),其中专家标注是瓶颈。
使用方式
使用方式
代理任务的设计使得决策树可以使用自动生成的监督信号在无标签数据上进行训练。常见的选择包括:从先前的 k-means 聚类结果预测成员资格、预测被掩码或损坏的特征值,或为实例分配旋转/变换标签。代理任务迫使决策树结构在没有任何人工提供的标签的情况下发现信息量大的分裂。
在代理阶段之后,使用已学习到的表示或聚类分配,为无标签实例分配高置信度的伪标签。这些伪标签在后续训练中被视为软目标,有效地将有标签池从一个小的种子集扩展到一个更大的工作集,同时为每个标签传播结构不确定性估计。
使用伪标签和任何可用的真实标签的组合信号,使用标准的分割算法(例如 CART、ID3 或 C4.5)来生长决策树。代理任务派生的特征或聚类分数可以作为额外的输入维度,丰富原始输入之外的特征空间,并允许纯监督树在稀疏标签下可能遗漏的分裂。
节点分裂的选择是为了最大化信息增益、基尼不纯度或自监督对比目标等信息准则,该准则在增强的训练集上进行评估。由于伪标签反映了从大量无标签样本中学到的全局结构,因此分裂的泛化能力通常优于仅从少量有标签集中学到的分裂。
在初始树生长完成后,一个微调阶段仅使用经过验证的有标签示例来重新修剪或重新加权叶子节点的预测。这可以纠正早期阶段引入的任何伪标签噪声,并确保最终预测与真实类边界对齐,而不是与近似的伪标签边界对齐。
常见陷阱
- 设计一个与下游目标无关的代理任务,导致表示无法迁移。
- 在没有置信度阈值的情况下使用伪标签,这会将大量噪声示例淹没训练集。
- 跳过微调阶段,直接部署伪标签训练的树,这会保留系统性的标签错误。
- 忽略有标签和无标签数据池之间的分布偏移——伪标签将反映错误的数据结构。
- 将可解释性视为理所当然,而不验证伪标签派生的分裂是否仍然具有语义意义。
常见问题
这与决策树的半监督学习有何不同?
半监督方法通常直接将标签从有标签节点传播到无标签节点。自监督决策树首先定义一个代理任务,该任务仅从无标签数据生成合成监督信号,在看到任何下游标签之前为决策树提供更丰富的结构指导。
我应该选择哪个代理任务?
最佳代理任务应与下游目标相呼应。对于表格分类,k-means 聚类预测或掩码特征重建是常见的起点。如果可用领域知识——例如,时间序列行中的时间顺序——那么利用该结构的任务将更好地迁移。
这对回归目标有效吗?
是的。伪标签可以是连续的聚类中心或重建的特征值,并且可以在微调阶段使用均方误差准则来生长树。代理任务只需产生与连续结果相关的信号。
我能将此与随机森林或提升树结合使用吗?
是的。集成中的每棵树都可以使用自监督过程独立生长,然后集成以通常的方式聚合它们的投票或预测。这通常可以在保留单个树级别可解释性的同时,恢复与梯度提升相比的很大一部分准确性差距。
我如何评估伪标签质量?
在微调之前,将伪标签在少量有标签子集上的准确率与真实标签进行比较。在该保留的有标签集上的伪标签准确率低于 70% 是一个危险信号,表明代理任务未正确对齐或存在分布偏移。