半监督学习
- 提出者
- Vapnik, V. N. and others (community of researchers, 1970s–2000s)
- 年份
- 1970s–2006 (formalized)
- 类型
- Learning paradigm
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
半监督学习(SSL)是一种机器学习范式,它利用少量带标签样本和大量无标签数据来训练模型。通过利用无标签数据中固有的结构,SSL 在需要更少昂贵的人工标注的情况下,实现了接近全监督模型的准确性——这使得在标注成本高昂、耗时或资源受限时,SSL 变得切实可行。
方法背后的直觉
想象一下,通过给学生一些带有答案的教科书示例和大量未解决的问题来教导他们。学生利用已解决的示例来理解模式,然后利用未解决的问题,通过观察哪些示例聚类在一起或共享相似结构来完善这种理解。SSL 的工作原理类似:模型从带标签数据中学习决策边界,然后利用无标签数据来锐化这些边界,其假设是,附近的点很可能属于同一类别,或者数据流形捕获了有意义的结构。结果是,该模型的性能优于仅在标签上进行训练的模型。
历史学
半监督学习作为一个正式领域,起源于 Vapnik 在 20 世纪 90 年代关于转导支持向量机的工作,以及 Zhu 和 Ghahramani (2002) 关于基于图的标签传播的工作。该领域由 Chapelle、Scholkopf 和 Zien (2006) 编辑的麻省理工学院出版社卷巩固,该卷至今仍是经典参考文献。现代深度学习通过一致性正则化方法(如 MixMatch (2019) 和 FixMatch (2020))重振了 SSL,将该范式扩展到大规模图像和文本任务。
何时使用
当您拥有大量无标签数据但标注成本高昂、耗时或需要稀缺的专家知识时,请使用半监督学习——这在医学影像、自然语言处理和科学领域很常见。当无标签数据和带标签数据共享相同分布时,当聚类或流形假设合理成立时,以及当全监督基线已经可行但其准确性受限于标签稀缺时,SSL 是合适的。当带标签数据和无标签数据来自不同分布(分布偏移)时;当无标签数据非常稀缺时;当任务足够简单以至于少量带标签集已经使模型容量饱和时;或者当伪标签误差累积速度快于模型纠正速度时(例如在高熵或不平衡输出的情况下),请勿使用 SSL。
局限与注意事项
- 如果无标签数据违反聚类或平滑性假设,或包含分布偏移,性能可能会低于监督基线。
- 伪标签误差在迭代过程中累积:高置信度但错误的预测会破坏后续训练。
- 需要仔细调整置信度阈值、正则化强度以及带标签数据与无标签数据的比例。
- 评估更困难:无标签集绝不能用于模型选择,除非严格保留。
- 计算成本随大型无标签语料库的增加而上升,特别是对于需要成对相似性的基于图的方法。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 当带标签数据稀缺但无标签数据充足时,显著提高模型准确性。
- 降低标注成本和时间,使得在专家标注密集型领域实现实际部署。
- 通过伪标签或基于图的扩展,与几乎任何基础学习器(神经网络、随机森林、支持向量机、高斯过程)兼容。
- 标签传播和基于图的方法提供可解释的不确定性和邻域结构。
- 自训练和一致性正则化可以自然地集成到标准训练流程中,只需最少的额外基础设施。
应用
- 医学图像分类,其中专家标注稀缺且无标签扫描丰富。
- 自然语言处理任务,如情感分析和命名实体识别,其中带标签文档很少。
- 蛋白质结构和基因组学研究,其中实验标签获取成本高昂。
- 工业质量控制,使用少量带标签的缺陷图像和大量无标签的生产图像。
- 语音识别和音频分类,其中只有一小部分录音可以转录。
- 网络内容分类和文档分类,使用大型爬取语料库。
使用方式
使用方式
收集一个数据集,其中包含一个小的带标签子集(通常占总数的百分之几)和一个大的无标签子集。带标签的示例必须能代表感兴趣的类别或结果。带标签集中的数据质量对最终模型有超乎寻常的影响。
仅使用带标签的示例训练初始模型。由于带标签数据池较小,这将产生一个准确性有限的基线分类器或回归器,但它为利用无标签数据提供了起点。
将初始模型应用于无标签数据,生成伪标签——预测的类别分配或软概率分布。高置信度的预测被暂时接受为训练标签。常见的 SSL 算法在此处有所不同:自训练接受最高置信度的预测,标签传播通过相似性图传播标签,一致性正则化则在输入扰动下强制执行稳定的预测。
重新训练模型,整合原始带标签数据和新生成的伪标签无标签示例。此过程可以迭代:改进的模型生成更好的伪标签,这反过来又进一步改进模型。正则化或置信度阈值可防止误差累积。
使用标准指标(准确率、F1、AUC、MSE)在保留的带标签测试集上评估最终模型,这些指标在训练或伪标签生成过程中从未接触过。与仅在标签上训练的全监督基线进行比较,以量化无标签数据带来的增益。
常见陷阱
- 使用其分布与带标签集不同的无标签数据——分布不匹配是 SSL 失败最常见的原因。
- 忽视仅监督基线,导致无法验证无标签数据是否确实有所帮助。
- 将置信度阈值设置得过低,导致训练集中充斥着不正确的伪标签。
- 在伪标签生成后在无标签池上进行评估,这会夸大性能估计。
- 将 SSL 视为无需假设——该方法仅在平滑性、聚类或流形假设成立时才有效。
常见问题
半监督学习与自监督学习有何不同?
半监督学习利用少量人工提供的标签和无标签数据来改进监督任务。自监督学习仅从无标签数据的结构中创建自己的标签(例如,预测被遮蔽的词)——在预训练期间不使用人工标签,尽管学习到的表示随后会在带标签数据上进行微调。
半监督学习何时会适得其反?
如果无标签数据与带标签数据来自不同的分布,或者如果类别边界与数据中的自然聚类不一致,SSL 可能会引入噪声,从而降低准确性至低于监督基线。务必与仅监督模型进行比较。
最简单的 SSL 算法是什么?
自训练是最直接的:在标签上训练,在无标签数据上进行预测,将高置信度预测作为带标签数据添加回去,然后重新训练。它适用于任何基础学习器,并且在更复杂的图或一致性正则化方法之前,可以作为有用的基线。
通常需要多少带标签数据?
没有普遍的答案,但当带标签数据占总数据集的 1-10% 时,SSL 最有益。如果每个类别只有大约 10-50 个带标签示例,即使是 SSL 也可能遇到困难;此时,主动学习以优先选择要标注的示例可能更有效。
半监督学习可以与任何模型类型一起使用吗?
是的。伪标签和自训练适用于任何基础学习器。基于图的方法(如标签传播)与模型无关,但需要计算成对相似性。一致性正则化方法最自然地应用于神经网络,但可以适应其他概率模型。
相关方法
参考文献
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN:978-0-262-03358-9已复制。Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.
打开出版物文献已复制。