自监督学习
- 提出者
- LeCun, Y. and community (formalized ~2018–2020)
- 年份
- 2018–2020
- 类型
- Representation learning paradigm
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
自监督学习(SSL)是一种机器学习范式,它通过定义辅助的“前置任务”(pretext task)——例如预测被掩码的词语、旋转图像或对比增强视图——直接从无标签数据中生成自身的监督信号,并利用学习到的表征作为下游任务的强大起点,只需极少的有标签示例。
方法背后的直觉
现实世界中的大部分数据都是无标签的。自监督学习将这种数据的丰裕性转化为训练资源,它通过设计一个模型必须仅凭数据本身来解决的挑战——例如,隐藏句子的一部分并要求模型预测它。解决该挑战会迫使模型构建丰富的内部表征。一旦表征足够好,只需少量有标签数据即可将模型适配到特定任务,从而显著降低标注成本。
历史学
通过代理任务从无标签数据中学习的概念在深度学习之前就已存在,但自监督学习作为一个命名的范式,在 2018-2020 年左右随着 NLP 领域的 BERT(Devlin 等人,2018)和计算机视觉领域的 MoCo / SimCLR 而兴起。Yann LeCun 在 2022 年倡导了该术语和愿景,称 SSL 为“智能的暗物质”。如今,它支撑着几乎所有大型语言模型和视觉基础模型。
何时使用
当您在目标领域拥有大量无标签数据,但标注成本高昂或耗时缓慢时,选择自监督学习——这在医学影像、自然语言处理、卫星图像和科学数据中很常见。在构建大规模基础模型(BERT, GPT, DINO)或下游有标签数据集较小时,这是标准方法。当无标签语料库太小(少于几千个示例)、前置任务与下游任务不匹配,或计算资源严重受限时,应避免使用 SSL——在这些情况下,在可用标签上进行监督学习或从公共检查点进行传统迁移学习更为实用。
局限与注意事项
- 预训练大型模型需要大量的计算资源(GPU/TPU 数天至数周)和大型无标签语料库。
- 前置任务设计并非易事;选择不当的任务可能产生迁移效果不佳的表征。
- 微调稳定性可能对学习率和解冻的层数敏感。
- 评估是间接的:前置任务性能不保证下游任务性能。
- 预训练语料库与目标领域之间的域差异可能会限制收益。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 利用海量的无标签数据,是进行大规模语料库预训练最具可扩展性的方法。
- 产生通用的表征,能够以很少的微调数据很好地迁移到许多下游任务。
- 通过从数据结构而非人工标签生成监督信号,极大地降低了标注成本。
- 最先进的基础模型(BERT, GPT, DINO, MAE)都建立在自监督目标之上。
- 通过设计跨模态前置任务(例如 CLIP)自然地处理多模态数据。
- 产生丰富的嵌入,无需任何微调即可用于检索、聚类和异常检测。
应用
- 预训练大型语言模型(BERT, GPT, T5)用于 NLP 任务,如分类和问答。
- 视觉基础模型(DINO, MAE, SimCLR)用于图像识别、分割和检索。
- 医学影像分析,其中有标签的扫描图像稀缺,但无标签图像丰富。
- 语音和音频表征学习(wav2vec, HuBERT),用于 ASR 和说话人验证。
- 分子和蛋白质表征学习(ChemBERTa, ESM),用于药物发现。
- 通过嵌入相似性进行异常检测和检索,无需有标签的异常数据。
使用方式
使用方式
前置任务(辅助任务)的设计使得其标签可以从数据结构本身免费获得——例如,文本中的掩码词预测(BERT)、视频中的下一帧预测,或最大化同一图像不同增强视图之间的相似性(SimCLR, MoCo)。此阶段不需要人工标注。
一个神经编码器将每个输入 x 映射到一个密集表征 z = f(x; theta)。编码器架构因模态而异:Transformer 用于文本和视觉,卷积网络用于音频,或图神经网络用于分子数据。该表征是将知识传递到下游任务的关键。
公式
z = f_{\theta}(x)模型被训练以最小化衡量其前置任务解决程度的损失——掩码预测的交叉熵、视图一致性的对比损失(InfoNCE),或自编码器的重建误差。最小化此损失会塑造表征,使其捕获有用的语义结构。
预训练收敛后,编码器权重被迁移到下游任务。附加一个轻量级的分类或回归头,然后在少量有标签数据集上对整个模型(或仅头)进行微调,可达到与在更多有标签数据上训练的完全监督模型相当的准确率。
常见陷阱
- 选择前置任务时,未考虑其与下游任务语义的对齐性。
- 使用太小或不能代表目标领域的无标签语料库,导致表征效果不佳。
- 使用高学习率微调所有层,导致灾难性遗忘预训练的表征。
- 仅报告微调后的下游准确率,而不消减预训练相对于直接监督的价值。
- 忽略对比方法中的数据增强设计,这对表征质量至关重要。
常见问题
自监督学习与无监督学习的区别是什么?
两者都使用无标签数据,但自监督学习从数据结构中构建特定的监督信号(例如,掩码词、增强视图)并使用定义的损失函数进行训练。经典的无监督学习(聚类、PCA)则在没有任何明确预测目标的情况下寻找结构。
我需要从头开始预训练,还是可以使用现有的检查点?
对于大多数应用项目,微调公开可用的检查点(例如,Hugging Face 的 BERT,Meta 的 DINO)比从头开始预训练要实用得多。仅当您的领域高度专业化(例如,临床文本)且现有检查点迁移效果不佳时,才需要从头开始预训练。
需要多少无标签数据?
对于预训练来说,越多越好,但对于较小的模型,已通过数万个无标签示例证明了有效的领域特定 SSL。阈值很大程度上取决于模型大小和前置任务的复杂性。
什么是对比前置任务?
对比前置任务(SimCLR, MoCo)创建同一样本的两种不同增强视图,并训练编码器使视图在表征空间中相似,同时与其他样本的表征不同。这教会模型对增强具有不变性,同时保留语义内容。
自监督学习是否适用于表格数据?
是的,尽管收益小于图像或文本。SCARF、TabNet 预训练和掩码特征预测等方法在有标签表格数据稀缺时显示出优势,但对于标签可用性合理的典型表格数据集,监督集成方法仍然占主导地位。