Skip to content
返回搜索结果

自监督逻辑回归

提出者
Chen et al. (SimCLR linear evaluation protocol, 2020); logistic probe practice widely adopted across SSL literature
年份
2020s
类型
Self-supervised pretraining + supervised linear classification
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

自监督逻辑回归是一个两阶段流程:首先,通过对比学习或掩码预测等自监督预任务,在大量无标签数据上训练一个神经网络编码器;然后,使用在少量有标签数据集上训练的标准逻辑回归模型对冻结的已学习表征进行分类。这种线性评估协议被广泛用于衡量自监督表征的质量。

方法背后的直觉

想象一下,在没有人告知标签的情况下,您通过比较图像对并学习它们的异同来教会自己识别形状。经过这种无监督的练习,您对图像的内部表征变得丰富且结构化。当您最终看到少量有标签的示例时,应用于您已学习表征的简单线性规则——逻辑回归——通常足以准确分类新示例。线性分类器的质量随后揭示了自监督预训练的有用程度,这就是为什么这种组合是自监督学习(SSL)社区中标准的基准探针。

历史学

线性评估协议——在冻结的自监督特征上训练逻辑回归——在SimCLR (Chen et al., 2020) 和MoCo等对比方法成功之后,成为自监督学习文献中主要的基准。早期关于词嵌入(Word2Vec, GloVe)的工作也使用类似的下游线性分类器来验证表征质量。该协议现在已成为视觉、自然语言处理(NLP)和音频自监督学习(SSL)研究中的标准,作为衡量预训练模型效用的轻量级、可比较的指标。

何时使用

当有标签数据稀缺但无标签数据充足时,请使用自监督逻辑回归——这在医学影像、自然语言处理(NLP)或科学领域是常见情况。它也是评估自监督编码器是否学习到可迁移表征的标准协议。当预训练和下游领域密切相关时,该方法效果最佳。当有标签数据充足(普通监督学习会表现更好)、当下游任务需要精细的非线性边界(编码器的完全微调更好),或者当预训练大型编码器的计算资源不可用时,请避免使用它。

局限与注意事项

  • 需要一个强大的、通常是大型的神经网络编码器来生成有用的表征,这需要大量的计算和无标签数据进行预训练。
  • 性能严重依赖于预任务与下游分类任务的匹配程度;不匹配的任务会产生较差的嵌入。
  • 当决策边界在预训练特征空间中是非线性时,冻结的线性探针可能不如完全微调。
  • 端到端的可解释性有限:自监督编码器是一个黑箱,它生成了馈送给逻辑回归的特征。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 利用无标签数据,显著减少了昂贵的人工标注需求。
  • 线性评估协议为表征质量提供了一个可解释、可重现的基准。
  • 逻辑回归速度快、稳定,并提供具有良好理解的推理的概率输出。
  • 将预训练与分类分离使得流程模块化:同一个编码器可以服务于多个下游逻辑分类器。
  • 在图像、文本、音频等领域都表现良好——只要可以预训练自监督编码器。

应用

  • 医学图像分类,其中有标签扫描有限但无标签档案庞大。
  • 使用来自自监督语言模型的句子嵌入进行自然语言处理(NLP)文本分类。
  • 通过线性探查对不同的自监督预训练策略进行基准测试和比较。
  • 生物学和化学等科学数据分类,其中标注成本高昂。
  • 使用自监督音频编码器后接逻辑回归进行音频事件检测。
  • 资源匮乏的领域适应,其中有标签目标数据稀缺但无标签数据可用。

使用方式

使用方式

1

自监督预任务是在无标签数据上定义的:例如,预测同一图像的两个增强视图是否相关(对比学习)、重建被掩码的标记(掩码自编码器),或预测图像旋转。该任务在没有人为标签的情况下提供训练信号,迫使编码器学习具有语义意义的表征。

2

一个神经网络编码器——通常是卷积网络或Transformer——被训练以最小化大型无标签语料库上的预任务损失。训练后,即使没有涉及类别标签,编码器也能在其中间表征(嵌入)中捕获高级语义结构。

3

预训练后,编码器权重被冻结。每个有标签的训练示例都通过冻结的编码器,以生成固定长度的嵌入向量z。这些嵌入作为下游监督步骤的输入特征,取代了原始输入。

4

使用冻结嵌入z作为特征,在小型有标签数据集上拟合一个标准逻辑回归模型。由于嵌入已经具有丰富的语义信息,逻辑回归——嵌入空间中的线性边界——通常足以实现强大的分类性能,而无需进一步的神经网络微调。

公式
P(y=1 \mid \mathbf{z}) = \sigma(\mathbf{w}^\top \mathbf{z} + b)
5

训练好的逻辑分类器使用标准指标(准确率、F1、AUC-ROC)在保留测试集上进行评估。在SSL基准测试文献中,这被称为线性评估协议;冻结特征上的高线性准确率表明预训练学习到了有用的、线性可分的表征。

常见陷阱

  • 在用于预训练的相同无标签池上进行评估——编码器已经看到了这些输入,这可能会夸大下游估计。
  • 假设高线性探针分数意味着模型无需进一步验证即可泛化到不同的领域。
  • 在对比预训练中跳过数据增强或使用弱增强,导致表征性能不佳。
  • 使用过小的无标签预训练集,导致编码器未能学习到足够通用的表征。
  • 在线性评估期间忘记冻结编码器,这混淆了编码器质量与下游微调。

常见问题

自监督学习中的线性探针是什么?

线性探针正是这种设置:自监督预训练后,编码器被冻结,并使用有标签数据在其输出嵌入上训练一个简单的线性分类器——通常是逻辑回归。线性探针的准确率衡量了预训练表征的有用性和线性可分性。

我应该使用线性探查还是完全微调?

线性探查速度更快,并揭示了表征是否已经有用;它是标准的评估基准。编码器的完全微调通常以更多有标签数据和计算为代价,产生更高的下游准确率,并有忘记预训练表征的风险。实践中,先进行线性探查,如果需要再进行微调。

逻辑回归步骤需要多少有标签数据?

主要优点之一是,当编码器表征质量高时,每个类别仅需一到十个有标签示例即可获得良好结果。然而,典型的评估使用可用有标签数据的1-10%来公平比较方法。

预任务必须与我的下游任务匹配吗?

不完全是,但对齐很重要。对比视觉预训练可以很好地迁移到许多视觉分类任务。如果预任务与下游任务非常不同——例如,预测文本旋转然后使用特征进行分子属性预测——则表征可能很差。始终使用线性探针验证迁移质量。

我可以在没有深度神经网络编码器的情况下应用此方法吗?

当编码器具有足够的表达能力来学习复杂表征时,自监督预训练最有利。对于简单的表格数据,通常使用经典的特征工程或自编码器;深度自监督+逻辑回归流程对图像、文本、音频和其他高维结构化输入影响最大。

相关方法

参考文献

  1. Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML), 1597–1607.

    打开出版物文献
    已复制。
  2. van Engelen, J. E., & Hoos, H. H. (2020). A survey on semi-supervised learning. Machine Learning, 109(2), 373–440.

    打开 DOI 文献
    已复制。