Skip to content
返回搜索结果

视觉对比学习

提出者
Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
年份
2020
类型
Self-supervised deep representation learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

视觉对比学习是一种自监督深度学习方法——由SimCLR(Chen等人,2020)和MoCo(He等人,2020)等框架推广——通过将同一图像的不同增强版本拉近,并将不同图像推开,在没有标签的情况下学习丰富的图像表示。它将大量无标签图像池转化为有用的特征提取器。

方法背后的直觉

如果将一张照片以两种不同的方式裁剪、重新着色或翻转,两种版本仍然应该可以识别为同一事物。对比学习正是基于这一理念:它教会网络在特征空间中将同一图像的两个增强视图拉近,同时将不同图像的视图推开。不需要人工标签——监督完全来自图像之间的比较。

历史学

视觉对比学习在2020年迅速成熟。SimCLR(Chen等人,ICML 2020)表明,一个包含强增强、投影头和NT-Xent对比损失的简单框架可以媲美监督式预训练。MoCo(He等人,CVPR 2020)引入了一个动量更新的编码器和一个动态负例队列,使得大规模对比学习无需海量批次即可实现。后来的方法,如BYOL,通过在没有显式负例对的情况下进行学习,扩展了这一家族。

何时使用

当您拥有大量无标签图像集合——至少约1000张图像——并希望在任何带标签任务之前学习强大的视觉表示时,请使用它。它假定存在这样的无标签数据集,需要GPU,并且在很大程度上依赖于精心选择的数据增强策略。在低于约500-1000张图像时,负例对太少且太相似,无法学习有用的表示,此时监督式经典机器学习是更安全的选择。

局限与注意事项

  • 需要大量的无标签图像数据集;在小型数据集上无法产生有意义的表示。
  • 需要GPU和大量的计算资源进行预训练。
  • 性能取决于数据增强策略,该策略必须针对每个领域进行调整。
  • 在约500张图像以下,自监督学习会失败,此时监督式经典机器学习更可取。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 从无标签图像中学习有用的视觉表示,无需昂贵的手动标注。
  • 预训练的编码器只需少量带标签数据即可迁移到许多下游任务。
  • SimCLR和MoCo等框架提供了经过充分研究、可复现的方案。
  • MoCo的动量编码器和负例队列在不使用巨大批次的情况下提供了大量的负例比较。

应用

  • 在大型无标签照片集合上预训练图像编码器。
  • 将学习到的表示迁移到具有有限标签的下游图像分类任务。
  • 为视觉管道构建可重用的视觉特征提取器。
  • 在标签稀缺或昂贵的领域进行表示学习。

使用方式

使用方式

1

每张图像都经过两次随机增强变换,如裁剪、颜色抖动和翻转,生成两个相关的视图。增强策略的选择至关重要:它定义了模型被要求视为“相同”的内容,而弱的或选择不当的增强会导致弱的表示。

2

一个编码器将每个视图映射到一个嵌入,一个对比目标将同一图像的两个视图(正例对)拉近,同时将其他图像的视图(负例)推开。SimCLR使用带温度参数的NT-Xent损失;MoCo维护一个动量更新的编码器和一个负例队列,以便在不使用巨大批次的情况下获得大量比较。

公式
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}
3

在自监督预训练之后,学习到的编码器被重新用作通用的视觉特征提取器。然后,一小组带标签的数据足以在顶部微调或训练一个轻量级分类器,将表示迁移到下游任务。

常见陷阱

  • 在负例对多样性不足的微小图像数据集上尝试对比预训练。
  • 使用弱的或不适合特定领域的增强,这会导致学习到的表示坍塌。
  • 在对比损失中忽略温度参数。
  • 期望在没有GPU或足够训练时间的情况下获得良好结果。

常见问题

我需要标签吗?

不需要。对比式自监督学习的重点是从无标签图像中学习表示。标签仅在后期用于少量下游微调或评估集。

我需要多少图像?

至少需要约1000张无标签图像。在低于约500-1000张时,负例对多样性不足,无法学习有意义的表示,此时监督式经典机器学习是更安全的选择。

SimCLR和MoCo有什么区别?

SimCLR依赖于大批次来提供大量负例并使用NT-Xent损失。MoCo则维护一个动量更新的编码器和一个包含过去嵌入的负例队列,因此它需要更少的批内比较。

为什么数据增强如此重要?

增强定义了图像的哪些变换视图必须被模型视为相同。一个强大、选择得当的增强策略至关重要;弱的增强会产生弱的表示。

相关方法

参考文献

  1. Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.

    打开出版物文献
    已复制。
  2. He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.

    打开出版物文献
    已复制。