Skip to content
返回搜索结果

Vision Transformer

提出者
Dosovitskiy, A. et al.
年份
2021
类型
Transformer architecture for images (self-attention over patches)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

Vision Transformer (ViT) 由 Dosovitskiy 及其同事于 2021 年提出,它将图像分割成固定大小的块(patches),将这些块视为一个序列,并应用 Transformer 的自注意力机制(self-attention mechanism)进行图像分类。在有足够训练数据的情况下,其性能优于卷积神经网络(CNNs)。

方法背后的直觉

卷积网络通过滑过图像的小型局部滤波器来读取图像。ViT 则采取不同的视角:它将图像切成大小相等的块网格,像句子中的单词一样将它们排列起来,并让 Transformer 决定哪些块应该关注哪些块。由于注意力机制可以直接关联任何块与其他块,该模型能够学习整个图像的全局关系,而不仅仅是局部邻域。

历史学

Vision Transformer 由 Dosovitskiy 及其同事于 2021 年(论文标题为“An Image is Worth 16x16 Words”)提出,证明了在语言领域已占主导地位的 Transformer 自注意力架构可以直接应用于图像块,并在大规模训练时超越 CNNs。Touvron 及其同事关于数据高效图像 Transformer 的后续工作解决了 ViT 对数据的需求问题,使得该方法在较小的训练预算下也更具实用性。

何时使用

当您拥有大型数据集(约 1000 张或更多图像,最好是远超此数)并能使用 GPU 时,可将 ViT 用于图像分类或连续(像素)图像数据的预测任务。它在大型预训练语料库或从预训练模型进行迁移学习时效果最佳。在小型图像数据集(几百张图像以下)上,ViT 无法可靠地学习其基于块的注意力机制,此时选择 CNN 或经典的机器学习方法(如随机森林或 SVM)更为稳妥。

局限与注意事项

  • 需要大型训练集(约 1000 张或更多图像);在小数据集上性能会下降。
  • 需要 GPU,并且从头开始训练需要大量数据和计算资源。
  • 在非常小的数据集上(几百张图像以下),基于块的注意力机制无法可靠学习。
  • 通常,出色的结果依赖于大型预训练语料库或迁移学习,而非从头开始训练。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过自注意力建模全局关系,在大型图像数据集上超越 CNNs。
  • 将图像视为块的序列,将成熟的 Transformer 架构应用于视觉领域。
  • 捕捉整个图像的长距离依赖关系,而不仅仅是局部邻域。
  • 受益于大规模预训练和迁移学习到预训练检查点(checkpoints)。
  • 不假设数据服从正态分布。

应用

  • 在大型图像数据集上进行图像分类。
  • 对全局关系很重要的连续像素数据进行预测任务。
  • 从大型预训练图像模型迁移学习到新的视觉任务。
  • 在建模图像的全局依赖关系优于局部卷积滤波器的情况下。

使用方式

使用方式

1

图像被分割成固定大小的块(例如 16x16 像素)。每个块被展平(flattened)并线性投影成一个嵌入向量(embedding vector),由此产生的嵌入构成一个序列——这是图像中类比于单词标记序列的部分。

2

块序列通过基于自注意力的 Transformer 层进行处理。每个块都可以关注其他所有块,因此模型能够捕捉图像中的长距离、全局依赖关系,而不仅仅是局部邻域,这是 ViT 在大型数据集上超越 CNNs 的核心机制。

公式
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

分类头(classification head)读取 Transformer 层产生的聚合表示,并输出预测类别。由于大型预训练在此至关重要,因此通常通过在大型图像语料库上预训练的模型进行迁移学习(transfer learning)来获得高性能。

常见陷阱

  • 在小型数据集上从头开始训练 ViT,而不是微调(fine-tuning)预训练检查点。
  • 期望在没有大型数据集的情况下获得与 CNN 相当的准确率。
  • 尝试在没有 GPU 的情况下进行训练。
  • 忽略失效阈值——在几百张图像以下,优先选择 CNN 或经典方法。
  • 在有可用的预训练图像模型时,忽视迁移学习。

常见问题

ViT 与 CNN 有何不同?

CNN 通过局部卷积滤波器处理图像,而 ViT 将图像分割成固定大小的块,将它们视为序列,并使用自注意力机制,使得任何块都可以与其他块相关联。这使得 ViT 能够建模全局关系,并在大型数据集上超越 CNNs。

ViT 需要多少数据?

ViT 对数据需求量大:它在约 1000 张或更多图像以及大型预训练语料库上效果最佳。在几百张图像以下,其基于块的注意力机制无法可靠学习,此时优先选择 CNN 或经典方法。

我需要 GPU 吗?

是的。ViT 需要 GPU,并且训练它需要大量数据和计算资源。使用预训练检查点进行迁移学习可以显著减轻负担。

如果我的图像数据集很小怎么办?

在小数据集上 ViT 的性能会下降。在约 500 张图像以下,可以考虑随机森林(Random Forest)等方法;在几百张图像以下,选择 CNN 或 SVM 会更稳妥,或者依赖从预训练模型进行迁移学习。

相关方法

参考文献

  1. Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.

    打开出版物文献
    已复制。
  2. Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.

    打开出版物文献
    已复制。