Vision Transformer
- 提出者
- Dosovitskiy, A. et al.
- 年份
- 2021
- 类型
- Transformer architecture for images (self-attention over patches)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
Vision Transformer (ViT) 由 Dosovitskiy 及其同事于 2021 年提出,它将图像分割成固定大小的块(patches),将这些块视为一个序列,并应用 Transformer 的自注意力机制(self-attention mechanism)进行图像分类。在有足够训练数据的情况下,其性能优于卷积神经网络(CNNs)。
方法背后的直觉
卷积网络通过滑过图像的小型局部滤波器来读取图像。ViT 则采取不同的视角:它将图像切成大小相等的块网格,像句子中的单词一样将它们排列起来,并让 Transformer 决定哪些块应该关注哪些块。由于注意力机制可以直接关联任何块与其他块,该模型能够学习整个图像的全局关系,而不仅仅是局部邻域。
历史学
Vision Transformer 由 Dosovitskiy 及其同事于 2021 年(论文标题为“An Image is Worth 16x16 Words”)提出,证明了在语言领域已占主导地位的 Transformer 自注意力架构可以直接应用于图像块,并在大规模训练时超越 CNNs。Touvron 及其同事关于数据高效图像 Transformer 的后续工作解决了 ViT 对数据的需求问题,使得该方法在较小的训练预算下也更具实用性。
何时使用
当您拥有大型数据集(约 1000 张或更多图像,最好是远超此数)并能使用 GPU 时,可将 ViT 用于图像分类或连续(像素)图像数据的预测任务。它在大型预训练语料库或从预训练模型进行迁移学习时效果最佳。在小型图像数据集(几百张图像以下)上,ViT 无法可靠地学习其基于块的注意力机制,此时选择 CNN 或经典的机器学习方法(如随机森林或 SVM)更为稳妥。
局限与注意事项
- 需要大型训练集(约 1000 张或更多图像);在小数据集上性能会下降。
- 需要 GPU,并且从头开始训练需要大量数据和计算资源。
- 在非常小的数据集上(几百张图像以下),基于块的注意力机制无法可靠学习。
- 通常,出色的结果依赖于大型预训练语料库或迁移学习,而非从头开始训练。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 通过自注意力建模全局关系,在大型图像数据集上超越 CNNs。
- 将图像视为块的序列,将成熟的 Transformer 架构应用于视觉领域。
- 捕捉整个图像的长距离依赖关系,而不仅仅是局部邻域。
- 受益于大规模预训练和迁移学习到预训练检查点(checkpoints)。
- 不假设数据服从正态分布。
应用
- 在大型图像数据集上进行图像分类。
- 对全局关系很重要的连续像素数据进行预测任务。
- 从大型预训练图像模型迁移学习到新的视觉任务。
- 在建模图像的全局依赖关系优于局部卷积滤波器的情况下。
使用方式
使用方式
图像被分割成固定大小的块(例如 16x16 像素)。每个块被展平(flattened)并线性投影成一个嵌入向量(embedding vector),由此产生的嵌入构成一个序列——这是图像中类比于单词标记序列的部分。
块序列通过基于自注意力的 Transformer 层进行处理。每个块都可以关注其他所有块,因此模型能够捕捉图像中的长距离、全局依赖关系,而不仅仅是局部邻域,这是 ViT 在大型数据集上超越 CNNs 的核心机制。
公式
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V分类头(classification head)读取 Transformer 层产生的聚合表示,并输出预测类别。由于大型预训练在此至关重要,因此通常通过在大型图像语料库上预训练的模型进行迁移学习(transfer learning)来获得高性能。
常见陷阱
- 在小型数据集上从头开始训练 ViT,而不是微调(fine-tuning)预训练检查点。
- 期望在没有大型数据集的情况下获得与 CNN 相当的准确率。
- 尝试在没有 GPU 的情况下进行训练。
- 忽略失效阈值——在几百张图像以下,优先选择 CNN 或经典方法。
- 在有可用的预训练图像模型时,忽视迁移学习。
常见问题
ViT 与 CNN 有何不同?
CNN 通过局部卷积滤波器处理图像,而 ViT 将图像分割成固定大小的块,将它们视为序列,并使用自注意力机制,使得任何块都可以与其他块相关联。这使得 ViT 能够建模全局关系,并在大型数据集上超越 CNNs。
ViT 需要多少数据?
ViT 对数据需求量大:它在约 1000 张或更多图像以及大型预训练语料库上效果最佳。在几百张图像以下,其基于块的注意力机制无法可靠学习,此时优先选择 CNN 或经典方法。
我需要 GPU 吗?
是的。ViT 需要 GPU,并且训练它需要大量数据和计算资源。使用预训练检查点进行迁移学习可以显著减轻负担。
如果我的图像数据集很小怎么办?
在小数据集上 ViT 的性能会下降。在约 500 张图像以下,可以考虑随机森林(Random Forest)等方法;在几百张图像以下,选择 CNN 或 SVM 会更稳妥,或者依赖从预训练模型进行迁移学习。