Skip to content
Voltar aos resultados

Vision Transformer

Proposto por
Dosovitskiy, A. et al.
Ano
2021
Tipo
Transformer architecture for images (self-attention over patches)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O Vision Transformer (ViT), introduzido por Dosovitskiy e colegas em 2021, divide uma imagem em patches de tamanho fixo, trata esses patches como uma sequência e aplica o mecanismo de autoatenção do Transformer à classificação de imagens.

Com dados de treinamento suficientes, ele supera as redes neurais convolucionais (CNNs).

A intuição por trás do método

Redes convolucionais leem uma imagem através de pequenos filtros locais que deslizam sobre ela. O ViT adota uma visão diferente: ele corta a imagem em uma grade de patches de tamanhos iguais, alinha-os como palavras em uma frase e deixa um Transformer decidir quais patches devem prestar atenção a quais. Como a atenção pode relacionar diretamente qualquer patch a qualquer outro, o modelo aprende relacionamentos globais em toda a imagem, em vez de apenas vizinhanças locais.

História

O Vision Transformer foi introduzido por Dosovitskiy e colegas em 2021 (An Image is Worth 16x16 Words), demonstrando que a arquitetura de autoatenção do Transformer, já dominante na linguagem, poderia ser aplicada diretamente a patches de imagem e superar as CNNs quando treinada em escala. Trabalhos subsequentes de Touvron e colegas sobre transformers de imagem eficientes em dados abordaram o apetite do ViT por dados, tornando a abordagem mais prática com orçamentos de treinamento menores.

Quando usar

Use o ViT para classificação de imagens ou predição em dados de imagem contínuos (pixels) quando você tiver um grande conjunto de dados — na ordem de 1000 imagens ou mais, e idealmente muito mais — e acesso a uma GPU. Ele funciona melhor com um grande corpus de pré-treinamento ou aprendizado por transferência de um modelo pré-treinado. Em pequenos conjuntos de dados de imagens (abaixo de algumas centenas de imagens), o ViT não consegue aprender sua atenção baseada em patches de forma confiável, e uma CNN ou um método clássico de aprendizado de máquina, como Random Forest ou SVM, é a escolha mais segura.

Limitações e considerações

  • Requer um grande conjunto de treinamento (cerca de 1000 imagens ou mais); em dados pequenos, tem desempenho inferior ao das CNNs.
  • Uma GPU é necessária, e o treinamento do zero é faminto por dados e computação.
  • Em conjuntos de dados muito pequenos (abaixo de algumas centenas de imagens), a atenção baseada em patches falha em aprender de forma confiável.
  • Resultados fortes geralmente dependem de um grande corpus de pré-treinamento ou aprendizado por transferência, em vez de treinamento do zero.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Supera CNNs em grandes conjuntos de dados de imagens ao modelar relacionamentos globais através de autoatenção.
  • Trata uma imagem como uma sequência de patches, aplicando a arquitetura Transformer comprovada à visão.
  • Captura dependências de longo alcance em toda a imagem, não apenas em vizinhanças locais.
  • Beneficia-se fortemente de pré-treinamento em larga escala e aprendizado por transferência para checkpoints pré-treinados.
  • Não assume dados normalmente distribuídos.

Aplicações

  • Classificação de imagens em grandes conjuntos de dados de imagens.
  • Tarefas de predição em dados de pixels contínuos onde relacionamentos globais são importantes.
  • Aprendizado por transferência de grandes modelos de imagem pré-treinados para novas tarefas de visão.
  • Configurações onde a modelagem de dependências de longo alcance em uma imagem supera filtros convolucionais locais.

Como funciona

Como funciona

1

A imagem é dividida em patches de tamanho fixo (por exemplo, 16x16 pixels). Cada patch é achatado e projetado linearmente em um vetor de embedding, e os embeddings resultantes formam uma sequência — o análogo de imagem de uma sequência de tokens de palavras.

2

A sequência de patches é alimentada através de camadas Transformer construídas sobre autoatenção. Cada patch pode atender a todos os outros patches, permitindo que o modelo capture dependências globais de longo alcance em toda a imagem, em vez de apenas vizinhanças locais, que é o mecanismo central que permite ao ViT superar as CNNs em grandes conjuntos de dados.

Fórmula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Uma cabeça de classificação lê a representação agregada produzida pelas camadas Transformer e gera a classe prevista. Como o pré-treinamento em larga escala é crucial aqui, o aprendizado por transferência de um modelo pré-treinado em um grande corpus de imagens é a rota usual para um bom desempenho.

Erros comuns

  • Treinar o ViT do zero em um pequeno conjunto de dados em vez de ajustar um checkpoint pré-treinado.
  • Esperar precisão de nível de CNN sem o grande conjunto de dados que o ViT necessita.
  • Tentar treinar sem uma GPU.
  • Ignorar os limiares de falha — abaixo de algumas centenas de imagens, prefira uma CNN ou um método clássico.
  • Ignorar o aprendizado por transferência quando modelos de imagem pré-treinados estão disponíveis.

Perguntas frequentes

Como o ViT difere de uma CNN?

Uma CNN processa uma imagem através de filtros convolucionais locais, enquanto o ViT divide a imagem em patches de tamanho fixo, trata-os como uma sequência e usa autoatenção para que qualquer patch possa se relacionar com qualquer outro. Isso permite que o ViT modele relacionamentos globais e, em grandes conjuntos de dados, supere as CNNs.

Quanto dado o ViT precisa?

O ViT é faminto por dados: ele funciona melhor com cerca de 1000 imagens ou mais e um grande corpus de pré-treinamento. Abaixo de algumas centenas de imagens, sua atenção baseada em patches não consegue aprender de forma confiável, e uma CNN ou um método clássico é preferível.

Preciso de uma GPU?

Sim. O ViT requer uma GPU, e treiná-lo é intensivo em dados e computação. Usar um checkpoint pré-treinado com aprendizado por transferência reduz consideravelmente o fardo.

E se o meu conjunto de dados de imagens for pequeno?

Em conjuntos de dados pequenos, o ViT tem desempenho inferior. Abaixo de aproximadamente 500 imagens, considere um método como Random Forest, e abaixo de algumas centenas, uma CNN ou SVM é a escolha mais segura, ou confie no aprendizado por transferência de um modelo pré-treinado.

Métodos relacionados

Fontes

  1. Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.

    Abrir referência da publicação
    Copiado.
  2. Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.

    Abrir referência da publicação
    Copiado.