Vision Transformer
- Proposto por
- Dosovitskiy, A. et al.
- Ano
- 2021
- Tipo
- Transformer architecture for images (self-attention over patches)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O Vision Transformer (ViT), introduzido por Dosovitskiy e colegas em 2021, divide uma imagem em patches de tamanho fixo, trata esses patches como uma sequência e aplica o mecanismo de autoatenção do Transformer à classificação de imagens.
Com dados de treinamento suficientes, ele supera as redes neurais convolucionais (CNNs).
A intuição por trás do método
Redes convolucionais leem uma imagem através de pequenos filtros locais que deslizam sobre ela. O ViT adota uma visão diferente: ele corta a imagem em uma grade de patches de tamanhos iguais, alinha-os como palavras em uma frase e deixa um Transformer decidir quais patches devem prestar atenção a quais. Como a atenção pode relacionar diretamente qualquer patch a qualquer outro, o modelo aprende relacionamentos globais em toda a imagem, em vez de apenas vizinhanças locais.
História
O Vision Transformer foi introduzido por Dosovitskiy e colegas em 2021 (An Image is Worth 16x16 Words), demonstrando que a arquitetura de autoatenção do Transformer, já dominante na linguagem, poderia ser aplicada diretamente a patches de imagem e superar as CNNs quando treinada em escala. Trabalhos subsequentes de Touvron e colegas sobre transformers de imagem eficientes em dados abordaram o apetite do ViT por dados, tornando a abordagem mais prática com orçamentos de treinamento menores.
Quando usar
Use o ViT para classificação de imagens ou predição em dados de imagem contínuos (pixels) quando você tiver um grande conjunto de dados — na ordem de 1000 imagens ou mais, e idealmente muito mais — e acesso a uma GPU. Ele funciona melhor com um grande corpus de pré-treinamento ou aprendizado por transferência de um modelo pré-treinado. Em pequenos conjuntos de dados de imagens (abaixo de algumas centenas de imagens), o ViT não consegue aprender sua atenção baseada em patches de forma confiável, e uma CNN ou um método clássico de aprendizado de máquina, como Random Forest ou SVM, é a escolha mais segura.
Limitações e considerações
- Requer um grande conjunto de treinamento (cerca de 1000 imagens ou mais); em dados pequenos, tem desempenho inferior ao das CNNs.
- Uma GPU é necessária, e o treinamento do zero é faminto por dados e computação.
- Em conjuntos de dados muito pequenos (abaixo de algumas centenas de imagens), a atenção baseada em patches falha em aprender de forma confiável.
- Resultados fortes geralmente dependem de um grande corpus de pré-treinamento ou aprendizado por transferência, em vez de treinamento do zero.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Supera CNNs em grandes conjuntos de dados de imagens ao modelar relacionamentos globais através de autoatenção.
- Trata uma imagem como uma sequência de patches, aplicando a arquitetura Transformer comprovada à visão.
- Captura dependências de longo alcance em toda a imagem, não apenas em vizinhanças locais.
- Beneficia-se fortemente de pré-treinamento em larga escala e aprendizado por transferência para checkpoints pré-treinados.
- Não assume dados normalmente distribuídos.
Aplicações
- Classificação de imagens em grandes conjuntos de dados de imagens.
- Tarefas de predição em dados de pixels contínuos onde relacionamentos globais são importantes.
- Aprendizado por transferência de grandes modelos de imagem pré-treinados para novas tarefas de visão.
- Configurações onde a modelagem de dependências de longo alcance em uma imagem supera filtros convolucionais locais.
Como funciona
Como funciona
A imagem é dividida em patches de tamanho fixo (por exemplo, 16x16 pixels). Cada patch é achatado e projetado linearmente em um vetor de embedding, e os embeddings resultantes formam uma sequência — o análogo de imagem de uma sequência de tokens de palavras.
A sequência de patches é alimentada através de camadas Transformer construídas sobre autoatenção. Cada patch pode atender a todos os outros patches, permitindo que o modelo capture dependências globais de longo alcance em toda a imagem, em vez de apenas vizinhanças locais, que é o mecanismo central que permite ao ViT superar as CNNs em grandes conjuntos de dados.
Fórmula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)VUma cabeça de classificação lê a representação agregada produzida pelas camadas Transformer e gera a classe prevista. Como o pré-treinamento em larga escala é crucial aqui, o aprendizado por transferência de um modelo pré-treinado em um grande corpus de imagens é a rota usual para um bom desempenho.
Erros comuns
- Treinar o ViT do zero em um pequeno conjunto de dados em vez de ajustar um checkpoint pré-treinado.
- Esperar precisão de nível de CNN sem o grande conjunto de dados que o ViT necessita.
- Tentar treinar sem uma GPU.
- Ignorar os limiares de falha — abaixo de algumas centenas de imagens, prefira uma CNN ou um método clássico.
- Ignorar o aprendizado por transferência quando modelos de imagem pré-treinados estão disponíveis.
Perguntas frequentes
Como o ViT difere de uma CNN?
Uma CNN processa uma imagem através de filtros convolucionais locais, enquanto o ViT divide a imagem em patches de tamanho fixo, trata-os como uma sequência e usa autoatenção para que qualquer patch possa se relacionar com qualquer outro. Isso permite que o ViT modele relacionamentos globais e, em grandes conjuntos de dados, supere as CNNs.
Quanto dado o ViT precisa?
O ViT é faminto por dados: ele funciona melhor com cerca de 1000 imagens ou mais e um grande corpus de pré-treinamento. Abaixo de algumas centenas de imagens, sua atenção baseada em patches não consegue aprender de forma confiável, e uma CNN ou um método clássico é preferível.
Preciso de uma GPU?
Sim. O ViT requer uma GPU, e treiná-lo é intensivo em dados e computação. Usar um checkpoint pré-treinado com aprendizado por transferência reduz consideravelmente o fardo.
E se o meu conjunto de dados de imagens for pequeno?
Em conjuntos de dados pequenos, o ViT tem desempenho inferior. Abaixo de aproximadamente 500 imagens, considere um método como Random Forest, e abaixo de algumas centenas, uma CNN ou SVM é a escolha mais segura, ou confie no aprendizado por transferência de um modelo pré-treinado.
Métodos relacionados
Fontes
Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.
Abrir referência da publicaçãoCopiado.Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.
Abrir referência da publicaçãoCopiado.