Vision Transformer
- Introduite par
- Dosovitskiy, A. et al.
- Année
- 2021
- Type
- Transformer architecture for images (self-attention over patches)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Le Vision Transformer (ViT), introduit par Dosovitskiy et ses collègues en 2021, divise une image en patchs de taille fixe, traite ces patchs comme une séquence et applique le mécanisme d'auto-attention du Transformer à la classification d'images.
Avec suffisamment de données d'entraînement, il surpasse les réseaux neuronaux convolutifs (CNN).
L’intuition derrière la méthode
Les réseaux convolutifs lisent une image à travers de petits filtres locaux qui glissent sur celle-ci. Le ViT adopte une approche différente : il découpe l'image en une grille de patchs de taille égale, les aligne comme des mots dans une phrase, et laisse un Transformer décider quels patchs doivent porter attention à quels autres. Comme l'attention peut relier directement n'importe quel patch à n'importe quel autre, le modèle apprend des relations globales sur l'ensemble de l'image plutôt que seulement des voisinages locaux.
Histoire
Le Vision Transformer a été introduit par Dosovitskiy et ses collègues en 2021 (An Image is Worth 16x16 Words), montrant que l'architecture d'auto-attention du Transformer, déjà dominante dans le langage, pouvait être appliquée directement à des patchs d'images et surpasser les CNN lorsqu'elle était entraînée à grande échelle. Des travaux ultérieurs de Touvron et ses collègues sur les Transformers d'images économes en données ont abordé l'appétit du ViT pour les données, rendant l'approche plus pratique avec des budgets d'entraînement plus petits.
Quand l’utiliser
Utilisez le ViT pour la classification d'images ou la prédiction sur des données d'image continues (pixels) lorsque vous disposez d'un grand ensemble de données — de l'ordre de 1000 images ou plus, et idéalement beaucoup plus — et d'un accès à un GPU. Il fonctionne mieux avec un grand corpus de pré-entraînement ou un apprentissage par transfert à partir d'un modèle pré-entraîné. Sur de petits ensembles de données d'images (moins de quelques centaines d'images), le ViT ne peut pas apprendre de manière fiable son attention basée sur les patchs, et un CNN ou une méthode d'apprentissage automatique classique telle que Random Forest ou SVM est un choix plus sûr.
Limites et points d’attention
- Nécessite un grand ensemble d'entraînement (environ 1000 images ou plus) ; sur de petites données, il sous-performe les CNN.
- Un GPU est requis, et l'entraînement à partir de zéro est gourmand en données et en calcul.
- Sur de très petits ensembles de données (moins de quelques centaines d'images), l'attention basée sur les patchs échoue à apprendre de manière fiable.
- Les bons résultats dépendent généralement d'un grand corpus de pré-entraînement ou de l'apprentissage par transfert plutôt que de l'entraînement à partir de zéro.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Surpasse les CNN sur de grands ensembles de données d'images en modélisant les relations globales par auto-attention.
- Traite une image comme une séquence de patchs, appliquant l'architecture Transformer éprouvée à la vision.
- Capture les dépendances à longue portée sur l'ensemble de l'image, pas seulement les voisinages locaux.
- Bénéficie fortement du pré-entraînement à grande échelle et de l'apprentissage par transfert vers des points de contrôle pré-entraînés.
- Ne suppose pas de données normalement distribuées.
Applications
- Classification d'images sur de grands ensembles de données d'images.
- Tâches de prédiction sur des données de pixels continues où les relations globales sont importantes.
- Apprentissage par transfert à partir de grands modèles d'images pré-entraînés vers de nouvelles tâches de vision.
- Paramètres où la modélisation des dépendances à longue portée à travers une image surpasse les filtres convolutifs locaux.
Comment ça marche
Comment ça marche
L'image est divisée en patchs de taille fixe (par exemple, 16x16 pixels). Chaque patch est aplati et projeté linéairement dans un vecteur d'embedding, et les embeddings résultants forment une séquence — l'analogue d'image d'une séquence de tokens de mots.
La séquence de patchs est transmise à travers des couches Transformer construites sur l'auto-attention. Chaque patch peut porter attention à tous les autres patchs, de sorte que le modèle capture des dépendances globales à longue portée à travers l'image plutôt que seulement des voisinages locaux, ce qui est le mécanisme central qui permet au ViT de surpasser les CNN sur de grands ensembles de données.
Formule
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)VUne tête de classification lit la représentation agrégée produite par les couches Transformer et sort la classe prédite. Comme le pré-entraînement à grande échelle est très important ici, l'apprentissage par transfert à partir d'un modèle pré-entraîné sur un grand corpus d'images est la voie habituelle vers de bonnes performances.
Pièges courants
- Entraîner le ViT à partir de zéro sur un petit ensemble de données au lieu de fine-tuner un point de contrôle pré-entraîné.
- S'attendre à une précision de niveau CNN sans le grand ensemble de données dont le ViT a besoin.
- Tenter d'entraîner sans GPU.
- Ignorer les seuils d'échec — en dessous de quelques centaines d'images, préférer un CNN ou une méthode classique.
- Négliger l'apprentissage par transfert lorsque des modèles d'images pré-entraînés sont disponibles.
Questions fréquentes
En quoi le ViT diffère-t-il d'un CNN ?
Un CNN traite une image à travers des filtres convolutifs locaux, tandis que le ViT divise l'image en patchs de taille fixe, les traite comme une séquence et utilise l'auto-attention pour que n'importe quel patch puisse se relier à n'importe quel autre. Cela permet au ViT de modéliser des relations globales et, sur de grands ensembles de données, de surpasser les CNN.
Quelle quantité de données le ViT nécessite-t-il ?
Le ViT est gourmand en données : il fonctionne mieux avec environ 1000 images ou plus et un grand corpus de pré-entraînement. En dessous de quelques centaines d'images, son attention basée sur les patchs ne peut pas apprendre de manière fiable, et un CNN ou une méthode classique est préférable.
Ai-je besoin d'un GPU ?
Oui. Le ViT nécessite un GPU, et son entraînement est intensif en données et en calcul. L'utilisation d'un point de contrôle pré-entraîné avec apprentissage par transfert réduit considérablement la charge.
Et si mon ensemble de données d'images est petit ?
Sur de petits ensembles de données, le ViT sous-performe. En dessous d'environ 500 images, envisagez une méthode comme Random Forest, et en dessous de quelques centaines, un CNN ou un SVM est un choix plus sûr, ou fiez-vous à l'apprentissage par transfert à partir d'un modèle pré-entraîné.
Méthodes associées
Sources
Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.
Ouvrir la référence de la publicationCopié.Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.
Ouvrir la référence de la publicationCopié.