Vision Transformer
- Introdotto da
- Dosovitskiy, A. et al.
- Anno
- 2021
- Tipo
- Transformer architecture for images (self-attention over patches)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Vision Transformer (ViT), introdotto da Dosovitskiy e colleghi nel 2021, scompone un'immagine in patch di dimensioni fisse, le tratta come una sequenza e applica il meccanismo di auto-attenzione del Transformer alla classificazione delle immagini.
Con dati di addestramento sufficienti, supera le reti neurali convoluzionali (CNN).
L’intuizione alla base del metodo
Le reti convoluzionali leggono un'immagine attraverso piccoli filtri locali che scorrono su di essa. Il ViT adotta una prospettiva diversa: sminuzza l'immagine in una griglia di patch di uguali dimensioni, le allinea come parole in una frase e lascia che un Transformer decida a quali patch prestare attenzione. Poiché l'attenzione può mettere in relazione direttamente qualsiasi patch con qualsiasi altra, il modello apprende relazioni globali sull'intera immagine piuttosto che solo sui vicinati locali.
Storia
Il Vision Transformer è stato introdotto da Dosovitskiy e colleghi nel 2021 (An Image is Worth 16x16 Words), dimostrando che l'architettura di auto-attenzione del Transformer, già dominante nel linguaggio, poteva essere applicata direttamente a patch di immagini e superare le CNN quando addestrata su larga scala. Lavori successivi di Touvron e colleghi sull'efficienza dei dati dei transformer per immagini hanno affrontato l'appetito del ViT per i dati, rendendo l'approccio più pratico con budget di addestramento inferiori.
Quando usarlo
Utilizzare il ViT per la classificazione delle immagini o la predizione su dati di immagine continui (pixel) quando si dispone di un ampio set di dati — dell'ordine di 1000 o più immagini, e idealmente molte di più — e accesso a una GPU. Funziona meglio con un ampio corpus di pre-addestramento o apprendimento per trasferimento da un modello pre-addestrato. Su piccoli set di dati di immagini (meno di qualche centinaio di immagini) il ViT non riesce ad apprendere in modo affidabile la sua attenzione basata su patch, e una CNN o un metodo di machine learning classico come Random Forest o SVM è la scelta più sicura.
Limiti e considerazioni
- Richiede un ampio set di addestramento (circa 1000 immagini o più); su dati piccoli sottoperforma le CNN.
- È richiesta una GPU, e l'addestramento da zero è affamato di dati e calcolo.
- Su set di dati molto piccoli (meno di qualche centinaio di immagini) l'attenzione basata su patch non riesce ad apprendere in modo affidabile.
- Risultati elevati dipendono tipicamente da un ampio corpus di pre-addestramento o dall'apprendimento per trasferimento piuttosto che dall'addestramento da zero.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Supera le CNN su grandi set di dati di immagini modellando relazioni globali attraverso l'auto-attenzione.
- Tratta un'immagine come una sequenza di patch, applicando l'architettura Transformer comprovata alla visione.
- Cattura dipendenze a lungo raggio sull'intera immagine, non solo sui vicinati locali.
- Beneficia fortemente del pre-addestramento su larga scala e dell'apprendimento per trasferimento verso checkpoint pre-addestrati.
- Non assume dati distribuiti normalmente.
Applicazioni
- Classificazione di immagini su grandi set di dati di immagini.
- Compiti di predizione su dati pixel continui dove le relazioni globali sono importanti.
- Apprendimento per trasferimento da grandi modelli di immagine pre-addestrati a nuovi compiti di visione.
- Contesti in cui la modellazione di dipendenze a lungo raggio attraverso un'immagine supera i filtri convoluzionali locali.
Come funziona
Come funziona
L'immagine viene divisa in patch di dimensioni fisse (ad esempio, 16x16 pixel). Ogni patch viene appiattita e proiettata linearmente in un vettore di embedding, e gli embedding risultanti formano una sequenza — l'analogo dell'immagine di una sequenza di token di parole.
La sequenza di patch viene elaborata attraverso strati Transformer costruiti sull'auto-attenzione. Ogni patch può prestare attenzione a ogni altra patch, quindi il modello cattura dipendenze globali a lungo raggio sull'immagine piuttosto che solo sui vicinati locali, che è il meccanismo fondamentale che consente al ViT di superare le CNN su grandi set di dati.
Formula
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)VUna testa di classificazione legge la rappresentazione aggregata prodotta dagli strati Transformer e restituisce la classe prevista. Poiché il pre-addestramento su larga scala è così importante qui, l'apprendimento per trasferimento da un modello pre-addestrato su un ampio corpus di immagini è la via usuale per ottenere prestazioni elevate.
Errori comuni
- Addestrare il ViT da zero su un piccolo set di dati invece di affinare un checkpoint pre-addestrato.
- Aspettarsi un'accuratezza a livello di CNN senza l'ampio set di dati di cui il ViT ha bisogno.
- Tentare di addestrare senza una GPU.
- Ignorare le soglie di fallimento — sotto qualche centinaio di immagini, preferire una CNN o un metodo classico.
- Trascurare l'apprendimento per trasferimento quando sono disponibili modelli di immagine pre-addestrati.
Domande frequenti
In che modo il ViT è diverso da una CNN?
Una CNN elabora un'immagine attraverso filtri convoluzionali locali, mentre il ViT scompone l'immagine in patch di dimensioni fisse, le tratta come una sequenza e utilizza l'auto-attenzione in modo che qualsiasi patch possa relazionarsi con qualsiasi altra. Ciò consente al ViT di modellare relazioni globali e, su grandi set di dati, di superare le CNN.
Quanti dati necessita il ViT?
Il ViT è affamato di dati: funziona meglio con circa 1000 o più immagini e un ampio corpus di pre-addestramento. Sotto qualche centinaio di immagini la sua attenzione basata su patch non può apprendere in modo affidabile, ed è preferibile una CNN o un metodo classico.
Ho bisogno di una GPU?
Sì. Il ViT richiede una GPU, e il suo addestramento è intensivo in termini di dati e calcolo. L'utilizzo di un checkpoint pre-addestrato con apprendimento per trasferimento riduce considerevolmente l'onere.
Cosa succede se il mio set di dati di immagini è piccolo?
Su set di dati piccoli il ViT sottoperforma. Sotto circa 500 immagini considerare un metodo come Random Forest, e sotto qualche centinaio una CNN o SVM è la scelta più sicura, o affidarsi all'apprendimento per trasferimento da un modello pre-addestrato.
Metodi correlati
Fonti
Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.
Apri il riferimento della pubblicazioneCopiato.Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.
Apri il riferimento della pubblicazioneCopiato.