Zum Inhalt springen
Zurück zu den Suchergebnissen

Vision Transformer

Eingeführt von
Dosovitskiy, A. et al.
Jahr
2021
Typ
Transformer architecture for images (self-attention over patches)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Der Vision Transformer (ViT), eingeführt von Dosovitskiy und Kollegen im Jahr 2021, teilt ein Bild in Patches fester Größe auf, behandelt diese Patches als Sequenz und wendet den Transformer-Self-Attention-Mechanismus auf die Bildklassifizierung an.

Bei ausreichend Trainingsdaten übertrifft er Convolutional Neural Networks (CNNs).

Die Intuition hinter der Methode

Convolutional Networks lesen ein Bild mithilfe kleiner lokaler Filter, die darüber gleiten. ViT verfolgt eine andere Sichtweise: Es zerlegt das Bild in ein Gitter gleich großer Patches, reiht sie wie Wörter in einem Satz auf und lässt einen Transformer entscheiden, welche Patches auf welche achten sollten. Da die Aufmerksamkeit jeden Patch direkt mit jedem anderen in Beziehung setzen kann, lernt das Modell globale Beziehungen über das gesamte Bild hinweg anstelle von nur lokalen Nachbarschaften.

Geschichte

Der Vision Transformer wurde 2021 von Dosovitskiy und Kollegen (An Image is Worth 16x16 Words) vorgestellt und zeigte, dass die Transformer-Self-Attention-Architektur, die in der Sprache bereits dominant ist, direkt auf Bild-Patches angewendet werden und CNNs bei Skalierung übertreffen kann. Nachfolgende Arbeiten von Touvron und Kollegen zu dateneffizienten Bild-Transformern befassten sich mit dem Datenhunger von ViT und machten den Ansatz mit kleineren Trainingsbudgets praktikabler.

Wann wird sie eingesetzt?

Verwenden Sie ViT für die Bildklassifizierung oder Vorhersage auf kontinuierlichen (Pixel-)Bilddaten, wenn Sie einen großen Datensatz haben – in der Größenordnung von 1000 oder mehr Bildern, idealerweise weit mehr – und Zugang zu einer GPU. Es funktioniert am besten mit einem großen Vortrainingskorpus oder Transfer Learning von einem vortrainierten Modell. Auf kleinen Bilddatensätzen (weniger als ein paar hundert Bilder) kann ViT seine Patch-basierte Aufmerksamkeit nicht zuverlässig lernen, und ein CNN oder eine klassische Methode des maschinellen Lernens wie Random Forest oder SVM ist die sicherere Wahl.

Grenzen und Hinweise

  • Benötigt einen großen Trainingsdatensatz (ca. 1000 Bilder oder mehr); auf kleinen Daten unterperformt es CNNs.
  • Eine GPU ist erforderlich, und das Training von Grund auf ist daten- und rechenintensiv.
  • Auf sehr kleinen Datensätzen (weniger als ein paar hundert Bilder) schlägt die Patch-basierte Aufmerksamkeit fehl, zuverlässig zu lernen.
  • Starke Ergebnisse hängen typischerweise von einem großen Vortrainingskorpus oder Transfer Learning ab, anstatt von einem Training von Grund auf.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Übertrifft CNNs auf großen Bilddatensätzen, indem globale Beziehungen durch Self-Attention modelliert werden.
  • Behandelt ein Bild als Sequenz von Patches und wendet die bewährte Transformer-Architektur auf die Bildverarbeitung an.
  • Erfasst weitreichende Abhängigkeiten über das gesamte Bild hinweg, nicht nur lokale Nachbarschaften.
  • Profitiert stark von groß angelegtem Vortraining und Transfer Learning auf vortrainierte Checkpoints.
  • Geht nicht von normalverteilten Daten aus.

Anwendungen

  • Bildklassifizierung auf großen Bilddatensätzen.
  • Vorhersageaufgaben auf kontinuierlichen Pixeldaten, bei denen globale Beziehungen wichtig sind.
  • Transfer Learning von großen vortrainierten Bildmodellen auf neue Vision-Aufgaben.
  • Einstellungen, bei denen die Modellierung weitreichender Abhängigkeiten über ein Bild hinweg lokale Faltungsfilter übertrifft.

So funktioniert es

So funktioniert es

1

Das Bild wird in Patches fester Größe (z. B. 16x16 Pixel) unterteilt. Jeder Patch wird abgeflacht und linear in einen Embedding-Vektor projiziert, und die resultierenden Embeddings bilden eine Sequenz – das Bildanalogon einer Sequenz von Wort-Tokens.

2

Die Patch-Sequenz wird durch Transformer-Schichten geleitet, die auf Self-Attention basieren. Jeder Patch kann auf jeden anderen Patch achten, sodass das Modell weitreichende, globale Abhängigkeiten über das gesamte Bild hinweg erfasst, anstatt nur lokale Nachbarschaften. Dies ist der Kernmechanismus, der es ViT ermöglicht, auf großen Datensätzen CNNs zu übertreffen.

Formel
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Ein Klassifizierungskopf liest die von den Transformer-Schichten erzeugte aggregierte Repräsentation und gibt die vorhergesagte Klasse aus. Da hier ein großes Vortraining von großer Bedeutung ist, ist Transfer Learning von einem auf einem großen Bildkorpus vortrainierten Modell der übliche Weg zu starker Leistung.

Häufige Fallstricke

  • Training von ViT von Grund auf auf einem kleinen Datensatz anstelle von Fine-Tuning eines vortrainierten Checkpoints.
  • Erwartung von CNN-ähnlicher Genauigkeit ohne den großen Datensatz, den ViT benötigt.
  • Versuch, ohne GPU zu trainieren.
  • Ignorieren der Fehlergrenzen – unter ein paar hundert Bildern bevorzugen Sie ein CNN oder eine klassische Methode.
  • Übersehen von Transfer Learning, wenn vortrainierte Bildmodelle verfügbar sind.

Häufig gestellte Fragen

Wie unterscheidet sich ViT von einem CNN?

Ein CNN verarbeitet ein Bild durch lokale Faltungsfilter, während ViT das Bild in Patches fester Größe zerlegt, sie als Sequenz behandelt und Self-Attention verwendet, sodass jeder Patch sich auf jeden anderen beziehen kann. Dies ermöglicht es ViT, globale Beziehungen zu modellieren und auf großen Datensätzen CNNs zu übertreffen.

Wie viele Daten benötigt ViT?

ViT ist datenhungrig: Es funktioniert am besten mit etwa 1000 oder mehr Bildern und einem großen Vortrainingskorpus. Unter ein paar hundert Bildern kann seine Patch-basierte Aufmerksamkeit nicht zuverlässig lernen, und ein CNN oder eine klassische Methode ist vorzuziehen.

Brauche ich eine GPU?

Ja. ViT benötigt eine GPU, und das Training ist daten- und rechenintensiv. Die Verwendung eines vortrainierten Checkpoints mit Transfer Learning reduziert die Belastung erheblich.

Was ist, wenn mein Bilddatensatz klein ist?

Auf kleinen Datensätzen unterperformt ViT. Unter etwa 500 Bildern sollten Sie eine Methode wie Random Forest in Betracht ziehen, und unter ein paar hundert Bildern ist ein CNN oder SVM die sicherere Wahl, oder verlassen Sie sich auf Transfer Learning von einem vortrainierten Modell.

Verwandte Methoden

Quellen

  1. Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.

    Publikationsreferenz öffnen
    Kopiert.
  2. Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.

    Publikationsreferenz öffnen
    Kopiert.