Transformer (NLP)
- Eingeführt von
- Vaswani, A. et al.
- Jahr
- 2017
- Typ
- Attention-based deep neural network
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Der Transformer ist ein auf Aufmerksamkeitsmechanismen basierendes Deep-Learning-Modell, das 2017 von Vaswani und Kollegen eingeführt wurde.
Es führt Textklassifizierung, Named-Entity-Erkennung und Sprachmodellierung durch, indem es jedem Token in einer Sequenz erlaubt, direkt auf jedes andere Token zu achten. Es ersetzte frühere rekurrenten Designs durch einen Self-Attention-Mechanismus, der ganze Sequenzen parallel verarbeitet.
Die Intuition hinter der Methode
Frühere Sequenzmodelle lasen Text Wort für Wort und hatten Schwierigkeiten, weit voneinander entfernte Wörter in einem Satz zu verbinden. Der Transformer erlaubt stattdessen jedem Wort, alle anderen Wörter gleichzeitig zu betrachten und zu entscheiden, welche für seine Bedeutung relevant sind. Dieser Aufmerksamkeitsmechanismus ermöglicht es dem Modell, Langzeitkontexte in der Sprache zu erfassen und reichhaltige, wiederverwendbare Textrepräsentationen zu lernen.
Geschichte
Der Transformer wurde von Vaswani und Kollegen in der Arbeit „Attention Is All You Need“ aus dem Jahr 2017 vorgestellt, die zeigte, dass eine rein auf Aufmerksamkeit basierende Architektur – ohne Rekurrenz – frühere Sequenzmodelle erreichen oder übertreffen konnte. Er wurde zur Grundlage für vortrainierte Sprachmodelle wie BERT und GPT, die heute der Standard-Ausgangspunkt für die meisten Aufgaben der natürlichen Sprachverarbeitung sind.
Wann wird sie eingesetzt?
Gut geeignet für Textklassifizierung, Named-Entity-Erkennung und Sprachmodellierung auf großen Textdatensätzen – mindestens etwa 500 Dokumente –, bei denen ein tiefes kontextuelles Sprachverständnis wichtig ist. Es erfordert keine normalverteilten Daten, setzt aber einen großen Textkorpus voraus, und die Verwendung eines vortrainierten Modells (wie BERT oder GPT) wird empfohlen. Unter etwa 500 Beispielen kann der Aufmerksamkeitsmechanismus keine zuverlässigen Muster lernen, und unter etwa 100 ist ein tiefes Modell sinnlos; klassisches maschinelles Lernen wie Random Forest oder XGBoost ist die sicherere Wahl.
Grenzen und Hinweise
- Benötigt große Textdatensätze (etwa 500 Beispiele oder mehr), um zuverlässige Muster zu lernen.
- Unter etwa 100 Beispielen ist das Training tiefer Modelle bedeutungslos und klassisches ML reicht aus.
- Das Training ist rechenintensiv und stützt sich typischerweise auf vortrainierte Modelle.
- Seine internen Repräsentationen sind im Vergleich zu Modellen mit expliziten Koeffizienten schwer zu interpretieren.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Self-Attention erfasst Langzeitabhängigkeiten über eine gesamte Sequenz hinweg, im Gegensatz zu wortweisen rekurrenten Modellen.
- Verarbeitet Sequenzen parallel, wodurch das Training auf großen Textkorpora wesentlich skalierbarer wird.
- Vortrainierte Modelle (BERT, GPT) können feinabgestimmt werden, wodurch Wissen auf Aufgaben mit begrenzten gelabelten Daten übertragen wird.
- Verarbeitet diverse Sprachaufgaben – Klassifizierung, NER und Sprachmodellierung – innerhalb einer einzigen Architektur.
- Keine Verteilungsannahmen: Es erfordert keine normalverteilten Daten.
Anwendungen
- Textklassifizierung, wie z. B. Sentiment- oder Themen-Labeling.
- Named-Entity-Erkennung (NER) über Dokumente hinweg.
- Sprachmodellierung und Vorhersage des nächsten Tokens.
- Feinabstimmung vortrainierter Sprachmodelle für domänenspezifische Textaufgaben.
So funktioniert es
So funktioniert es
Rohtext wird in Token zerlegt und jedes Token wird in einen numerischen Vektor (Embedding) umgewandelt. Da Aufmerksamkeit keine eingebaute Vorstellung von Reihenfolge hat, werden Positionsinformationen zu diesen Vektoren hinzugefügt, damit das Modell weiß, wo jedes Token in der Sequenz sitzt.
Der Self-Attention-Mechanismus vergleicht jedes Token mit jedem anderen Token: Queries werden mit Keys abgeglichen, um Aufmerksamkeitsgewichte zu erzeugen, die dann zur Kombination der Value-Vektoren verwendet werden. Das Stapeln vieler solcher Aufmerksamkeits-Layer ermöglicht es dem Modell, eine kontextuelle Repräsentation aufzubauen, bei der jedes Token durch die gesamte Sequenz informiert wird.
Formel
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)VDie kontextuellen Repräsentationen speisen einen aufgabenspezifischen Kopf – ein Label für Textklassifizierung, Token-Tags für Named-Entity-Erkennung oder Wahrscheinlichkeiten für das nächste Token für Sprachmodellierung. In der Praxis wird ein auf großen Textkorpora vortrainiertes Modell (wie BERT oder GPT) auf die jeweilige Aufgabe feinabgestimmt.
Häufige Fallstricke
- Anwendung eines Transformers auf einen kleinen Textdatensatz, bei dem die Aufmerksamkeit keine stabilen Muster lernen kann.
- Training von Grund auf anstelle der Feinabstimmung eines vortrainierten Modells wie BERT oder GPT.
- Ignorieren des Schwellenwerts für die Stichprobengröße und Vertrauen in ein tiefes Modell, wo klassisches ML besser wäre.
- Behandlung von Aufmerksamkeitsgewichten als definitive Erklärung für die Modellreasoning.
Häufig gestellte Fragen
Wie viel Textdaten benötige ich?
Mindestens etwa 500 Beispiele, damit der Aufmerksamkeitsmechanismus zuverlässige Muster lernen kann. Unter etwa 100 ist das Training eines tiefen Modells nicht lohnenswert und klassisches maschinelles Lernen wie Random Forest oder XGBoost ist die bessere Wahl.
Sollte ich einen Transformer von Grund auf trainieren?
Normalerweise nein. Die Verwendung eines vortrainierten Modells wie BERT oder GPT und dessen Feinabstimmung auf Ihre Aufgabe wird empfohlen, da es Wissen aus großen Korpora überträgt und weitaus weniger gelabelte Daten benötigt.
Welche Aufgaben kann er bewältigen?
Textklassifizierung, Named-Entity-Erkennung und Sprachmodellierung, alles basierend auf derselben Self-Attention-Architektur.
Warum ist der Aufmerksamkeitsmechanismus wichtig?
Er erlaubt jedem Token in einer Sequenz, direkt auf jedes andere Token zu achten, und erfasst so Langzeitkontexte, die frühere wortweise rekurrenten Modelle schlecht handhabten.
Verwandte Methoden
Quellen
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
Publikationsreferenz öffnenKopiert.