Multi-Head Self-Attention
- Eingeführt von
- Vaswani, A. et al.
- Jahr
- 2017
- Typ
- Attention mechanism (Transformer core)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Multi-Head Self-Attention, eingeführt von Vaswani und Kollegen im Jahr 2017, ist der Mechanismus, der es jeder Position in einer Sequenz ermöglicht, ihre Beziehung zu allen anderen Positionen parallel zu berechnen.
Es ist der Kern der Transformer-Architektur und die Grundlage von BERT, GPT und T5.
Die Intuition hinter der Methode
Frühere Sequenzmodelle verarbeiteten Text Schritt für Schritt, was die Erfassung von Langzeitbeziehungen erschwerte und die Berechnung verlangsamte. Self-Attention lässt stattdessen jedes Token direkt auf jedes andere Token gleichzeitig blicken und entscheiden, wie viel Gewicht jedem einzelnen zugewiesen wird, sodass Bedeutungen, die von entfernten Kontexten abhängen, in einem einzigen parallelen Durchlauf erfasst werden.
Geschichte
Self-Attention wurde von Vaswani und Kollegen in der Arbeit 'Attention Is All You Need' aus dem Jahr 2017 eingeführt, die die Transformer-Architektur vorschlug und vollständig auf Rekurrenz verzichtete. Sie wurde schnell zur Grundlage großer vortrainierter Sprachmodelle: Devlin und Kollegen bauten 2019 BERT auf bidirektionalen Transformern auf, und derselbe Mechanismus liegt GPT und T5 zugrunde.
Wann wird sie eingesetzt?
Verwenden Sie Self-Attention bei der Modellierung von Text oder anderen sequenziellen Daten, bei denen Beziehungen zwischen entfernten Elementen wichtig sind und Sie genügend Daten zum Trainieren eines großen Modells haben – mindestens etwa 100 Beobachtungen, wobei 500 oder mehr stark bevorzugt werden. Eine GPU wird empfohlen, Positionskodierung ist erforderlich, und beachten Sie, dass die Rechenkosten quadratisch mit der Sequenzlänge wachsen. Bei sehr kleinen Stichproben kann es keine zuverlässigen Repräsentationen lernen; einfachere maschinelle Lernmodelle sind dort sicherer.
Grenzen und Hinweise
- Rechen- und Speicherkosten wachsen quadratisch mit der Sequenzlänge, was sehr lange Sequenzen teuer macht.
- Eine GPU ist für das praktische Training praktisch erforderlich.
- Benötigt Positionskodierung, da Aufmerksamkeit allein ordnungsagnostisch ist.
- Bei kleinen Datensätzen (n unter etwa 500) überanpasst es sich und lernt keine zuverlässigen Repräsentationen.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Erfasst Langzeitabhängigkeiten direkt, ohne den Engpass der schrittweisen Rekurrenz.
- Vollständig parallele Berechnung über Positionen hinweg, die auf moderner Hardware gut skaliert.
- Mehrere Köpfe können gleichzeitig verschiedene Beziehungsmuster berücksichtigen.
- Dient als gemeinsames Rückgrat für BERT, GPT und T5, mit umfangreicher Unterstützung für Transferlernen.
Anwendungen
- Textklassifizierung und andere überwachte Aufgaben der natürlichen Sprachverarbeitung.
- Vorhersage und Repräsentationslernen über sequentielle Daten.
- Vortraining und Feinabstimmung großer Sprachmodelle wie BERT und GPT.
- Jede Einstellung, bei der Langzeitbeziehungen zwischen Sequenzelementen modelliert werden müssen.
So funktioniert es
So funktioniert es
Jede Eingabeposition wird durch separate Gewichtsmatrizen in drei gelernte Vektoren abgebildet – eine Query, einen Key und einen Value. Die Query repräsentiert, wonach ein Token sucht, der Key, was jedes Token anbietet, und der Value den Inhalt, der weitergegeben wird.
Formel
Q = XW_Q,\; K = XW_K,\; V = XW_V
Jede Query wird mit allen Keys über ein skaliertes Skalarprodukt verglichen, skaliert mit der Quadratwurzel der Key-Dimension, um die Werte stabil zu halten, und durch eine Softmax-Funktion geleitet, um Aufmerksamkeitsgewichte zu erzeugen. Die Ausgabe jeder Position ist die gewichtete Summe aller Value-Vektoren, sodass sie Informationen aus der gesamten Sequenz auf einmal vermischt.
Formel
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)VDie Aufmerksamkeit wird mehrmals parallel als separate Köpfe ausgeführt, jeder mit seinen eigenen Projektionen, sodass verschiedene Köpfe sich auf unterschiedliche Arten von Beziehungen konzentrieren können. Ihre Ausgaben werden verkettet und wieder zusammen projiziert, und da die Positionen ansonsten austauschbar sind, wird eine Positionskodierung hinzugefügt, um die Informationsordnung zu erhalten.
Formel
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_OHäufige Fallstricke
- Training mit zu wenig Daten – unter etwa 500 Beispielen überanpasst sich der Mechanismus, anstatt nützliche Repräsentationen zu lernen.
- Vergessen der Positionskodierung, was das Modell blind für die Wortreihenfolge macht.
- Unterschätzung der quadratischen Kosten langer Sequenzen und Speichermangel.
- Greifen Sie bei winzigen Stichproben nach einem Transformer, wo ein einfacheres Modell wie Random Forest oder XGBoost besser wäre.
Häufig gestellte Fragen
Warum wird der Aufmerksamkeits-Score mit der Quadratwurzel der Key-Dimension skaliert?
Ohne Skalierung werden die Skalarprodukte mit zunehmender Key-Dimension groß und drängen die Softmax-Funktion in Bereiche mit verschwindenden Gradienten. Die Division durch die Quadratwurzel der Key-Dimension hält die Scores in einem stabilen Bereich.
Was bringen die mehreren Köpfe?
Jeder Kopf lernt seine eigenen Query-, Key- und Value-Projektionen, sodass verschiedene Köpfe gleichzeitig verschiedene Arten von Beziehungen berücksichtigen können. Ihre Ausgaben werden verkettet und wieder zu einer einzigen Repräsentation zusammen projiziert.
Warum ist Positionskodierung notwendig?
Self-Attention behandelt Positionen als austauschbar, sodass es allein keine Vorstellung von Ordnung hat. Positionskodierung injiziert Informationen über die Position jedes Tokens, damit das Modell die Wortreihenfolge verwenden kann.
Wie viele Daten werden benötigt?
Es ist datenhungrig: Mit unter etwa 500 Beispielen überanpasst es sich und kann keine zuverlässigen Repräsentationen lernen, und unter etwa 100 ist das Trainieren eines Transformers nicht sinnvoll. Für kleine Stichproben sind einfachere Modelle wie Random Forest oder XGBoost vorzuziehen.
Verwandte Methoden
Quellen
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
Publikationsreferenz öffnenKopiert.Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Publikationsreferenz öffnenKopiert.