Longformer / BigBird
- Eingeführt von
- Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
- Jahr
- 2020
- Typ
- Sparse-attention Transformer for long sequences
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Long-sequence Transformer-Modelle wie Longformer (Beltagy, Peters & Cohan, 2020) und BigBird (Zaheer et al., 2020) ersetzen die O(n²)-Aufmerksamkeit des Standard-Transformers durch dünnbesetzte Aufmerksamkeitsmuster, die linear, O(n), mit der Sequenzlänge skalieren.
Dies ermöglicht es einem einzelnen Modell, Tausende von Tokens – ganze Dokumente, Rechtstexte oder genomische Sequenzen – zu verarbeiten, die nicht in einen konventionellen Transformer passen würden.
Die Intuition hinter der Methode
Ein Standard-Transformer vergleicht jedes Token mit jedem anderen Token, sodass eine Verdoppelung des Textes die Rechenleistung ungefähr vervierfacht – weshalb die meisten Modelle bei etwa 512 Tokens an ihre Grenzen stoßen. Long-sequence Transformer stellen fest, dass die meisten nützlichen Beziehungen lokal sind, sodass jedes Token hauptsächlich seine nahen Nachbarn durch ein gleitendes Fenster betrachtet, während einige ausgewählte Tokens alles betrachten dürfen. Dies hält die Kosten im Gleichschritt mit der Textlänge wachsend, anstatt zu explodieren, wodurch sehr lange Dokumente handhabbar werden.
Geschichte
Beide Methoden erschienen 2020 als Antworten auf den quadratischen Aufmerksamkeits-Engpass, der Transformer auf kurze Eingaben beschränkte. Longformer (Beltagy, Peters & Cohan) führte gleitende Fenster plus globale Aufmerksamkeit für lange Dokumente ein, während BigBird (Zaheer et al., NeurIPS) seinem dünnbesetzten Muster zufällige Aufmerksamkeit hinzufügte und theoretische Ergebnisse zu seiner Ausdruckskraft lieferte. Gemeinsam etablierten sie dünnbesetzte Aufmerksamkeit als den Standardweg zur Verarbeitung langer Sequenzen.
Wann wird sie eingesetzt?
Verwenden Sie Long-sequence Transformer, wenn Sie lange Dokumenttexte (typischerweise über 512 Tokens) haben und eine Klassifikation oder Erklärung über das gesamte Dokument benötigen – lange Berichte, Rechtstexte oder genomische Sequenzen. Sie setzen voraus, dass tatsächlich lange Eingaben verfügbar sind, eine GPU wird dringend empfohlen, und globale Token-Positionen müssen sinnvoll gewählt werden. Sie benötigen eine angemessene Datenmenge: Unter etwa 500 Dokumenten neigt das Modell zum Overfitting, und unter etwa 100 Dokumenten ist das Training nicht sinnvoll und klassisches maschinelles Lernen wie Random Forest oder XGBoost ist vorzuziehen.
Grenzen und Hinweise
- Eine GPU ist praktisch erforderlich; Training und Inferenz sind rechenintensiv.
- Overfitting bei kleinen Dokumentensätzen – unter etwa 500 Dokumenten sind die Ergebnisse unzuverlässig.
- Unter etwa 100 Dokumenten ist das Training bedeutungslos, und stattdessen sollte klassisches maschinelles Lernen verwendet werden.
- Globale Token-Positionen müssen korrekt gewählt werden, sonst verschlechtert sich der Informationsfluss über große Entfernungen.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Verarbeitet Tausende von Tokens – ganze Dokumente –, die das Fenster eines Standard-Transformers überschreiten.
- Lineare O(n)-Aufmerksamkeitsskalierung anstelle der quadratischen O(n²)-Kosten dichter Aufmerksamkeit.
- Kombiniert lokalen Gleitfenster-Kontext mit globalen Tokens für den Informationsfluss über große Entfernungen.
- Gut geeignet für die Klassifikation langer Dokumente in Recht, Genomik und Langform-Texten.
Anwendungen
- Klassifikation langer Dokumente wie Berichte und Artikel.
- Analyse von Rechtstexten, die Standard-Transformer-Fenster überschreiten.
- Modellierung langer genomischer Sequenzen.
- Erklärungs- und Klassifikationsaufgaben über vollständige Texte anstatt gekürzter Auszüge.
So funktioniert es
So funktioniert es
Der Kernschritt besteht darin, die dichte All-Pairs-Aufmerksamkeit des Standard-Transformers – die O(n²) in der Sequenzlänge n kostet – fallen zu lassen und sie durch ein dünnbesetztes Muster zu approximieren, das nur O(n) kostet. Da die Aufmerksamkeit der Engpass ist, ermöglicht diese einzelne Änderung die Verarbeitung von Eingaben mit Tausenden von Tokens.
Formel
O(n^2) \;\rightarrow\; O(n)
Die meiste Aufmerksamkeit ist auf ein gleitendes Fenster um jedes Token beschränkt, sodass ein Token eine feste Bandbreite von nahegelegenen Tokens beachtet, anstatt die gesamte Sequenz. Lokaler Kontext – die Wörter auf beiden Seiten – trägt den größten Teil des Signals, und die Berechnung nur dieses Bandes lässt die Kosten linear mit der Länge wachsen.
Ein kleiner Satz ausgewählter globaler Tokens darf die gesamte Sequenz beachten und von ihr beachtet werden, was dem Modell einen Pfad für den Informationsfluss über große Entfernungen im Dokument bietet. Die korrekte Wahl dieser globalen Token-Positionen (z.B. ein Klassifikations-Token oder Abfrage-Tokens) ist wichtig, da sie die Brücke zwischen entfernten Teilen des Textes bilden.
Zusätzlich zum Sparse-Attention-Encoder erzeugt ein Task-Head das Endergebnis – zum Beispiel eine Klassifikation auf Dokumentenebene oder eine erklärende Vorhersage über die lange Eingabe. Das Ergebnis ist ein Modell, das vollständige Dokumente verarbeiten kann, die ein 512-Token-Transformer hätte abschneiden müssen.
Häufige Fallstricke
- Anwendung auf kurze Texte, die in einen Standard-512-Token-Transformer passen, wobei die Komplexität ohne Nutzen bezahlt wird.
- Unachtsame Wahl globaler Token-Positionen, wodurch die Langstreckenpfade des Modells unterbrochen werden.
- Training an einem kleinen Dokumentensatz (n unter einigen Hundert) und Vertrauen auf das überfittete Ergebnis.
- Versuch, ohne GPU zu trainieren und ein funktionierendes Modell aufzugeben.
Häufig gestellte Fragen
Wie unterscheidet sich dies von einem Standard-Transformer wie BERT?
Ein Standard-Transformer verwendet dichte Aufmerksamkeit, die jedes Token mit jedem anderen Token zu O(n²)-Kosten vergleicht, was in der Praxis Eingaben auf etwa 512 Tokens begrenzt. Longformer und BigBird verwenden dünnbesetzte Aufmerksamkeit – hauptsächlich lokale gleitende Fenster plus einige globale Tokens –, sodass die Kosten linear wachsen und Eingaben von mehreren Tausend Tokens machbar werden.
Wann sollte ich Longformer oder BigBird gegenüber klassischem ML bevorzugen?
Verwenden Sie sie, wenn Ihr Text wirklich lang ist (über 512 Tokens) und Sie genügend Dokumente haben. Bei weniger als etwa 500 Dokumenten neigt das Modell zum Overfitting, und unter etwa 100 Dokumenten ist das Training nicht sinnvoll – klassische Methoden wie Random Forest oder XGBoost sind hier die sicherere Wahl.
Was sind globale Tokens und warum sind sie wichtig?
Globale Tokens sind ein kleiner Satz von Positionen, die die gesamte Sequenz beachten und von ihr beachtet werden dürfen. Sie sind der Kanal, durch den Informationen über große Entfernungen im Dokument fließen, daher ist die korrekte Wahl ihrer Positionen wichtig für die Leistung.
Benötige ich spezielle Hardware?
Eine GPU wird dringend empfohlen. Diese Modelle verarbeiten immer noch lange Sequenzen mit umfangreichen Netzwerken, sodass Training und Inferenz selbst bei der linear skalierenden Aufmerksamkeit rechenintensiv sind.
Verwandte Methoden
Quellen
Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.
Publikationsreferenz öffnenKopiert.Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.
Publikationsreferenz öffnenKopiert.