BERT-Einbettungen — Kontextsensitive Textrepräsentationen
- Eingeführt von
- Devlin, Chang, Lee & Toutanova (Google AI)
- Jahr
- 2019
- Typ
- Contextual transformer text-representation method
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
BERT-basierte Text-Einbettungen, die 2019 von Devlin und Kollegen bei Google AI eingeführt wurden, wandeln Text mithilfe eines bidirektionalen Transformer-Encoders in kontextsensitive dichte Vektoren um.
Da sich die Bedeutung eines Wortes mit seinem Kontext verschiebt, erzeugt BERT reichhaltigere Repräsentationen als statische Methoden wie Word2Vec oder Themenmodelle wie LDA.
Die Intuition hinter der Methode
Ein Wort wie "Bank" bedeutet an einem Fluss etwas anderes als im Finanzwesen, doch ältere Einbettungsmethoden weisen ihm unabhängig von seinem Auftreten einen einzigen festen Vektor zu. BERT liest jedes Wort zusammen mit den umgebenden Wörtern, sodass dasselbe Wort je nach Satz einen anderen Vektor erhält. Diese kontextuelle Lesart ermöglicht es den Einbettungen, Bedeutungen zu erfassen, die statische Wortvektoren übersehen.
Geschichte
BERT wurde von Devlin, Chang, Lee und Toutanova (2019) eingeführt, die einen tiefen bidirektionalen Transformer auf großen Textkorpora vortrainierten und starke Ergebnisse bei vielen Sprachverständnisaufgaben erzielten. Spätere Untersuchungsergebnisse von Tenney und Kollegen (2019) zeigten, dass BERT intern Schritte der klassischen NLP-Pipeline wiederentdeckt, was erklärt, warum seine kontextuellen Einbettungen solch reiche linguistische Informationen tragen.
Wann wird sie eingesetzt?
BERT-Einbettungen eignen sich, wenn Sie Textdaten haben und Repräsentationen benötigen, die den Kontext berücksichtigen, und wenn ein vortrainiertes Modell der Sprache und Domäne dieses Korpus entspricht. Sie eignen sich für erklärende, klassifizierende und beziehungsbezogene Zwecke. Bei weniger als etwa 100 Dokumenten ist eine Feinabstimmung nicht praktikabel – statische vortrainierte Einbettungen wie GloVe sind vorzuziehen – und wenn überhaupt keine Textdaten vorhanden sind, können BERT-Einbettungen nicht erzeugt werden.
Grenzen und Hinweise
- Ein geeignetes Modell muss ausgewählt werden – mehrsprachig oder domänenspezifisch –, um zum Korpus zu passen.
- Eine GPU wird für große Datensätze empfohlen, da die Kodierung rechenintensiv ist.
- Feinabstimmung ist bei sehr kleinen Korpora (unter ca. 100 Dokumenten) nicht praktikabel.
- Einbettungen sind hochdimensional und weniger direkt interpretierbar als Frequenz- oder lexikonbasierte Merkmale.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Kontextsensitiv: dasselbe Wort erhält je nach umgebendem Text unterschiedliche Vektoren.
- Reichhaltigere Repräsentationen als statische Methoden wie Word2Vec oder Themenmodelle wie LDA.
- Bidirektionale Kodierung liest jedes Token im Lichte des vollständigen Kontexts auf beiden Seiten.
- Vortrainierte Modelle decken viele Sprachen und spezialisierte Domänen ab, sodass die Analyse ohne Training von Grund auf beginnen kann.
Anwendungen
- Textklassifizierung mithilfe kontextbezogener Dokumentrepräsentationen.
- Messung der semantischen Ähnlichkeit zwischen Dokumenten oder Passagen.
- Beziehungs- und Erklärungsanalyse von Texten, bei denen die Wortbedeutung vom Kontext abhängt.
- Erzeugung von Merkmalen für nachgelagerte NLP-Modelle in der Gesundheits-, Sozial-, Wirtschafts- und Betriebswirtschaftsforschung.
So funktioniert es
So funktioniert es
Ein geeignetes vortrainiertes BERT-Modell wird ausgewählt, um zum Korpus zu passen – ein mehrsprachiges Modell für nicht-englischen oder gemischtsprachigen Text oder ein domänenspezifisches Modell, wenn der Text aus einem spezialisierten Bereich stammt. Die Auswahl eines Modells, das Sprache und Domäne des Korpus entspricht, ist die Entscheidung, die die Qualität der Einbettung am stärksten beeinflusst.
Jedes Dokument wird in die Subwort-Token zerlegt, die das ausgewählte Modell erwartet. Tokenisierung zerlegt Wörter in die Einheiten, auf denen das Modell vortrainiert wurde, sodass auch unbekannte oder zusammengesetzte Wörter dargestellt werden können.
Der bidirektionale Transformer-Encoder durchläuft die Token und erzeugt für jedes eine kontextsensitive Vektorrepräsentation, indem er jedes Token im Lichte des umgebenden Textes liest. Dasselbe Wort liefert in unterschiedlichen Kontexten unterschiedliche Vektoren, was der Repräsentation ihre Reichhaltigkeit verleiht.
Die resultierenden Einbettungen dienen nachgelagerten Aufgaben – Klassifizierung, Ähnlichkeits- oder Beziehungsanalyse – und bei größeren Korpora kann das Modell auf die Aufgabe feinabgestimmt werden. Eine GPU wird für große Datensätze empfohlen, da die Kodierung vieler Dokumente rechenintensiv ist.
Häufige Fallstricke
- Die Anwendung eines englischen Modells auf Text in einer anderen Sprache verschlechtert die Qualität; wählen Sie ein mehrsprachiges oder passendes Modell.
- Die Feinabstimmung von BERT auf einem kleinen Datensatz (unter ca. 100 Dokumenten) funktioniert nicht – greifen Sie auf statische vortrainierte Einbettungen wie GloVe zurück.
- Ohne jegliche Textdaten können BERT-Einbettungen nicht generiert werden – erwägen Sie stattdessen Clustering auf strukturierten Daten.
- Die Kodierung großer Korpora ohne GPU kann unerschwinglich langsam sein.
Häufig gestellte Fragen
Wie unterscheidet sich BERT von Word2Vec oder GloVe?
Word2Vec und GloVe weisen jedem Wort einen einzigen statischen Vektor zu, unabhängig vom Kontext. BERT ist kontextuell: Es liest jedes Wort zusammen mit seinem umgebenden Text und erzeugt für dasselbe Wort in verschiedenen Sätzen einen anderen Vektor, der Bedeutungen erfasst, die statische Einbettungen übersehen.
Wie viel Text benötige ich?
Die Erzeugung von Einbettungen aus einem vortrainierten Modell funktioniert auch bei kleinen Korpora (ab etwa zehn Dokumenten). Die Feinabstimmung des Modells auf Ihre Aufgabe erfordert jedoch einen größeren Datensatz – bei weniger als etwa 100 Dokumenten sind statische vortrainierte Einbettungen wie GloVe vorzuziehen.
Benötige ich eine GPU?
Nicht für kleine Datensätze, aber für große wird eine GPU empfohlen, da die Kodierung vieler Dokumente über einen Transformer rechenintensiv ist und auf einer CPU sehr langsam sein kann.
Kann BERT andere Sprachen als Englisch verarbeiten?
Ja, vorausgesetzt, Sie wählen ein passendes Modell – ein mehrsprachiges Modell oder ein Modell, das für die spezifische Sprache oder Domäne Ihres Korpus trainiert wurde. Die Anwendung eines rein englischen Modells auf Text in einer anderen Sprache ist eine häufige Ursache für schlechte Ergebnisse.
Verwandte Methoden
Quellen
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.
DOI-Referenz öffnenKopiert.Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.
DOI-Referenz öffnenKopiert.