BERT-Feinabstimmung
- Eingeführt von
- Devlin, J. et al.
- Jahr
- 2019
- Typ
- Transfer learning (fine-tuning a pre-trained transformer)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Die BERT-Feinabstimmung, aufbauend auf dem 2019 von Devlin und Kollegen eingeführten BERT-Modell, trainiert ein vortrainiertes BERT-Modell auf einem kleinen gelabelten Datensatz für eine Zielaufgabe wie Klassifikation, Named-Entity Recognition oder Question Answering neu.
Durch Transferlernen erreicht sie auch mit relativ wenig aufgabenspezifischen Daten eine hohe Leistung.
Die Intuition hinter der Methode
Das Training eines Sprachmodells von Grund auf erfordert enorme Mengen an Text und Rechenleistung. BERT hat bereits während des Vortrainings reichhaltige, allgemeine Sprachrepräsentationen gelernt. Anstatt also von vorne zu beginnen, nimmt man dieses Modell und passt es sanft an die eigene Aufgabe an. Mit nur einem kleinen gelabelten Datensatz passt das Modell sein vorhandenes Wissen an Ihr Problem an, weshalb die Feinabstimmung dort funktioniert, wo das Training eines Modells von Grund auf scheitern würde.
Geschichte
BERT wurde 2019 von Devlin und Kollegen eingeführt und zeigte, dass tiefe bidirektionale Transformer, die auf großen Korpora vortrainiert wurden, feinabgestimmt werden konnten, um in vielen Aufgaben des Sprachverständnisses hochmoderne Ergebnisse zu erzielen. Praktische Anleitungen wie die Arbeit von Sun und Kollegen aus dem Jahr 2019 zur Feinabstimmung von BERT für die Textklassifikation trugen dazu bei, die Feinabstimmung als Standardrezept für die Anpassung großer vortrainierter Sprachmodelle an spezifische Aufgaben zu etablieren.
Wann wird sie eingesetzt?
Verwenden Sie die BERT-Feinabstimmung für Textaufgaben – Klassifikation, Vorhersage oder Relationsextraktion wie NER und Question Answering – auf Textvariablen, mit mindestens etwa 50 gelabelten Beispielen und idealerweise mehreren hundert oder mehr. Sie setzt voraus, dass ein vortrainiertes BERT-Modell verfügbar ist und dass Sie gelabelte Aufgabendaten haben; eine GPU wird empfohlen. Unter etwa 500 gelabelten Beispielen neigt das Modell zum Overfitting, und unter etwa 50 ist die Feinabstimmung nicht praktikabel – klassisches TF-IDF-basiertes maschinelles Lernen ist dort die sicherere Wahl.
Grenzen und Hinweise
- Bei kleinen gelabelten Datensätzen (unter etwa 500 Beispielen) neigt die Feinabstimmung zum Overfitting und die Ausgaben werden unzuverlässig.
- Bei sehr wenigen gelabelten Daten (unter etwa 50) ist die Feinabstimmung überhaupt nicht praktikabel.
- Eine GPU wird empfohlen, daher sind die Rechenanforderungen höher als bei klassischen Textmodellen.
- Hängt davon ab, dass ein geeignetes vortrainiertes BERT-Modell für die Sprache und Domäne verfügbar ist.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Transferlernen liefert auch mit relativ wenigen gelabelten Daten eine hohe Leistung.
- Erfasst bidirektionalen Kontext und verarbeitet die Wortbedeutung, die vom umgebenden Text abhängt.
- Ein einziges vortrainiertes Backbone dient vielen Aufgaben: Klassifikation, NER, Question Answering.
- Vermeidet die enormen Daten- und Rechenkosten des Trainings eines Sprachmodells von Grund auf.
Anwendungen
- Textklassifikation wie Sentimentanalyse und Themenkennzeichnung.
- Named-Entity Recognition (NER) über Text.
- Question Answering und Span-Extraktion.
- Anpassung eines allgemeinen vortrainierten Sprachmodells an eine spezifische Domäne mit begrenzten gelabelten Daten.
So funktioniert es
So funktioniert es
Sie beginnen mit einem vortrainierten BERT-Modell, das bereits bidirektionale Sprachrepräsentationen aus großen Textkorpora gelernt hat. Dieses vortrainierte Modell enthält allgemeines linguistisches Wissen, das auf Ihre Zielaufgabe übertragen wird, sodass Sie die Sprachstruktur nicht von Grund auf neu lernen müssen.
Für Ihre Zielaufgabe wird eine aufgabenspezifische Ausgabeschicht auf BERT aufgesetzt – zum Beispiel ein Klassifikations-Head für die Sentiment-Labeling, ein Token-Level-Head für die Named-Entity Recognition oder ein Span-Head für das Question Answering. Dieser Head wandelt die kontextuellen Repräsentationen von BERT in Vorhersagen für Ihre Aufgabe um.
Das kombinierte Modell wird auf Ihrem kleinen gelabelten Aufgabendatensatz neu trainiert, wobei die Gewichte aktualisiert werden, damit sie sich auf die Aufgabe spezialisieren. Typischerweise wird das Modell für einige Epochen trainiert; eine GPU wird empfohlen, da das zugrunde liegende Netzwerk groß ist. Das Ergebnis ist ein Modell, das Texteingaben auf Aufgabenprognosen abbildet.
Formel
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)Häufige Fallstricke
- Feinabstimmung mit zu wenigen gelabelten Beispielen und Vertrauen in die resultierenden Metriken.
- Überspringen eines zurückgehaltenen Evaluationsdatensatzes, sodass Overfitting auf einem kleinen Datensatz unbemerkt bleibt.
- Verwendung von BERT, wenn ein TF-IDF-basiertes klassisches Modell bei winzigen Daten zuverlässiger wäre.
- Training über zu viele Epochen auf einem kleinen Datensatz, was das Overfitting verstärkt.
Häufig gestellte Fragen
Wie viele gelabelte Daten benötige ich?
Die Feinabstimmung ist ab etwa 50 gelabelten Beispielen praktikabel, aber die Leistung ist mit mehreren hundert oder mehr zuverlässiger. Unter etwa 500 Beispielen neigt das Modell zum Overfitting, und unter etwa 50 ist die Feinabstimmung nicht praktikabel – ein TF-IDF-basiertes klassisches Modell ist dort sicherer.
Benötige ich eine GPU?
Eine GPU wird empfohlen, da das BERT-Netzwerk groß ist und das Training auf der CPU langsam ist. Die Feinabstimmung läuft typischerweise nur für wenige Epochen, was den Rechenaufwand auf einer GPU überschaubar hält.
Warum Feinabstimmung statt Training von Grund auf?
BERT hat bereits während des Vortrainings allgemeine bidirektionale Sprachrepräsentationen gelernt. Die Feinabstimmung nutzt dieses Wissen durch Transferlernen wieder, sodass Sie mit weitaus weniger gelabelten Daten und Rechenleistung eine hohe Leistung erzielen als beim Training eines Modells von Grund auf.
Welche Aufgaben kann die BERT-Feinabstimmung bewältigen?
Durch das Anbringen eines aufgabenspezifischen Ausgabe-Heads können Sie dasselbe vortrainierte Backbone für Klassifikation, Named-Entity Recognition und Question Answering sowie andere Textaufgaben verwenden.
Verwandte Methoden
Quellen
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
DOI-Referenz öffnenKopiert.Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.
DOI-Referenz öffnenKopiert.