GPT-Feinabstimmung
- Eingeführt von
- Radford, A. et al. (OpenAI)
- Jahr
- 2019
- Typ
- Fine-tuning of pretrained autoregressive language models
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
GPT-Feinabstimmung passt vortrainierte autoregressive Sprachmodelle wie GPT-2/3/4 oder LLaMA — vorgestellt in der Arbeit von Radford und Kollegen aus dem Jahr 2019 von OpenAI — an domänenspezifische Daten oder an die Befolgung von Anweisungen mittels Reinforcement Learning aus menschlichem Feedback (RLHF) oder DPO an.
Sie wird für die Befolgung von Anweisungen, die Domänenanpassung und generative Aufgaben verwendet.
Die Intuition hinter der Methode
Ein großes Sprachmodell hat bereits Grammatik, Fakten und Schlussfolgerungsmuster aus einem riesigen Textkorpus gelernt, sodass Sie selten von Grund auf neu trainieren müssen. Die Feinabstimmung nimmt dieses vortrainierte Modell und lenkt es auf Ihre eigene Aufgabe – das Vokabular Ihrer Domäne, Ihren bevorzugten Antwortstil, Ihre Anweisungen – indem das Training mit einer viel kleineren, aufgabenspezifischen Menge von Prompt-Completion-Beispielen fortgesetzt wird.
Geschichte
GPT-Feinabstimmung baut auf den autoregressiven Sprachmodellen auf, die von Radford und Kollegen im OpenAI-Bericht von 2019 beschrieben wurden und zeigten, dass große Sprachmodelle als unüberwachte Multitask-Lerner agieren. Ouyang und Kollegen (2022) führten dann das Training mit menschlichem Feedback (RLHF) ein, wodurch Modelle Anweisungen weitaus zuverlässiger befolgen und das heute verwendete Paradigma der Instruktionsanpassung prägten.
Wann wird sie eingesetzt?
Verwenden Sie GPT-Feinabstimmung für Textklassifizierung, Vorhersage oder Generierung, wenn ein vortrainiertes Modell der GPT-Familie verfügbar ist, Ihre Daten im Prompt-Completion-Format vorbereitet sind und ausreichende Rechenleistung (GPU/TPU) zur Verfügung steht. Es wird keine normalverteilte Daten angenommen. Ein größerer Datensatz wird dringend bevorzugt: unter etwa 500 Beispielen neigt das Modell zum Überanpassen und die generative Qualität sinkt, und unter etwa 50 Beispielen liefert die Feinabstimmung keine aussagekräftigen Ergebnisse – einfachere Modelle wie Random Forest oder XGBoost sind dort sicherer.
Grenzen und Hinweise
- Benötigt ein vortrainiertes GPT-Modell und typischerweise GPU/TPU-Rechenleistung.
- Daten müssen sorgfältig im Prompt-Completion-Format vorbereitet werden.
- Bei kleinen Datensätzen (unter etwa 500 Beispielen) überanpasst sich das Modell und die generative Qualität verschlechtert sich.
- Bei sehr wenigen Daten (unter etwa 50 Beispielen) liefert die Feinabstimmung keine aussagekräftigen Ergebnisse.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Baut auf breitem Wissen auf, das bereits während des groß angelegten Vortrainings erfasst wurde, sodass weitaus weniger Aufgabendaten benötigt werden als beim Training von Grund auf.
- Behandelt Textklassifizierung, Vorhersage und offene generative Aufgaben innerhalb eines einzigen Frameworks.
- Wenige Annahmen: es erfordert keine normalverteilten Daten.
- RLHF- oder DPO-Anpassung ermöglicht es dem Modell, Anweisungen zu befolgen und menschliche Präferenzen zu erfüllen.
Anwendungen
- Domänenanpassung eines allgemeinen Sprachmodells an spezialisierten Text.
- Befolgung von Anweisungen und Assistenten-ähnliche Generierung.
- Textklassifizierungs- und Vorhersageaufgaben für Textdaten.
- Generative Aufgaben, bei denen eine flüssige, aufgabenorientierte Textausgabe erforderlich ist.
So funktioniert es
So funktioniert es
Sie beginnen mit einem vortrainierten Modell der GPT-Familie, das bereits breites Sprachwissen mitbringt. Ein Datensatz für die Feinabstimmung wird im Prompt-Completion-Format vorbereitet, und je nach Aufgabe und Hardware kann eine GPU oder TPU erforderlich sein.
Das Modell setzt das Training mit den Aufgabendaten fort und minimiert den autoregressiven Sprachmodellierungsverlust – die negative Log-Likelihood jedes nächsten Tokens gegeben die vorhergehenden Tokens. Dies verschiebt das Verhalten des Modells in Richtung der Ziel-Domäne, während die allgemeine Kompetenz, die es während des Vortrainings gelernt hat, erhalten bleibt.
Formel
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})Für die Befolgung von Anweisungen wird das Modell mithilfe von Reinforcement Learning aus menschlichem Feedback (RLHF) oder direkter Präferenzoptimierung (DPO) weiter an menschliche Präferenzen angepasst, sodass seine Ausgaben besser mit den Anweisungen und Erwartungen übereinstimmen, die Menschen ihm geben.
Häufige Fallstricke
- Feinabstimmung mit zu wenigen Beispielen und Vertrauen auf die flüssig aussehende, aber überangepasste Ausgabe.
- Überspringen der sauberen Prompt-Completion-Formatierung der Trainingsdaten.
- Annahme, dass RLHF/DPO-Anpassung optional ist, wenn die Befolgung von Anweisungen das Ziel ist.
- Greifen zur GPT-Feinabstimmung, wenn ein Random Forest oder XGBoost bei einem kleinen Datensatz zuverlässiger wäre.
Häufig gestellte Fragen
Wie viele Daten benötige ich, um ein GPT-Modell feinabzustimmen?
Mehr ist dringend bevorzugt. Unter etwa 500 Beispielen neigt das Modell zum Überanpassen und die generative Qualität sinkt; unter etwa 50 Beispielen liefert die Feinabstimmung keine aussagekräftigen Ergebnisse, und ein einfacheres Modell wie Random Forest oder XGBoost ist sicherer.
Was ist der Unterschied zwischen Feinabstimmung und RLHF/DPO?
Feinabstimmung setzt das Training mit Domänen- oder Aufgabendaten fort, um den Sprachmodellierungsverlust zu minimieren. RLHF und DPO sind Anpassungsschritte, die das Modell weiter an menschliche Präferenzen anpassen, damit es Anweisungen befolgt und den erwarteten Antwortstil liefert.
Benötige ich eine GPU?
Oft ja. Die Feinabstimmung großer autoregressiver Modelle ist rechenintensiv und eine GPU oder TPU kann je nach Modellgröße und Aufgabe erforderlich sein.
Wie soll ich meine Daten formatieren?
Bereiten Sie sie im Prompt-Completion-Format vor – jedes Beispiel koppelt einen Eingabe-Prompt mit der gewünschten Modellausgabe – vor der Feinabstimmung.
Verwandte Methoden
Quellen
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
Publikationsreferenz öffnenKopiert.Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
DOI-Referenz öffnenKopiert.