Dostrajanie GPT
- Autor metody
- Radford, A. et al. (OpenAI)
- Rok
- 2019
- Typ
- Fine-tuning of pretrained autoregressive language models
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Dostrajanie GPT polega na adaptacji wstępnie wytrenowanych autoregresywnych modeli językowych, takich jak GPT-2/3/4 lub LLaMA — wprowadzonych w pracy OpenAI z 2019 roku przez Radfoda i współpracowników — do danych specyficznych dla danej dziedziny lub do podążania za instrukcjami za pomocą uczenia ze wzmocnieniem na podstawie informacji zwrotnej od człowieka (RLHF) lub DPO.
Jest ono wykorzystywane do podążania za instrukcjami, adaptacji domenowej i zadań generatywnych.
Intuicja stojąca za metodą
Duży model językowy nauczył się już gramatyki, faktów i wzorców rozumowania na podstawie ogromnego korpusu tekstowego, dlatego rzadko trzeba trenować od zera. Dostrajanie bierze ten wstępnie wytrenowany model i kieruje go w stronę własnego zadania — słownictwa danej dziedziny, preferowanego stylu odpowiedzi, instrukcji — poprzez kontynuowanie treningu na znacznie mniejszym, specyficznym dla zadania zestawie przykładów par prompt-odpowiedź.
Historia
Dostrajanie GPT opiera się na autoregresyjnych modelach językowych opisanych przez Radfoda i współpracowników w raporcie OpenAI z 2019 roku, który pokazał, że duże modele językowe zachowują się jako nienadzorowane uczące się wielu zadań. Ouyang i współpracownicy (2022) wprowadzili następnie trening z informacją zwrotną od człowieka (RLHF), dzięki czemu modele znacznie pewniej podążają za instrukcjami i kształtują paradygmat adaptacji do instrukcji używany dzisiaj.
Kiedy stosować
Używaj dostrajania GPT do klasyfikacji tekstu, predykcji lub generowania, gdy masz dostępny wstępnie wytrenowany model z rodziny GPT, Twoje dane są przygotowane w formacie prompt-odpowiedź, a odpowiednie zasoby obliczeniowe (GPU/TPU) są dostępne. Nie zakłada ono normalnego rozkładu danych. Większy zestaw danych jest zdecydowanie preferowany: poniżej około 500 przykładów model ma tendencję do przeuczenia, a jakość generowania spada; poniżej około 50 przykładów dostrajanie nie przyniesie znaczących rezultatów — prostsze modele, takie jak las losowy czy XGBoost, są tam bezpieczniejsze.
Ograniczenia i uwagi
- Wymaga wstępnie wytrenowanego modelu GPT i zazwyczaj zasobów obliczeniowych GPU/TPU.
- Dane muszą być starannie przygotowane w formacie prompt-odpowiedź.
- Na małych zestawach danych (poniżej około 500 przykładów) model ulega przeuczeniu, a jakość generowania spada.
- Przy bardzo małej ilości danych (poniżej około 50 przykładów) dostrajanie nie daje znaczących wyników.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Opiera się na szerokiej wiedzy już uchwyconej podczas wielkoskalowego wstępnego treningu, dzięki czemu potrzeba znacznie mniej danych zadaniowych niż przy trenowaniu od zera.
- Obsługuje klasyfikację tekstu, predykcję i otwarte zadania generatywne w ramach jednego frameworka.
- Niewielkie założenia: nie wymaga danych o normalnym rozkładzie.
- Dopasowanie RLHF lub DPO pozwala modelowi podążać za instrukcjami i odpowiadać preferencjom ludzkim.
Zastosowania
- Adaptacja domenowa ogólnego modelu językowego do specjalistycznego tekstu.
- Podążanie za instrukcjami i generowanie w stylu asystenta.
- Zadania klasyfikacji i predykcji tekstu na danych tekstowych.
- Zadania generatywne, w których wymagany jest płynny, dopasowany do zadania tekst wyjściowy.
Jak to działa
Jak to działa
Zaczynasz od wstępnie wytrenowanego modelu z rodziny GPT, który już posiada szeroką wiedzę językową. Zestaw danych do dostrajania jest przygotowywany w formacie prompt-odpowiedź, a w zależności od zadania i sprzętu może być wymagany procesor graficzny (GPU) lub jednostka TPU.
Model kontynuuje trening na danych zadaniowych, minimalizując stratę językowego modelowania autoregresywnego — ujemną logarytmiczną wiarygodność każdego kolejnego tokenu w oparciu o poprzednie tokeny. Przesuwa to zachowanie modelu w kierunku docelowej dziedziny, jednocześnie zachowując ogólną kompetencję nabytą podczas wstępnego treningu.
Wzór
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})W celu podążania za instrukcjami, model jest dalej dopasowywany do preferencji ludzkich za pomocą uczenia ze wzmocnieniem na podstawie informacji zwrotnej od człowieka (RLHF) lub bezpośredniej optymalizacji preferencji (DPO), dzięki czemu jego wyniki lepiej odpowiadają podawanym przez ludzi instrukcjom i oczekiwaniom.
Częste pułapki
- Dostrajanie na zbyt małej liczbie przykładów i poleganie na płynnie wyglądających, ale przeuczonych wynikach.
- Pomijanie czystego formatowania prompt-odpowiedź dla danych treningowych.
- Zakładanie, że dopasowanie RLHF/DPO jest opcjonalne, gdy celem jest podążanie za instrukcjami.
- Sięganie po dostrajanie GPT, gdy las losowy lub XGBoost byłyby bardziej niezawodne na małym zbiorze danych.
Najczęściej zadawane pytania
Ile danych potrzebuję do dostrojenia modelu GPT?
Więcej jest zdecydowanie preferowane. Poniżej około 500 przykładów model ma tendencję do przeuczenia i spada jakość generowania; poniżej około 50 przykładów dostrajanie nie przyniesie znaczących rezultatów, a prostszy model, taki jak las losowy czy XGBoost, jest bezpieczniejszy.
Jaka jest różnica między dostrajaniem a RLHF/DPO?
Dostrajanie kontynuuje trening na danych domenowych lub zadaniowych w celu minimalizacji straty modelowania językowego. RLHF i DPO to etapy dopasowania, które dalej dostrajają model do preferencji ludzkich, aby podążał za instrukcjami i generował oczekiwany styl odpowiedzi.
Czy potrzebuję GPU?
Często tak. Dostrajanie dużych modeli autoregresyjnych jest zasobochłonne obliczeniowo i może być wymagany procesor graficzny (GPU) lub jednostka TPU, w zależności od rozmiaru modelu i zadania.
Jak powinienem sformatować moje dane?
Przygotuj je w formacie prompt-odpowiedź — każdy przykład paruje wprowadzający prompt z pożądanym wyjściem modelu — przed dostrajaniem.
Pokrewne metody
Źródła
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.
Otwórz odnośnik do publikacjiSkopiowano.Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
Otwórz odnośnik DOISkopiowano.