LoRA i PEFT
- Autor metody
- Hu, E. J. et al.; Lester, B. et al.
- Rok
- 2022
- Typ
- Parameter-efficient fine-tuning of large pretrained models
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
LoRA (Low-Rank Adaptation), wprowadzona przez Hu i wsp. w 2022 r., oraz szersza rodzina metod efektywnego dostrajania parametrów (PEFT, parameter-efficient fine-tuning) adaptują duże wstępnie wytrenowane modele językowe do nowych zadań, trenując jedynie niewielką liczbę dodatkowych parametrów zamiast każdej wagi w modelu.
Umożliwia to dostrajanie przy znacznie mniejszym zużyciu pamięci GPU i mocy obliczeniowej, pozostawiając oryginalny model w dużej mierze nietknięty.
Intuicja stojąca za metodą
Pełne dostrajanie dużego modelu językowego oznacza aktualizację miliardów wag, co jest kosztowne pod względem pamięci i mocy obliczeniowej oraz generuje pełną kopię modelu dla każdego zadania. Kluczową ideą stojącą za LoRA jest to, że zmiana wymagana przez zadanie jest zazwyczaj niskiego rzędu (low-rank): można ją uchwycić za pomocą małej pary macierzy zamiast gęstej aktualizacji każdej wagi. Metody PEFT wykorzystują to, zamrażając oryginalny model i trenując jedynie niewielki zestaw nowych parametrów, dzięki czemu pojedynczy model bazowy można tanio specjalizować do wielu zadań.
Historia
LoRA została wprowadzona przez Hu i wsp. w 2022 r., proponując, że aktualizacja wag potrzebna do adaptacji dużego modelu językowego może być reprezentowana jako dekompozycja niskiego rzędu trenowana zamiast pełnego dostrajania. Opierała się na wcześniejszych pomysłach efektywności parametrów, w tym prompt tuningu Lestera i wsp. (2021), który pokazał, że dostosowanie tylko niewielkiego zestawu parametrów miękkiego promptu staje się coraz bardziej konkurencyjne wraz ze wzrostem skali modelu. Łącznie metody te ustanowiły efektywne dostrajanie parametrów jako standardowy sposób taniej specjalizacji dużych wstępnie wytrenowanych modeli.
Kiedy stosować
Używaj LoRA i PEFT, gdy chcesz zaadaptować duży wstępnie wytrenowany model językowy do specyficznego zadania klasyfikacji lub predykcji tekstu, ale nie stać Cię na pamięć i moc obliczeniową pełnego dostrajania. Musi być dostępny duży wstępnie wytrenowany model, należy przygotować dane specyficzne dla zadania, a zalecane jest użycie GPU. Metody te działają najlepiej z obszernym zestawem danych zadania; przy bardzo małych zestawach danych (poniżej kilkuset przykładów) adaptacja ma tendencję do przetrenowania, a prostszy model, taki jak las losowy lub gradient boosting, jest bezpieczniejszy.
Ograniczenia i uwagi
- Wymaga dużego wstępnie wytrenowanego modelu jako punktu wyjścia; nie trenuje modelu od zera.
- Zalecane jest użycie GPU, a dane specyficzne dla zadania muszą być przygotowane z wyprzedzeniem.
- Na małych zestawach danych zadania (poniżej około 500 przykładów) dostrajanie może nie zapewnić wystarczającej adaptacji i grozi przetrenowaniem.
- Przy bardzo małej ilości danych zadania (poniżej około 50 przykładów) nawet efektywne dostrajanie parametrów staje się bezcelowe.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Drastycznie niższe zużycie pamięci GPU i mocy obliczeniowej niż w przypadku pełnego dostrajania, ponieważ trenowany jest tylko niewielki zestaw parametrów.
- Oryginalny wstępnie wytrenowany model jest zamrażany i ponownie wykorzystywany w różnych zadaniach, dzięki czemu pojedynczy model bazowy może być wielokrotnie specjalizowany.
- Nauczona aktualizacja niskiego rzędu może zostać połączona z powrotem z wagami, nie dodając narzutu podczas wnioskowania.
- Obejmuje rodzinę opcji — LoRA, prefix tuning, prompt tuning — dzięki czemu adaptacja może być umieszczona tam, gdzie działa najlepiej.
Zastosowania
- Adaptacja dużego wstępnie wytrenowanego modelu językowego do specyficznego zadania klasyfikacji tekstu w danej dziedzinie.
- Specjalizacja jednego modelu bazowego do wielu zadań bez przechowywania pełnej kopii na zadanie.
- Dostrajanie w warunkach ograniczonej pamięci GPU, gdzie pełne dostrajanie jest niewykonalne.
- Zadania predykcji tekstu, które opierają się na istniejącym wstępnie wytrenowanym modelu językowym.
Jak to działa
Jak to działa
Duży model, który został już wstępnie wytrenowany, jest traktowany jako stały punkt wyjścia. Zamiast dostrajać wszystkie jego wagi, oryginalne parametry są zamrażane, a jedynie niewielki zestaw dodatkowych parametrów jest wprowadzany i trenowany dla docelowego zadania. LoRA, prefix tuning i prompt tuning to główne metody w tej rodzinie, z których każda dodaje parametry w innym miejscu.
W LoRA aktualizacja zamrożonej macierzy wag jest ograniczona do niskiego rzędu: jest zapisywana jako iloczyn dwóch małych macierzy, więc trenowane są tylko te małe macierze, podczas gdy oryginalne wagi pozostają niezmienione. Ponieważ rząd jest znacznie mniejszy niż wymiary wag, liczba trenowalnych parametrów drastycznie spada, co obniża koszt pamięci i mocy obliczeniowej dostrajania.
Wzór
W = W_0 + \Delta W = W_0 + BA,\quad B \in \mathbb{R}^{d\times r},\ A \in \mathbb{R}^{r\times k},\ r \ll \min(d,k)Tylko małe dodane parametry są optymalizowane na danych specyficznych dla zadania, przy użyciu znacznie mniejszej ilości pamięci GPU niż pełne dostrajanie. Model bazowy jest ponownie wykorzystywany bez zmian w różnych zadaniach, a nauczona aktualizacja niskiego rzędu może zostać połączona z powrotem z wagami do wnioskowania. Zalecane jest użycie GPU i potrzebny jest zestaw danych zadania o rozsądnych rozmiarach, aby adaptacja była znacząca.
Częste pułapki
- Stosowanie LoRA/PEFT do maleńkiego zbioru danych i oczekiwanie wiarygodnej adaptacji zamiast powrotu do klasycznego modelu.
- Traktowanie efektywnego dostrajania parametrów jako substytutu posiadania odpowiedniego wstępnie wytrenowanego modelu bazowego.
- Ignorowanie ryzyka przetrenowania na małych danych zadania zamiast monitorowania wydajności walidacyjnej.
- Zakładanie, że metoda eliminuje potrzebę posiadania GPU, gdy jest ona zalecana.
Najczęściej zadawane pytania
Jaka jest różnica między LoRA a PEFT?
PEFT (parameter-efficient fine-tuning) to szeroka rodzina metod, które adaptują duży model, trenując tylko niewielką liczbę dodatkowych parametrów. LoRA jest jedną konkretną metodą PEFT, która trenuje aktualizację niskiego rzędu do wag; prefix tuning i prompt tuning to inne elementy tej samej rodziny.
Ile danych potrzebuję?
Metody te wymagają zestawu danych zadania o rozsądnych rozmiarach. Poniżej około 500 przykładów adaptacja może być niewystarczająca i podatna na przetrenowanie, a poniżej około 50 przykładów efektywne dostrajanie parametrów staje się bezcelowe — lepszym wyborem jest wtedy klasyczny model.
Czy potrzebuję GPU?
Zalecane jest użycie GPU. Chociaż metody PEFT zużywają znacznie mniej pamięci niż pełne dostrajanie, trenowanie dodatkowych parametrów na dużym wstępnie wytrenowanym modelu nadal znacząco korzysta z akceleracji GPU.
Dlaczego aktualizacja jest niskiego rzędu?
Zmiana wymagana do adaptacji wstępnie wytrenowanego modelu do nowego zadania może zazwyczaj zostać uchwycona przez małą korektę niskiego rzędu, a nie przez gęstą aktualizację każdej wagi. Przedstawienie jej jako iloczynu dwóch małych macierzy powoduje drastyczne zmniejszenie liczby trenowalnych parametrów — i kosztów.
Pokrewne metody
Źródła
Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR.
Otwórz odnośnik do publikacjiSkopiowano.Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP.
Otwórz odnośnik DOISkopiowano.