Dostrojona sieć LSTM
- Autor metody
- Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
- Rok
- 2018 (fine-tuning paradigm formalised); LSTM core: 1997
- Typ
- Supervised sequential model with transfer learning
- Rodzina
- Deep learning / NLP / CV
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Dostrojona sieć LSTM adaptuje wstępnie wytrenowaną sieć Long Short-Term Memory na dużym korpusie do konkretnego zadania końcowego — takiego jak klasyfikacja tekstu, analiza sentymentu lub etykietowanie sekwencji — poprzez kontynuowanie treningu na danych oznakowanych specyficznych dla zadania.
Spopularyzowane przez framework ULMFiT, podejście to osiąga silną wydajność nawet przy ograniczonej liczbie danych oznakowanych.
Intuicja stojąca za metodą
Trenowanie sieci LSTM od zera na małym zbiorze danych oznakowanych często daje słabe wyniki, ponieważ sieć musi jednocześnie nauczyć się zarówno struktury języka, jak i zadania. Dostrajanie rozdziela te kwestie: duży nieoznakowany korpus uczy sieć ogólnych reprezentacji sekwencyjnych, a mały zbiór oznakowany następnie kieruje te reprezentacje w stronę docelowego zadania. Wstępnie wytrenowane wagi służą jako kompetentny punkt wyjścia, dzięki czemu aktualizacje gradientów podczas dostrajania dokonują ukierunkowanych dostosowań, zamiast uczyć się wszystkiego od losowej inicjalizacji.
Historia
Architektura LSTM została wprowadzona przez Hochreitera i Schmidhubera w 1997 roku w celu rozwiązania problemu zanikającego gradientu w sieciach rekurencyjnych. Dostrajanie wstępnie wytrenowanych sieci LSTM do NLP stało się powszechne dzięki ULMFiT (2018) Howarda i Rudera, który wykazał, że trójstopniowy trening — wstępny trening modelu językowego, adaptacja obszaru i dostrajanie zadania — dramatycznie zmniejszył ilość danych oznakowanych potrzebnych do silnej klasyfikacji tekstu. ULMFiT wpłynął na kolejną falę dostrajania wstępnie wytrenowanych Transformerów (BERT, GPT), które obecnie dominują w benchmarkach NLP.
Kiedy stosować
Dostrojona sieć LSTM jest odpowiednia, gdy masz dane sekwencyjne lub tekstowe, ograniczone przykłady oznakowane specyficzne dla zadania (od dziesiątek do kilku tysięcy) oraz dostęp do wstępnie wytrenowanego modelu językowego LSTM lub możliwość jego załadowania. Doskonale sprawdza się w klasyfikacji tekstu, analizie sentymentu i etykietowaniu sekwencji, gdzie pełne modele Transformer są zbyt zasobochłonne lub długości sekwencji są umiarkowane. Unikaj jej, gdy dane oznakowane są obfite i możliwe jest trenowanie od zera, gdy obszar docelowy jest wysoce techniczny i nie istnieje odpowiedni wstępnie wytrenowany model, lub gdy zadanie wymaga bardzo długoterminowych zależności, które Transformery lepiej obsługują. W przypadku dużych korpusów oznakowanych, dostrajanie modeli opartych na BERT zazwyczaj przewyższa podejścia oparte na LSTM.
Ograniczenia i uwagi
- Wydajność w zadaniach tekstowych jest generalnie niższa niż w przypadku dostrojonych modeli Transformer (BERT, RoBERTa), gdy pozwala na to moc obliczeniowa.
- Jakość zależy w dużej mierze od trafności korpusu wstępnego treningu dla obszaru docelowego.
- Trening LSTM jest z natury sekwencyjny i nie jest równoległy w krokach czasowych, co sprawia, że wstępny trening jest powolny na długich sekwencjach.
- Stopniowe odblokowywanie i dyskryminacyjne współczynniki uczenia się wprowadzają dodatkowe hiperparametry wymagające starannego dostrojenia.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Skuteczna w reżimach z małą ilością danych: wstępnie wytrenowane reprezentacje kompensują ograniczoną liczbę oznakowanych przykładów.
- Niższy koszt obliczeniowy niż dostrajanie dużych modeli Transformer na sprzęcie tylko z CPU lub z ograniczoną pamięcią.
- Stopniowe odblokowywanie i dyskryminacyjne współczynniki uczenia się zmniejszają katastrofalne zapominanie wstępnie wytrenowanej wiedzy.
- Naturalnie obsługuje sekwencje o zmiennej długości bez mechanizmów uwagi obciążonych paddingiem.
- Dobrze nadaje się do wnioskowania strumieniowego lub w czasie rzeczywistym ze względu na sekwencyjny charakter obliczeń LSTM.
Zastosowania
- Klasyfikacja tekstu z ograniczoną liczbą danych oznakowanych (sentyment, temat, intencja).
- Zadania etykietowania sekwencji, takie jak rozpoznawanie jednostek nazwanych i tagowanie części mowy.
- Wykrywanie anomalii i prognozowanie szeregów czasowych, gdy dostępne są wstępnie wytrenowane sieci LSTM specyficzne dla obszaru.
- NLP dla języków niskoresursowych, gdzie wstępnie wytrenowane modele Transformer są niedostępne.
- Scenariusze wdrażania na urządzeniach brzegowych lub wbudowanych wymagające mniejszych modeli sekwencyjnych niż pełne Transformery.
- Iteracyjne potoki adaptacji obszaru, w których ogólna sieć LSTM jest stopniowo specjalizowana dla nowych obszarów.
Jak to działa
Jak to działa
Wielowarstwowa sieć LSTM jest najpierw trenowana jako model językowy na dużym korpusie ogólnego przeznaczenia (np. WikiText-103) w celu przewidywania następnego tokenu w sekwencji. Ta faza wszczepia bogate reprezentacje sekwencyjne i semantyczne w stany ukryte, nie wymagając żadnych etykiet zadania.
Podczas adaptacji do nowego obszaru warstwy są stopniowo odblokowywane, zaczynając od warstwy wyjściowej do wewnętrznych — technika zwana stopniowym odblokowywaniem. Zapobiega to katastrofalnemu zapominaniu wstępnie wytrenowanych reprezentacji, pozwalając wcześniejszym warstwom na aktualizację dopiero po ustabilizowaniu się późniejszych warstw na nowym zadaniu.
Do końcowego stanu ukrytego sieci LSTM dołączana jest specyficzna dla zadania głowica wyjściowa (np. klasyfikator softmax, warstwa CRF do etykietowania sekwencji lub głowica regresji). Ta głowica jest trenowana najpierw, podczas gdy ciało sieci LSTM jest zamrożone, a następnie cała sieć jest dostrajana end-to-end.
Dyskryminacyjne dostrajanie przypisuje różne współczynniki uczenia się każdej warstwie LSTM — niższe dla wcześniejszych warstw, które przechowują ogólne cechy, i wyższe dla późniejszych warstw bliżej zadania. Howard i Ruder zaproponowali dzielenie współczynnika uczenia się przez czynnik 2,6 na warstwę, idąc od wyjścia do wejścia.
Wzór
\eta_l = \eta_{L} / (2.6)^{L - l}Całkowicie odblokowana sieć jest trenowana na oznakowanym zbiorze docelowym, zazwyczaj z ukośnym trójkątnym harmonogramem współczynnika uczenia się, który krótko rośnie, a następnie maleje. Wydajność jest oceniana na wydzielonym zbiorze walidacyjnym przy użyciu metryk odpowiednich dla zadania (dokładność, F1, AUROC itp.), a najlepszy punkt kontrolny jest wybierany.
Częste pułapki
- Pominięcie stopniowego odblokowywania i jednoczesne dostrajanie wszystkich warstw, powodujące katastrofalne zapominanie wstępnie wytrenowanych reprezentacji.
- Użycie wstępnie wytrenowanego modelu z niedopasowanego obszaru (np. ogólny tekst internetowy dla wysoce technicznych sekwencji biomedycznych) bez pośredniej adaptacji obszaru.
- Ocena tylko na podziale treningowym lub brak monitorowania straty walidacyjnej w celu wykrycia przetrenowania na małych zbiorach docelowych.
- Ustawienie jednolitego współczynnika uczenia się dla wszystkich warstw LSTM zamiast stosowania dyskryminacyjnych stawek.
- Ignorowanie niezbalansowania klas w głowicy klasyfikacyjnej, prowadzące do zawyżonej dokładności dla klasy większościowej.
Najczęściej zadawane pytania
Czy dostrojona sieć LSTM jest nadal konkurencyjna w porównaniu z modelami opartymi na BERT?
Dla większości benchmarków NLP, dostrojone modele Transformer przewyższają dostrojone sieci LSTM, gdy pozwala na to moc obliczeniowa. Jednak dostrojone sieci LSTM pozostają konkurencyjne na małych zbiorach danych, w środowiskach z ograniczonymi zasobami i w zadaniach wnioskowania strumieniowego, gdzie sekwencyjne obliczenia LSTM stanowią zaletę.
Jakiego wstępnie wytrenowanego LSTM powinienem użyć?
Dla angielskiego NLP, wagi AWD-LSTM wytrenowane na WikiText-103 (wydane przez autorów ULMFiT za pośrednictwem fastai) są standardowym punktem wyjścia. W przypadku zadań specyficznych dla obszaru, pośredni wstępny trening obszaru na nieoznakowanym tekście z danego obszaru przed dostrajaniem zadania zazwyczaj przynosi znaczące zyski.
Ile epok jest zazwyczaj potrzebnych do dostrajania?
Dostrajanie specyficzne dla zadania zazwyczaj wymaga tylko 2-10 epok na zbiorze danych oznakowanych. Uważnie monitoruj stratę walidacyjną; sieci LSTM mogą szybko ulec przetrenowaniu na małych zbiorach oznakowanych. Zdecydowanie zaleca się wczesne zatrzymanie oparte na walidacyjnym F1 lub stracie.
Jaka jest różnica między dostrajaniem a trenowaniem sieci LSTM z uczeniem transferowym?
Terminy często się nakładają, ale dostrajanie odnosi się konkretnie do aktualizacji wstępnie wytrenowanych wag (nawet jeśli selektywnie), podczas gdy uczenie transferowe czasami opisuje zamrożenie wszystkich wstępnie wytrenowanych warstw i trenowanie tylko głowicy zadania. Pełne dostrajanie ze stopniowym odblokowywaniem konsekwentnie przewyższa podejście z zamrożonym ciałem.
Kiedy powinienem preferować dostrojony Transformer zamiast dostrojonej sieci LSTM?
Preferuj dostrojony Transformer (np. BERT), gdy masz zasoby GPU, zadanie obejmuje długoterminowe zależności lub złożone rozumienie kontekstowe, a dostępne są duże wstępnie wytrenowane punkty kontrolne dla Twojego obszaru. Wybierz dostrojoną sieć LSTM, gdy sprzęt jest ograniczony, sekwencje są krótkie do średniej długości, lub opóźnienie wnioskowania na urządzeniach brzegowych jest ograniczeniem.
Pokrewne metody
Źródła
Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.
Otwórz odnośnik DOISkopiowano.Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
Otwórz odnośnik DOISkopiowano.