Przejdź do treści
Wróć do wyników wyszukiwania

Transfer Learning z LSTM

Autor metody
Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
Rok
2018 (ULMFiT; concept since ~2010)
Typ
Transfer learning / Sequential model
Rodzina
Deep learning / NLP / CV

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Transfer Learning z LSTM to technika, w której sieć typu Long Short-Term Memory (LSTM) jest najpierw wstępnie trenowana na dużym korpusie źródłowym lub zadaniu, a następnie jej nauczone wagi są przenoszone i dostrajane do mniejszego zadania docelowego.

To podejście, spopularyzowane przez ULMFiT (Howard & Ruder, 2018), pozwala modelom opartym na LSTM osiągnąć silną wydajność nawet przy niewielkiej ilości oznakowanych danych docelowych.

Intuicja stojąca za metodą

Trenowanie LSTM od zera na małym zbiorze danych jest ryzykowne: model rzadko uczy się ogólnych wzorców językowych lub sekwencyjnych i łatwo ulega przeuczeniu. Transfer learning omija ten problem, trenując najpierw LSTM na obfitych danych — często z celem modelowania języka na dużym korpusie tekstowym — tak, aby jego stany ukryte już kodowały bogate reprezentacje gramatyki, kontekstu i znaczenia. Kiedy następnie dostraja się te wagi do konkretnego zadania, model szybko się adaptuje, ponieważ zaczyna z o wiele lepszej pozycji niż losowa inicjalizacja, podobnie jak ekspert, który potrzebuje jedynie krótkiego wprowadzenia, a nie pełnego programu szkoleniowego.

Historia

Ogólna koncepcja transferu uczenia dla sieci neuronowych została sformalizowana przez Pan & Yang (2010). Jej praktyczne zastosowanie do sieci rekurencyjnych zyskało szeroką uwagę dzięki ULMFiT (Howard & Ruder, 2018), który wykazał, że trójstopniowy reżim treningowy LSTM — ogólne modelowanie języka, modelowanie języka w domenie docelowej, dostrajanie klasyfikatora — może dorównać lub przewyższyć znacznie większe modele nadzorowane w benchmarkach klasyfikacji tekstu. Sukces ULMFiT poprzedził i bezpośrednio wpłynął na paradygmat pre-treningu ery Transformerów (BERT, GPT) i pozostaje kanonicznym odniesieniem dla transferu uczenia sekwencyjnego.

Kiedy stosować

Używaj Transfer Learning z LSTM, gdy masz zadanie modelowania sekwencyjnego — klasyfikacja tekstu, analiza sentymentu, rozpoznawanie jednostek nazwanych, prognozowanie szeregów czasowych — ale tylko mały oznakowany zbiór danych. Jest to szczególnie skuteczne w zadaniach NLP, gdzie istnieje wstępnie wytrenowany model językowy dla języka źródłowego lub docelowego, oraz gdy adaptacja domeny (nieoznakowane teksty z domeny docelowej) jest wykonalna. Unikaj tego, gdy domena sekwencji różni się tak radykalnie od korpusu pre-treningowego, że prawdopodobny jest negatywny transfer, gdy wymagana jest interpretowalność poszczególnych stanów rekurencyjnych (preferuj prostsze modele) lub gdy dostępne są alternatywy oparte na Transformerach, takie jak dostrajanie BERT, a zbiór danych jest tekstowy (Transformery zazwyczaj przewyższają LSTM w NLP od 2019 roku).

Ograniczenia i uwagi

  • Metody transferu oparte na Transformerach (BERT, RoBERTa) w dużej mierze wyparły LSTM w zadaniach NLP, często zapewniając wyższą dokładność.
  • Trening LSTM jest sekwencyjny i nie może być łatwo zrównoleglony, co sprawia, że pre-trening na bardzo dużych korpusach jest powolny.
  • Może wystąpić negatywny transfer, jeśli domeny źródłowa i docelowa są niedopasowane, degradując wydajność poniżej baseline trenowanego od zera.
  • Wymaga odpowiedniego wstępnie wytrenowanego punktu kontrolnego LSTM; dla rzadkich języków lub bardzo specjalistycznych domen taki punkt kontrolny może nie istnieć.
  • Stabilność dostrajania może być wrażliwa na współczynnik uczenia i harmonogram zamrażania, wymagając starannego wyszukiwania hiperparametrów.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Dramatycznie zmniejsza zapotrzebowanie na oznakowane dane w porównaniu do trenowania od zera.
  • Uchwyca dalekosiężne zależności sekwencyjne, których brakuje w modelach typu bag-of-words i płytkich modelach.
  • Wagi wstępnie wytrenowane zapewniają silną inicjalizację, prowadząc do szybszej zbieżności i lepszej generalizacji.
  • Ma zastosowanie zarówno do danych sekwencyjnych NLP, jak i nielingwistycznych (szeregi czasowe, mowa, genomika).
  • Stopniowe odblokowywanie i dyskryminacyjne współczynniki uczenia (ULMFiT) oferują kontrolowane dostrajanie.
  • Interpretowalne reprezentacje pośrednie w porównaniu do wielu architektur Transformer.

Zastosowania

  • Klasyfikacja tekstu (analiza sentymentu, kategoryzacja tematów, kategoryzacja wiadomości).
  • Rozpoznawanie jednostek nazwanych i etykietowanie sekwencji przy ograniczonych korpusach anotowanych.
  • Wykrywanie anomalii i prognozowanie szeregów czasowych, gdy dostępne są wagi wstępnie wytrenowane z podobnych szeregów.
  • NLP w warunkach niskich zasobów dla języków z ograniczoną ilością danych anotowanych, ale dostępnymi korpusami nieanotowanymi.
  • Klasyfikacja notatek klinicznych i analiza sekwencji biomedycznych z adaptowanymi do domeny punktami kontrolnymi LSTM.
  • Modelowanie sekwencji mowy i dźwięku, gdy dostępny jest pre-trening akustyczny.

Jak to działa

Jak to działa

1

LSTM jest trenowany na dużym źródłowym zbiorze danych przy użyciu ogólnego celu, najczęściej modelowania języka (przewidywania następnego tokenu). Ta faza uczy sieć ogólnych reprezentacji sekwencji — struktury składniowej, powszechnych współwystąpień, dalekosiężnych zależności — bez żadnego nadzoru specyficznego dla zadania. Wynikowe wagi służą jako inicjalizacja dla zadań pochodnych.

2

Przed dostrojeniem do oznakowanego zadania docelowego, wstępnie wytrenowany LSTM jest opcjonalnie adaptowany do domeny docelowej poprzez kontynuowanie treningu modelu językowego na nieoznakowanych tekstach z domeny docelowej. Ten krok adaptacji domeny, szeroko stosowany w ULMFiT, zawęża lukę w słownictwie i stylu między korpusami źródłowym a docelowym, często przynosząc znaczące zyski w dokładności przy niskich kosztach.

3

Aby uniknąć zniszczenia wstępnie wytrenowanych reprezentacji, warstwy są zazwyczaj początkowo zamrożone, a następnie stopniowo odblokowywane, od góry (specyficzne dla zadania) do dołu (ogólne). ULMFiT wprowadził stopniowe odblokowywanie i dyskryminacyjne dostrajanie, gdzie niższe warstwy otrzymują mniejsze współczynniki uczenia niż wyższe warstwy, chroniąc ogólne cechy, jednocześnie pozwalając na adaptację specyficzną dla zadania.

4

Na szczycie LSTM dodawana jest głowica specyficzna dla zadania (np. klasyfikator softmax dla klasyfikacji tekstu lub warstwa regresji dla przewidywania wartości z sekwencji). Cała sieć — lub odblokowana część — jest następnie trenowana end-to-end na oznakowanych danych docelowych przy użyciu małego współczynnika uczenia i często z zastosowaniem harmonogramu uczenia typu slanted triangular learning rate w celu stabilizacji zbieżności.

5

Wydajność jest oceniana na wydzielonym zbiorze testowym przy użyciu metryk odpowiednich dla zadania (dokładność, F1, AUC dla klasyfikacji; RMSE lub MAE dla regresji). Ponieważ oznakowane dane są rzadkie w typowych ustawieniach transferu, silnie zalecana jest stratyfikowana walidacja krzyżowa k-krotna. Porównanie z baseline LSTM trenowanym od zera kwantyfikuje zysk z transferu.

Częste pułapki

  • Używanie tego samego wysokiego współczynnika uczenia dla wszystkich warstw podczas dostrajania, co prowadzi do katastrofalnego zapominania wstępnie wytrenowanych reprezentacji.
  • Pomijanie adaptacji domeny, gdy domena docelowa znacząco różni się od korpusu pre-treningowego.
  • Ocena tylko na podzbiorze testowym i raportowanie dokładności wewnątrzzbiorowej jako ostatecznego wyniku.
  • Ignorowanie niezbalansowania klas w zadaniu docelowym bez ponownego ważenia lub nadpróbkowania.
  • Wybieranie transferu LSTM, gdy dostępny jest wstępnie wytrenowany Transformer dla tego samego języka lub domeny — koszt alternatywny jest znaczący.

Najczęściej zadawane pytania

Kiedy powinienem preferować transfer uczenia LSTM nad dostrajaniem BERT?

Preferuj transfer LSTM dla nielingwistycznych danych sekwencyjnych (szeregi czasowe, mowa, genomika) lub gdy zasoby obliczeniowe są mocno ograniczone, ponieważ LSTM są lżejsze niż duże Transformery. W przypadku standardowych zadań NLP z tekstem angielskim, modele z rodziny BERT prawie zawsze przewyższają LSTM i powinny być domyślnym wyborem.

Ile warstw powinienem zamrozić na początku dostrajania?

Częstą strategią (z ULMFiT) jest początkowe zamrożenie wszystkich warstw oprócz górnej głowicy klasyfikatora, a następnie stopniowe odblokowywanie jednej warstwy na raz od góry do dołu w kolejnych epokach. Chroni to ogólne reprezentacje niższych warstw, jednocześnie adaptując cechy wyższego poziomu do zadania docelowego.

Co jeśli nie istnieje wstępnie wytrenowany LSTM dla mojej domeny lub języka?

Można wstępnie wytrenować własny model językowy LSTM na dowolnym dużym, nieanotowanym korpusie w swojej domenie lub języku. Nawet stosunkowo mały korpus domenowy (kilka milionów tokenów) zapewnia lepszą inicjalizację niż losowe wagi, zwłaszcza w przypadku specjalistycznego słownictwa.

Czy mogę zastosować to do szeregów czasowych, a nie tylko do tekstu?

Tak. Transfer Learning z LSTM jest dobrze ugruntowany dla szeregów czasowych: sieć wstępnie wytrenowana na dużej kolekcji powiązanych sekwencji (np. zużycie energii elektrycznej lub sygnały EKG) może być dostrajana do mniejszego szeregu docelowego, często przewyższając baseline LSTM trenowany od zera przy znacznie mniejszej ilości danych docelowych.

Skąd mam wiedzieć, czy występuje negatywny transfer?

Porównaj wydajność dostrojonego modelu z baseline LSTM trenowanym tylko na danych docelowych. Jeśli przeniesiony model działa gorzej, prawdopodobnie występuje negatywny transfer. Środki zaradcze obejmują ograniczenie dostrajania tylko do górnych warstw, użycie mniejszego współczynnika uczenia lub wybór korpusu pre-treningowego, który bardziej odpowiada domenie docelowej.

Pokrewne metody

Źródła

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Transfer learning. Wikipedia.

    Otwórz odnośnik do publikacji
    Skopiowano.