Długa pamięć krótkotrwała (LSTM)
- Autor metody
- Hochreiter, S. & Schmidhuber, J.
- Rok
- 1997
- Typ
- Recurrent neural network with gated memory cells
- Rodzina
- Deep learning / NLP / CV
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Długa pamięć krótkotrwała (LSTM) to architektura rekurencyjnej sieci neuronowej z bramkami, wprowadzona przez Hochreitera i Schmidhubera w 1997 roku.
Została zaprojektowana do uczenia zależności w długich sekwencjach poprzez wykorzystanie dedykowanych komórek pamięci i trzech uczonych bramek – zapominania, wejściowej i wyjściowej – które kontrolują, jakie informacje są zachowywane, aktualizowane lub przekazywane dalej w każdym kroku czasowym.
Intuicja stojąca za metodą
Zwykła sieć rekurencyjna próbuje przenosić informacje przez czas, ponownie wykorzystując jeden stan ukryty, ale gradienty zanikają lub eksplodują w długich sekwencjach, co sprawia, że uczenie zależności obejmujących wiele kroków jest prawie niemożliwe. LSTM rozwiązują ten problem za pomocą oddzielnej komórki pamięci, która działa jak taśma transportowa: bramka zapominania decyduje, jakie stare informacje usunąć, bramka wejściowa dodaje nowe informacje, a bramka wyjściowa określa, co komórka ujawnia następnej warstwie. Ponieważ komórka może przenosić informacje w dużej mierze niezmienione przez wiele kroków, gradienty przepływają bardziej niezawodnie podczas treningu, umożliwiając sieci uczenie się wzorców obejmujących zdania, akapity lub długie okna czasowe.
Historia
Hochreiter i Schmidhuber wprowadzili architekturę LSTM w 1997 roku, aby rozwiązać problem zanikającego gradientu, który uniemożliwiał zwykłym RNN uczenie się długoterminowych zależności. W latach 2000. pozostawała ona ciekawostką badawczą; na początku lat 2010., dzięki pracom Gravesa i Hintona nad rozpoznawaniem mowy oraz Sutskevera nad uczeniem sekwencja-do-sekwencji, LSTM stały się dominującą architekturą dla zadań sekwencyjnych. Zajmowały tę pozycję do czasu, gdy Transformer je wyprzedził około 2018-2019 roku, chociaż LSTM są nadal szeroko stosowane w szeregach czasowych i w warunkach ograniczonych zasobów.
Kiedy stosować
LSTM dobrze nadaje się do zadań, w których kolejność obserwacji ma znaczenie, a istotny kontekst może obejmować wiele kroków: klasyfikacja tekstu, analiza sentymentu, rozpoznawanie jednostek nazwanych, tłumaczenie maszynowe, prognozowanie szeregów czasowych i przetwarzanie mowy. Wybierz LSTM, gdy twoje sekwencje są umiarkowanie długie (od kilkudziesięciu do kilkuset kroków) i masz wystarczająco dużo danych z etykietami (zazwyczaj tysiące przykładów), aby nauczyć parametry bramek. Dla bardzo długich sekwencji lub gdy równoległość jest kluczowa, Transformer jest zazwyczaj preferowany. Dla krótszych sekwencji lub gdy ważna jest prostota, GRU (mniej parametrów) lub dostrojony model wstępnie wytrenowany (BERT, RoBERTa) mogą być bardziej odpowiednie.
Ograniczenia i uwagi
- Wolniejsze trenowanie niż Transformery, ponieważ obliczenia sekwencyjne nie mogą być w pełni zrównoleglone.
- Wymaga znacznej ilości danych z etykietami; na małych zbiorach danych ma tendencję do nadmiernego dopasowania pomimo dropoutu.
- Bardzo długie sekwencje (setki kroków) nadal stanowią wyzwanie dla LSTM ze względu na ograniczoną pojemność komórki.
- Dostrajanie hiperparametrów – jednostki ukryte, warstwy, dropout, współczynnik uczenia – może być czasochłonne.
- W przypadku wielu zadań NLP, wstępnie wytrenowane modele Transformerów przewyższają teraz LSTM trenowane od zera.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wyraźnie zaprojektowany do wychwytywania długoterminowych zależności bez zanikania gradientu.
- Elastyczna architektura: działa w przypadku klasyfikacji sekwencji, etykietowania tokenów, generowania i prognozowania.
- Interpretowalna struktura bramek – zapominania, wejściowa i wyjściowa – w porównaniu do alternatyw typu czarna skrzynka.
- Rozszerzenie dwukierunkowe (BiLSTM) podwaja kontekst, przetwarzając sekwencje w obu kierunkach.
- Duża liczba sprawdzonych zastosowań w dziedzinach NLP, mowy i szeregów czasowych.
Zastosowania
- Klasyfikacja tekstu i analiza sentymentu dokumentów lub recenzji.
- Etykietowanie sekwencji: rozpoznawanie jednostek nazwanych, tagowanie części mowy.
- Prognozowanie szeregów czasowych: ceny akcji, odczyty z czujników, zapotrzebowanie na energię.
- Rozpoznawanie mowy jako komponent modelu akustycznego.
- Tłumaczenie maszynowe za pomocą architektur LSTM typu enkoder-dekoder.
- Wykrywanie anomalii w sekwencyjnych danych logów lub danych z czujników.
Jak to działa
Jak to działa
W każdym kroku czasowym bramka zapominania otrzymuje poprzedni stan ukryty i bieżące wejście, przepuszcza je przez sigmoidalną funkcję aktywacji i generuje wartość między 0 a 1 dla każdego elementu stanu komórki. Wartości bliskie 0 usuwają ten element z pamięci; wartości bliskie 1 go zachowują. To uczone usuwanie pozwala LSTM odrzucać kontekst, który nie jest już istotny.
Wzór
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)Bramka wejściowa, również aktywowana sigmoidalnie, decyduje, które elementy kandydującego stanu komórki – obliczone za pomocą funkcji tanh – powinny zostać zapisane w komórce. Razem bramki zapominania i wejściowa pozwalają sieci selektywnie zapamiętywać nowe informacje, jednocześnie odrzucając nieaktualne, bez zanikania gradientu, które nęka zwykłe RNN.
Wzór
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)Stan komórki jest aktualizowany poprzez mnożenie element po elemencie starego stanu komórki przez wyjście bramki zapominania, a następnie dodanie iloczynu element po elemencie bramki wejściowej i kandydującego stanu komórki. Ta addytywna aktualizacja jest kluczowym powodem, dla którego gradienty mogą przepływać wstecz przez wiele kroków czasowych bez zanikania: ścieżka przez stan komórki obejmuje dodawanie, a nie powtarzane mnożenie.
Wzór
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_tBramka wyjściowa kontroluje, jaka część stanu komórki (po transformacji tanh) jest ujawniana jako stan ukryty przekazywany do następnego kroku czasowego i do warstwy wyższej. To rozdzielenie pamięci wewnętrznej od reprezentacji ujawnionej daje LSTM dodatkową elastyczność w zadaniach sekwencyjnych.
Wzór
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)W zależności od zadania, LSTM może zwrócić końcowy stan ukryty (klasyfikacja sekwencji), wszystkie stany ukryte (etykietowanie sekwencji, tłumaczenie) lub oba. W praktyce, stosowanie wielu warstw LSTM i dodawanie dropoutu między nimi poprawia moc reprezentacyjną przy jednoczesnym zmniejszeniu nadmiernego dopasowania.
Częste pułapki
- Używanie LSTM bez dopełniania (padding) i maskowania, gdy sekwencje mają zmienną długość, powodując ciche błędy od zer dopełniających.
- Zapominanie o ustawieniu sieci w tryb ewaluacji (wyłączenie dropoutu) w czasie wnioskowania.
- Trenowanie bez przycinania gradientu, co może prowadzić do eksplodujących gradientów nawet w LSTM.
- Raportowanie samej dokładności na niezbalansowanych zbiorach danych sekwencyjnych zamiast F1 lub AUC dla każdej klasy.
- Traktowanie jednokierunkowego LSTM jako wystarczającego do zadań (takich jak NER lub przewidywanie zamaskowanych tokenów), gdzie dostępny jest przyszły kontekst.
Najczęściej zadawane pytania
Jaka jest różnica między LSTM a GRU?
GRU łączy bramki zapominania i wejściową w jedną bramkę aktualizacji i nie ma oddzielnego stanu komórki, co daje jej mniej parametrów i szybsze trenowanie. LSTM mają tendencję do nieznacznego przewyższania GRU w zadaniach wymagających bardzo precyzyjnej pamięci długoterminowej, ale różnica jest często niewielka i zależna od zbioru danych.
Czy powinienem używać dwukierunkowego LSTM?
Jeśli twoje zadanie pozwala na dostęp do całej sekwencji przed dokonaniem predykcji – klasyfikacja, NER lub prognozowanie offline – BiLSTM zazwyczaj poprawia dokładność, uwzględniając zarówno przeszły, jak i przyszły kontekst. Jeśli predykcje muszą być dokonywane w czasie rzeczywistym (prognozowanie online, strumieniowe), użyj jednokierunkowego LSTM.
Kiedy powinienem wybrać Transformer zamiast LSTM?
Dla większości nowoczesnych zadań NLP z wystarczającą mocą obliczeniową, wstępnie wytrenowane Transformery (BERT, RoBERTa) przewyższają LSTM trenowane od zera. Wybierz LSTM, gdy ograniczone są zasoby obliczeniowe lub opóźnienia, gdy twoje sekwencje są numerycznymi szeregami czasowymi, a nie tekstem, lub gdy masz zbyt mało danych, aby dostroić duży wstępnie wytrenowany model.
Jak radzić sobie z sekwencjami o zmiennej długości?
Dopełnij krótsze sekwencje do wspólnej długości, utwórz maskę, aby zignorować tokeny dopełniające w obliczaniu funkcji straty, i użyj pakowanych sekwencji (PyTorch) lub warstw maskujących (Keras/TensorFlow), aby uzupełnione pozycje nie wpływały na stan ukryty.
Ile warstw LSTM i jednostek ukrytych powinienem użyć?
Dla większości zadań rozsądnym punktem wyjścia jest jedna do dwóch warstw LSTM z 64-512 jednostkami ukrytymi. Więcej warstw i jednostek zwiększa pojemność, ale także czas treningu i ryzyko nadmiernego dopasowania; używaj dropoutu między warstwami i waliduj na wydzielonym zbiorze lub za pomocą walidacji krzyżowej.
Pokrewne metody
Źródła
Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.
Otwórz odnośnik DOISkopiowano.Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.
Otwórz odnośnik DOISkopiowano.