LSTM
- Autor metody
- Hochreiter, S. & Schmidhuber, J.
- Rok
- 1997
- Typ
- Recurrent neural network (gated memory cell)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
LSTM (Long Short-Term Memory) to architektura rekurencyjnej sieci neuronowej, wprowadzona przez Seppa Hochreitera i Jürgena Schmidhubera w 1997 roku, która potrafi uczyć się długoterminowych zależności w danych sekwencyjnych i jest szeroko stosowana do prognozowania szeregów czasowych i sekwencji.
Posiada wewnętrzną pamięć, która pozwala informacjom utrzymywać się przez wiele kroków czasowych.
Intuicja stojąca za metodą
Zwykłe sieci rekurencyjne mają trudności z przenoszeniem informacji przez długie sekwencje, ponieważ sygnał uczenia zanika im dalej wstecz musi sięgnąć. LSTM rozwiązuje ten problem, dając każdej jednostce komórkę pamięci, która może przechowywać wartość w czasie, oraz bramki, które decydują, co zapamiętać, co zapomnieć i co przekazać dalej. Sieć może zatem łączyć zdarzenia, które są odległe w sekwencji, co jest dokładnie tym, czego wymagają problemy z szeregami czasowymi i sekwencjami.
Historia
LSTM został wprowadzony przez Seppa Hochreitera i Jürgena Schmidhubera w 1997 roku w celu przezwyciężenia problemu zanikającego gradientu, który uniemożliwiał wcześniejszym sieciom rekurencyjnym uczenie się długoterminowych zależności. Jego bramkowana komórka pamięci stała się kamieniem węgielnym modelowania sekwencji i standardowym wyborem dla zadań prognozowania szeregów czasowych i sekwencji, zanim pojawiły się architektury oparte na mechanizmie uwagi.
Kiedy stosować
Dobrze nadaje się do prognozowania i przewidywania na ciągłych lub indeksowanych datami sekwencjach o strukturze szeregu czasowego lub podłużnej, gdy ważne są długoterminowe wzorce czasowe i dostępny jest duży zbiór danych (około 500 obserwacji lub więcej). Dane wejściowe muszą być znormalizowane, a akceleracja GPU jest zalecana. Na mniejszych próbkach sieć przeucza się, dlatego prostsze modele, takie jak Random Forest (poniżej 500) lub XGBoost (poniżej 200), są bezpieczniejsze.
Ograniczenia i uwagi
- Wymaga dużego zbioru danych (około 500 obserwacji lub więcej) do niezawodnego treningu.
- Przeucza się na małych próbkach, gdzie prostsze modele uczenia maszynowego generalizują lepiej.
- Dane wejściowe muszą być znormalizowane przed treningiem, co dodaje obowiązkowy krok przetwarzania wstępnego.
- Obliczeniowo kosztowna; akceleracja GPU jest silnie zalecana do praktycznego treningu.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Uczy się długoterminowych zależności w danych sekwencyjnych, które tracą zwykłe sieci rekurencyjne.
- Dobrze nadaje się do prognozowania szeregów czasowych i podłużnych oraz przewidywania sekwencji.
- Niewielkie założenia dotyczące rozkładu: nie wymaga danych o rozkładzie normalnym.
- Obsługuje natywnie ciągłe i indeksowane datami sekwencje wejściowe.
Zastosowania
- Prognozowanie szeregów czasowych na danych ciągłych lub indeksowanych datami.
- Przewidywanie sekwencji, gdzie ważne są długoterminowe wzorce czasowe.
- Modelowanie danych podłużnych z zależnościami obejmującymi wiele kroków czasowych.
- Zadania predykcyjne na dużych zbiorach danych sekwencyjnych, gdzie pamięć czasowa jest kluczowa.
Jak to działa
Jak to działa
Każda jednostka LSTM przechowuje komórkę pamięci, której stan przebiega do przodu przez sekwencję. Komórka ta działa jak taśmociąg dla informacji, pozwalając istotnym sygnałom utrzymywać się przez wiele kroków czasowych zamiast zanikać po jednym lub dwóch, co umożliwia sieci uczenie się długoterminowych zależności.
Bramki regulują przepływ do i z komórki pamięci: jedna bramka decyduje, ile z poprzedniego stanu zachować, jedna decyduje, jakie nowe informacje zapisać, a jedna decyduje, co odczytać jako odpowiedź jednostki. Ucząc się tych bramek na podstawie danych, sieć kontroluje pamięć w długich sekwencjach, zamiast być przez nią przytłoczona.
W miarę przetwarzania sekwencji krok po kroku, bramkowany stan ukryty na każdym kroku zasila warstwę wyjściową, która generuje prognozę — na przykład następną wartość w szeregu czasowym. Ponieważ dane wejściowe muszą być znormalizowane, a sieć jest duża, trening wymaga sporego zbioru danych (około 500 lub więcej obserwacji) i najlepiej akceleracji GPU.
Wzór
\hat{y}_t = f(h_t)Częste pułapki
- Podawanie nieznormalizowanych danych wejściowych, co destabilizuje trening.
- Trening na mniej niż około 500 obserwacji i ufanie wynikowi zamiast powrotu do prostszego modelu.
- Stosowanie głębokiej sieci rekurencyjnej do bardzo małej próbki, gdzie klasyczne uczenie maszynowe byłoby wystarczające.
- Ignorowanie przeuczenia i raportowanie dopasowania w próbie jako wydajności predykcyjnej.
Najczęściej zadawane pytania
Ile danych potrzebuje LSTM?
Jest przeznaczony dla dużych zbiorów danych — około 500 obserwacji lub więcej. Poniżej tej liczby sieć ma tendencję do przeuczania się i słabo generalizuje, dlatego zalecanym rozwiązaniem zastępczym jest prostszy model, taki jak Random Forest, a poniżej około 200 obserwacji XGBoost jest lepszym wyborem.
Czy muszę normalizować dane wejściowe?
Tak. Normalizacja jest obowiązkowym krokiem przetwarzania wstępnego dla LSTM; nieznormalizowane dane wejściowe destabilizują trening i pogarszają wynik.
Czym LSTM różni się od zwykłej sieci rekurencyjnej?
LSTM dodaje komórkę pamięci i bramki, które kontrolują, co zapamiętać, zapomnieć i wyprowadzić. Pozwala to na przenoszenie informacji przez długie sekwencje i uczenie się długoterminowych zależności, które zwykła sieć rekurencyjna traci z powodu zanikających gradientów.
Czy wymagany jest GPU?
Nie jest to ściśle wymagane, ale akceleracja GPU jest silnie zalecana, ponieważ trening LSTM na dużych sekwencyjnych zbiorach danych jest kosztowny obliczeniowo.
Pokrewne metody
Źródła
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
Otwórz odnośnik DOISkopiowano.