LSTM
- Eingeführt von
- Hochreiter, S. & Schmidhuber, J.
- Jahr
- 1997
- Typ
- Recurrent neural network (gated memory cell)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
LSTM (Long Short-Term Memory) ist eine rekurrente neuronale Netzwerkarchitektur, die 1997 von Sepp Hochreiter und Jürgen Schmidhuber eingeführt wurde.
Sie kann langfristige Abhängigkeiten in sequenziellen Daten lernen und wird häufig für Zeitreihen- und Sequenzvorhersagen verwendet. Sie verfügt über einen internen Speicher, der es Informationen ermöglicht, über viele Zeitschritte hinweg zu bestehen.
Die Intuition hinter der Methode
Gewöhnliche rekurrente Netzwerke haben Schwierigkeiten, Informationen über lange Sequenzen hinweg zu transportieren, da das Lernsignal verblasst, je weiter zurück es reichen muss. LSTM löst dieses Problem, indem jede Einheit eine Speicherzelle erhält, die einen Wert über die Zeit halten kann, sowie Gates, die entscheiden, was erinnert, was vergessen und was weitergegeben werden soll. Das Netzwerk kann daher Ereignisse verbinden, die in einer Sequenz weit voneinander entfernt sind, was genau das ist, was Zeitreihen- und Sequenzprobleme erfordern.
Geschichte
LSTM wurde 1997 von Sepp Hochreiter und Jürgen Schmidhuber eingeführt, um das Problem des verschwindenden Gradienten zu überwinden, das frühere rekurrente Netzwerke daran hinderte, langfristige Abhängigkeiten zu lernen. Seine gesteuerte Speicherzelle wurde zu einem Eckpfeiler der Sequenzmodellierung und einer Standardwahl für Zeitreihen- und Sequenzvorhersageaufgaben, bevor auf Aufmerksamkeit basierende Architekturen aufkamen.
Wann wird sie eingesetzt?
Gut geeignet für Prognosen und Vorhersagen auf kontinuierlichen oder datumsindizierten Sequenzen mit Zeitreihen- oder Längsschnittstruktur, wenn langfristige zeitliche Muster wichtig sind und ein großer Datensatz (etwa 500 Beobachtungen oder mehr) verfügbar ist. Eingaben müssen normalisiert werden, und eine GPU-Beschleunigung wird empfohlen. Bei kleineren Stichproben überanpasst sich das Netzwerk, sodass einfachere Modelle wie Random Forest (unter 500) oder XGBoost (unter 200) sicherer sind.
Grenzen und Hinweise
- Benötigt einen großen Datensatz (etwa 500 Beobachtungen oder mehr) für zuverlässiges Training.
- Überanpasst sich bei kleinen Stichproben, wo einfachere Modelle des maschinellen Lernens besser generalisieren.
- Eingaben müssen vor dem Training normalisiert werden, was einen obligatorischen Vorverarbeitungsschritt hinzufügt.
- Rechenintensiv; GPU-Beschleunigung wird für praktisches Training dringend empfohlen.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Lernt langfristige Abhängigkeiten in sequenziellen Daten, die gewöhnliche rekurrente Netzwerke verlieren.
- Gut geeignet für Zeitreihen-Prognosen und Längsschnitt-Vorhersagen sowie Sequenzvorhersagen.
- Annahme-arm bezüglich der Verteilung: erfordert keine normalverteilten Daten.
- Verarbeitet kontinuierliche und datumsindizierte Sequenzeingaben nativ.
Anwendungen
- Zeitreihen-Prognosen auf kontinuierlichen oder datumsindizierten Daten.
- Sequenzvorhersage, bei der langfristige zeitliche Muster wichtig sind.
- Modellierung von Längsschnittdaten mit Abhängigkeiten, die viele Zeitschritte umfassen.
- Prädiktive Aufgaben auf großen sequenziellen Datensätzen, bei denen zeitlicher Speicher unerlässlich ist.
So funktioniert es
So funktioniert es
Jede LSTM-Einheit verfügt über eine Speicherzelle, deren Zustand sich vorwärts durch die Sequenz bewegt. Diese Zelle fungiert als Förderband für Informationen und ermöglicht es relevanten Signalen, über viele Zeitschritte hinweg zu bestehen, anstatt nach ein oder zwei Schritten zu verfallen, was es dem Netzwerk ermöglicht, langfristige Abhängigkeiten zu lernen.
Gates regulieren den Fluss in und aus der Speicherzelle: Ein Gate entscheidet, wie viel vom vergangenen Zustand beibehalten werden soll, ein anderes, welche neuen Informationen geschrieben werden sollen, und ein drittes, was als Antwort der Einheit ausgegeben werden soll. Durch das Erlernen dieser Gates aus den Daten steuert das Netzwerk den Speicher über lange Sequenzen hinweg, anstatt von ihm überwältigt zu werden.
Während die Sequenz Schritt für Schritt verarbeitet wird, speist der gesteuerte verborgene Zustand (hidden state) in jedem Schritt eine Ausgabeschicht, die die Vorhersage erzeugt – zum Beispiel den nächsten Wert in einer Zeitreihe. Da die Eingaben normalisiert werden müssen und das Netzwerk groß ist, benötigt das Training einen beträchtlichen Datensatz (etwa 500 oder mehr Beobachtungen) und idealerweise eine GPU-Beschleunigung.
Formel
\hat{y}_t = f(h_t)Häufige Fallstricke
- Fütterung unnormalisierter Eingaben, was das Training destabilisiert.
- Training mit weniger als etwa 500 Beobachtungen und Vertrauen auf das Ergebnis, anstatt auf ein einfacheres Modell zurückzugreifen.
- Anwendung eines tiefen rekurrenten Netzwerks auf eine sehr kleine Stichprobe, wo klassisches maschinelles Lernen ausreichen würde.
- Ignorieren von Überanpassung und Berichterstattung der In-Sample-Anpassung, als wäre sie eine prädiktive Leistung.
Häufig gestellte Fragen
Wie viele Daten benötigt ein LSTM?
Es ist für große Datensätze gedacht – etwa 500 Beobachtungen oder mehr. Darunter neigt das Netzwerk dazu, sich zu überanpassen und schlecht zu generalisieren, daher ist ein einfacheres Modell wie Random Forest die empfohlene Ausweichlösung, und bei weniger als etwa 200 Beobachtungen ist XGBoost eine bessere Wahl.
Muss ich die Eingaben normalisieren?
Ja. Die Normalisierung ist ein obligatorischer Vorverarbeitungsschritt für LSTM; unskalierte Eingaben destabilisieren das Training und verschlechtern das Ergebnis.
Was unterscheidet LSTM von einem einfachen rekurrenten Netzwerk?
LSTM fügt eine Speicherzelle und Gates hinzu, die steuern, was erinnert, vergessen und ausgegeben wird. Dies ermöglicht es, Informationen über lange Sequenzen hinweg zu transportieren und langfristige Abhängigkeiten zu lernen, die ein einfaches rekurrentes Netzwerk durch verschwindende Gradienten verliert.
Ist eine GPU erforderlich?
Sie ist nicht zwingend erforderlich, aber eine GPU-Beschleunigung wird dringend empfohlen, da das Training von LSTM auf großen sequenziellen Datensätzen rechenintensiv ist.
Verwandte Methoden
Quellen
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
DOI-Referenz öffnenKopiert.