Zum Inhalt springen
Zurück zu den Suchergebnissen

Long Short-Term Memory (LSTM)

Eingeführt von
Hochreiter, S. & Schmidhuber, J.
Jahr
1997
Typ
Recurrent neural network with gated memory cells
Familie
Deep learning / NLP / CV

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Long Short-Term Memory (LSTM) ist eine Architektur für rekurrente neuronale Netze mit Gating-Mechanismus, die 1997 von Hochreiter und Schmidhuber eingeführt wurde.

Sie wurde entwickelt, um Abhängigkeiten über lange Sequenzen hinweg zu lernen, indem sie dedizierte Speicherzellen und drei gelernte Gates – Vergessens-, Eingabe- und Ausgabegate – verwendet, die steuern, welche Informationen zu jedem Zeitschritt beibehalten, aktualisiert oder weitergegeben werden.

Die Intuition hinter der Methode

Ein einfaches rekurrentes Netz versucht, Informationen durch die Zeit zu transportieren, indem es einen einzigen verborgenen Zustand wiederverwendet. Bei langen Sequenzen schrumpfen oder explodieren jedoch die Gradienten, was es nahezu unmöglich macht, Abhängigkeiten zu lernen, die sich über viele Schritte erstrecken. LSTMs lösen dies mit einer separaten Speicherzelle, die wie ein Förderband wirkt: Das Vergessensgate entscheidet, welche alten Informationen gelöscht werden sollen, das Eingabegate fügt neue Informationen hinzu, und das Ausgabegate bestimmt, was die Zelle der nächsten Schicht offenbart. Da die Zelle Informationen über viele Schritte hinweg weitgehend unverändert transportieren kann, fließen die Gradienten während des Trainings zuverlässiger, wodurch das Netz Muster lernen kann, die sich über Sätze, Absätze oder lange Zeitfenster erstrecken.

Geschichte

Hochreiter und Schmidhuber führten die LSTM-Architektur 1997 ein, um das Problem des verschwindenden Gradienten zu lösen, das einfache RNNs daran hinderte, Langzeitabhängigkeiten zu lernen. In den 2000er Jahren blieb es eine Forschungskuriosität; Anfang der 2010er Jahre, angetrieben durch Arbeiten von Graves und Hinton zur Spracherkennung und von Sutskever zum Sequenz-zu-Sequenz-Lernen, wurden LSTMs zur dominanten Architektur für sequentielle Aufgaben. Sie behielten diese Position, bis der Transformer sie um 2018–2019 übertraf, obwohl LSTMs in Zeitreihen- und ressourcenbeschränkten Umgebungen weiterhin weit verbreitet sind.

Wann wird sie eingesetzt?

LSTM eignet sich gut für Aufgaben, bei denen die Reihenfolge der Beobachtungen wichtig ist und relevanter Kontext viele Schritte umfassen kann: Textklassifikation, Sentiment-Analyse, Named-Entity-Recognition, maschinelle Übersetzung, Zeitreihenprognose und Sprachverarbeitung. Wählen Sie LSTM, wenn Ihre Sequenzen moderat lang sind (Zehner bis einige Hundert Schritte) und Sie genügend gelabelte Daten (typischerweise Tausende von Beispielen) haben, um Gate-Parameter zu lernen. Für sehr lange Sequenzen oder wenn Parallelität entscheidend ist, ist der Transformer in der Regel vorzuziehen. Für kürzere Sequenzen oder wenn Einfachheit wichtig ist, kann ein GRU (weniger Parameter) oder ein feinabgestimmtes vortrainiertes Modell (BERT, RoBERTa) geeigneter sein.

Grenzen und Hinweise

  • Langsamer zu trainieren als Transformer, da die sequentielle Berechnung nicht vollständig parallelisiert werden kann.
  • Erfordert erhebliche Mengen an gelabelten Daten; bei kleinen Datensätzen neigt es trotz Dropout zu Overfitting.
  • Sehr lange Sequenzen (Hunderte von Schritten) stellen LSTMs aufgrund begrenzter Zellkapazität immer noch vor Herausforderungen.
  • Die Hyperparameter-Abstimmung – verborgene Einheiten, Schichten, Dropout, Lernrate – kann zeitaufwendig sein.
  • Für viele NLP-Aufgaben übertreffen vortrainierte Transformer-Modelle LSTMs, die von Grund auf trainiert wurden.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Explizit darauf ausgelegt, Langzeitabhängigkeiten ohne verschwindende Gradienten zu erfassen.
  • Flexible Architektur: funktioniert für Sequenzklassifikation, Token-Labeling, Generierung und Prognose.
  • Interpretierbare Gating-Struktur – Vergessens-, Eingabe- und Ausgabegate – im Vergleich zu Black-Box-Alternativen.
  • Bidirektionale Erweiterung (BiLSTM) verdoppelt den Kontext durch Verarbeitung von Sequenzen in beide Richtungen.
  • Große Anzahl bewährter Anwendungen in den Bereichen NLP, Sprachverarbeitung und Zeitreihen.

Anwendungen

  • Textklassifikation und Sentiment-Analyse von Dokumenten oder Rezensionen.
  • Sequenzlabeling: Named-Entity-Recognition, Part-of-Speech-Tagging.
  • Zeitreihenprognose: Aktienkurse, Sensorwerte, Energiebedarf.
  • Spracherkennung als Komponente eines akustischen Modells.
  • Maschinelle Übersetzung mittels Encoder-Decoder-LSTM-Architekturen.
  • Anomalieerkennung in sequenziellen Log- oder Sensordaten.

So funktioniert es

So funktioniert es

1

Zu jedem Zeitschritt empfängt das Vergessensgate den vorherigen verborgenen Zustand und die aktuelle Eingabe, leitet sie durch eine Sigmoidfunktion und erzeugt einen Wert zwischen 0 und 1 für jedes Element des Zellzustands. Werte nahe 0 löschen dieses Element aus dem Speicher; Werte nahe 1 bewahren es. Dieses gelernte Löschen ermöglicht es dem LSTM, nicht mehr relevanten Kontext zu verwerfen.

Formel
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

Das Eingabegate, ebenfalls sigmoid-aktiviert, entscheidet, welche Elemente des Kandidaten-Zellzustands – berechnet über Tanh – in die Zelle geschrieben werden sollen. Zusammen ermöglichen das Vergessens- und das Eingabegate dem Netz, selektiv neue Informationen zu speichern und veraltete Informationen zu verwerfen, ohne das bei Vanilla-RNNs auftretende Verschwinden des Gradienten.

Formel
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

Der Zellzustand wird aktualisiert, indem der alte Zellzustand elementweise mit der Ausgabe des Vergessensgates multipliziert und dann das elementweise Produkt des Eingabegates und des Kandidaten-Zellzustands addiert wird. Diese additive Aktualisierung ist der Hauptgrund, warum Gradienten über viele Zeitschritte hinweg rückwärts fließen können, ohne zu verschwinden: Der Pfad durch den Zellzustand beinhaltet Addition statt wiederholter Multiplikation.

Formel
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

Das Ausgabegate steuert, wie viel des (tanh-gequetschten) Zellzustands als verborgener Zustand an den nächsten Zeitschritt und an die darüberliegende Schicht weitergegeben wird. Diese Entkopplung des internen Speichers von der exponierten Repräsentation verleiht dem LSTM zusätzliche Flexibilität bei Sequenzierungsaufgaben.

Formel
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

Je nach Aufgabe kann das LSTM den finalen verborgenen Zustand (Sequenzklassifikation), alle verborgenen Zustände (Sequenzlabeling, Übersetzung) oder beides zurückgeben. In der Praxis verbessert das Stapeln mehrerer LSTM-Schichten und das Hinzufügen von Dropout zwischen ihnen die Repräsentationskraft und reduziert gleichzeitig Overfitting.

Häufige Fallstricke

  • Verwendung eines LSTM ohne Padding und Maskierung, wenn Sequenzen in der Länge variieren, was zu stillen Fehlern durch gepolsterte Nullen führt.
  • Vergessen, das Netz im Inferenzmodus auf den Evaluationsmodus (Deaktivierung von Dropout) einzustellen.
  • Training ohne Gradient Clipping, was selbst bei LSTMs zu explodierenden Gradienten führen kann.
  • Ausschließlich die Genauigkeit bei unausgewogenen Sequenzdatensätzen zu berichten, anstatt F1-Werte pro Klasse oder AUC.
  • Ein unidirektionales LSTM als ausreichend für Aufgaben (wie NER oder maskierte Vorhersage) zu betrachten, bei denen zukünftiger Kontext verfügbar ist.

Häufig gestellte Fragen

Was ist der Unterschied zwischen LSTM und GRU?

Ein GRU fasst das Vergessens- und das Eingabegate zu einem einzigen Update-Gate zusammen und hat keinen separaten Zellzustand, wodurch es weniger Parameter und ein schnelleres Training aufweist. LSTMs übertreffen GRUs tendenziell leicht bei Aufgaben, die eine sehr präzise Langzeitspeicherung erfordern, aber der Unterschied ist oft gering und datensatzabhängig.

Sollte ich ein bidirektionales LSTM verwenden?

Wenn Ihre Aufgabe den Zugriff auf die gesamte Sequenz vor der Vorhersage erlaubt – Klassifikation, NER oder Offline-Prognose – verbessert ein BiLSTM typischerweise die Genauigkeit, indem es sowohl vergangenen als auch zukünftigen Kontext einbezieht. Wenn Vorhersagen in Echtzeit (Online-Prognose, Streaming) getroffen werden müssen, verwenden Sie ein unidirektionales LSTM.

Wann sollte ich einen Transformer anstelle eines LSTM wählen?

Für die meisten modernen NLP-Aufgaben mit ausreichender Rechenleistung übertreffen vortrainierte Transformer (BERT, RoBERTa) LSTMs, die von Grund auf trainiert wurden. Wählen Sie ein LSTM, wenn Rechenleistung oder Latenz begrenzt sind, wenn Ihre Sequenzen numerische Zeitreihen statt Text sind oder wenn Sie zu wenig Daten haben, um ein großes vortrainiertes Modell feinabzustimmen.

Wie gehe ich mit Sequenzen variabler Länge um?

Polstern Sie kürzere Sequenzen auf eine gemeinsame Länge auf, erstellen Sie eine Maske, um Padding-Token bei der Verlustberechnung zu ignorieren, und verwenden Sie gepackte Sequenzen (PyTorch) oder Maskierungsschichten (Keras/TensorFlow), damit gepolsterte Positionen den verborgenen Zustand nicht beeinflussen.

Wie viele LSTM-Schichten und verborgene Einheiten sollte ich verwenden?

Für die meisten Aufgaben ist ein bis zwei gestapelte LSTM-Schichten mit 64–512 verborgenen Einheiten ein sinnvoller Startbereich. Mehr Schichten und Einheiten erhöhen die Kapazität, aber auch die Trainingszeit und das Risiko von Overfitting; verwenden Sie Dropout zwischen den Schichten und validieren Sie mit einem Held-Out-Set oder Kreuzvalidierung.

Verwandte Methoden

Quellen

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    DOI-Referenz öffnen
    Kopiert.
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    DOI-Referenz öffnen
    Kopiert.