Zum Inhalt springen
Zurück zu den Suchergebnissen

Bidirectional RNN

Eingeführt von
Schuster, M. & Paliwal, K.K.
Jahr
1997
Typ
Recurrent neural network (sequence model)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Ein Bidirectional RNN, eingeführt von Schuster und Paliwal im Jahr 1997, verarbeitet eine Sequenz sowohl in Vorwärts- als auch in Rückwärtsrichtung, sodass jede Position Zugriff auf ihren vollständigen umgebenden Kontext hat.

Mit LSTM- oder GRU-Zellen (BiLSTM/BiGRU) ist es der Standardansatz für Named-Entity Recognition, Sequenz-Labeling und Spracherkennung.

Die Intuition hinter der Methode

Ein gewöhnliches RNN liest eine Sequenz von links nach rechts, sodass es zu jedem Zeitpunkt nur weiß, was zuvor kam. Die Bedeutung eines Wortes oder Signals hängt jedoch oft auch davon ab, was danach kommt. Ein bidirektionales RNN löst dieses Problem, indem es zwei Durchläufe durchführt – einen vorwärts und einen rückwärts – und diese kombiniert, sodass jede Position sowohl über ihren vergangenen als auch ihren zukünftigen Kontext informiert wird.

Geschichte

Das bidirektionale rekurrente neuronale Netz wurde 1997 von Schuster und Paliwal eingeführt, um jeder Position Zugriff auf vergangenen und zukünftigen Kontext zu geben. Graves und Schmidhuber erweiterten die Idee 2005 mit LSTM-Zellen für die framewise Phonemklassifizierung und etablierten das bidirektionale LSTM als Arbeitspferd für Sprach- und Sequenz-Labeling-Aufgaben. BiLSTM- und BiGRU-Varianten wurden zum Standard in der natürlichen Sprachverarbeitung vor dem Aufkommen von Transformer-Architekturen.

Wann wird sie eingesetzt?

Verwenden Sie es für Sequenz-Labeling, Textklassifizierung oder Vorhersagen auf sequenziellen oder longitudinalen Daten – wie NER, Part-of-Speech-Tagging oder Spracherkennung –, wenn sowohl der vorhergehende als auch der nachfolgende Kontext wichtig sind und die gesamte Sequenz auf einmal verfügbar ist. Es funktioniert auf Text und kontinuierlichen Sequenzen und setzt keine normalverteilten Daten voraus, benötigt aber eine angemessene Datenmenge (mindestens etwa 100 Sequenzen, für stabiles Training komfortabel mehr).

Grenzen und Hinweise

  • Benötigt die gesamte Sequenz im Voraus, daher ungeeignet für Streaming oder Echtzeitgenerierung, bei der die zukünftigen Eingaben unbekannt sind.
  • Auf kleinen Datensätzen (unter etwa 500 Sequenzen) überanpasst es sich und der Kontext kann nicht zuverlässig extrahiert werden.
  • Bei sehr kleinen Stichproben (unter etwa 100) ist das Training eines BiLSTM/BiGRU nicht sinnvoll.
  • Zwei Durchläufe verdoppeln ungefähr den Rechen- und Speicheraufwand eines unidirektionalen RNN.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Jede Position sieht sowohl vergangenen als auch zukünftigen Kontext, was die Standardwahl für Sequenz-Labeling wie NER ist.
  • Annahmenarm: Keine Normalitätsanforderung, funktioniert direkt auf Text und kontinuierlichen Sequenzen.
  • Passt natürlich zu LSTM- oder GRU-Zellen, um Langzeitabhängigkeiten zu bewältigen.
  • Gut etabliert für Spracherkennung und andere framewise Klassifizierungsaufgaben.

Anwendungen

  • Named-Entity Recognition und Sequenz-Labeling.
  • Part-of-Speech-Tagging und andere textuelle Annotationen auf Token-Ebene.
  • Sprach- und Phonemerkennung.
  • Textklassifizierung und Vorhersage über sequenzielle oder longitudinale Daten.

So funktioniert es

So funktioniert es

1

Eine rekurrente Schicht liest die Sequenz von Anfang bis Ende und baut an jeder Position einen verborgenen Zustand auf, der alles bisher Gesehene zusammenfasst. Dies ist derselbe von links nach rechts durchgeführte Durchlauf, den ein Standard-RNN, LSTM oder GRU ausführt.

Formel
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

Eine zweite rekurrente Schicht liest dieselbe Sequenz rückwärts, von Ende bis Anfang, und erzeugt an jeder Position einen verborgenen Zustand, der den nachfolgenden Kontext zusammenfasst. Dies verleiht dem Modell Kenntnis darüber, was jedem Token folgt.

Formel
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

An jeder Position werden die vorwärts und rückwärts gerichteten verborgenen Zustände zu einer einzigen Repräsentation verkettet, die den vollständigen bidirektionalen Kontext erfasst. Dieser kombinierte Vektor wird dann zur Kennzeichnung, Klassifizierung oder Vorhersage an die Ausgabeschicht weitergeleitet.

Formel
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

Häufige Fallstricke

  • Anwendung auf Echtzeit- oder generative Aufgaben, bei denen der zukünftige Teil der Sequenz noch nicht verfügbar ist.
  • Training auf zu wenigen Daten und Vertrauen auf das Ergebnis trotz Overfitting.
  • Ignorieren, dass die verdoppelte verborgene Darstellung den Rechen- und Speicheraufwand erhöht.
  • Zurückfallen auf ein schweres bidirektionales Modell, wenn ein Baumensemble bei kleinen Stichproben sicherer wäre.

Häufig gestellte Fragen

Wie unterscheidet sich ein bidirektionales RNN von einem normalen RNN?

Ein normales RNN liest eine Sequenz in einer Richtung, sodass jede Position nur die Vergangenheit kennt. Ein bidirektionales RNN fügt einen zweiten Durchlauf in umgekehrter Richtung hinzu und kombiniert beide, sodass jede Position über den zukünftigen Kontext informiert wird.

Wann kann ich es nicht verwenden?

Es benötigt die gesamte Sequenz auf einmal, daher ist es ungeeignet für Echtzeit- oder generative Umgebungen, in denen zukünftige Token noch nicht bekannt sind. In solchen Fällen ist ein unidirektionales Modell erforderlich.

Wie viele Daten benötige ich?

Mindestens etwa 100 Sequenzen als Untergrenze, aber das Training ist nur mit deutlich mehr zuverlässig – unter etwa 500 neigt das Modell dazu, sich zu überanpassen, und der Kontext kann nicht zuverlässig extrahiert werden. Bei sehr kleinen Stichproben ist ein Baumensemble wie Random Forest oder XGBoost sicherer.

Was ist der Unterschied zwischen BiLSTM und BiGRU?

Beides sind bidirektionale RNNs; sie unterscheiden sich in der rekurrierenden Zelle. BiLSTM verwendet LSTM-Zellen und BiGRU verwendet GRU-Zellen, beide entwickelt, um Langzeitabhängigkeiten besser zu erfassen als ein einfaches RNN.

Verwandte Methoden

Quellen

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    DOI-Referenz öffnen
    Kopiert.
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    DOI-Referenz öffnen
    Kopiert.