Gated Recurrent Unit (GRU)
- Eingeführt von
- Cho, K. et al.
- Jahr
- 2014
- Typ
- Gated recurrent neural network unit
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Die Gated Recurrent Unit (GRU) ist eine Gated Recurrent Neural Network-Zelle, die 2014 von Cho und Kollegen eingeführt wurde und Langzeitabhängigkeiten in sequenziellen Daten mithilfe von Update- und Reset-Gates erfasst, wobei sie eine Leistung erzielt, die mit LSTM vergleichbar ist, jedoch mit weniger Parametern.
Die Intuition hinter der Methode
Ein einfaches rekurrentes Netzwerk hat Schwierigkeiten, Informationen über lange Sequenzen hinweg zu speichern, da das Signal beim schrittweisen Übertragen verblasst oder explodiert. Die GRU fügt kleine Gates hinzu, die in jedem Zeitschritt lernen, wie viel von der Vergangenheit beibehalten und wie viel neue Information aufgenommen werden soll. Mit nur zwei Gates anstelle der drei von LSTM trägt sie nützliche Erinnerungen über lange Zeiträume bei und bleibt dabei leichter und schneller zu trainieren.
Geschichte
Die GRU wurde 2014 von Kyunghyun Cho und Kollegen im Rahmen eines RNN-Encoder-Decoder-Frameworks für die statistische maschinelle Übersetzung eingeführt. Später im selben Jahr evaluierten Chung, Gulcehre, Cho und Bengio empirisch gegatterte rekurrente Einheiten im Vergleich zu LSTM bei Sequenzmodellierungsaufgaben und zeigten, dass die einfachere Zwei-Gate-GRU die LSTM-Leistung bei geringerem Parameteraufwand erreichen konnte, was sie zu einer beliebten leichteren Alternative für die Sequenzmodellierung machte.
Wann wird sie eingesetzt?
Gut geeignet für Vorhersage, Prognose und Klassifizierung auf sequenziellen Daten – Zeitreihen oder longitudinale Sequenzen von kontinuierlichen Werten oder Text – wenn Langzeitabhängigkeiten wichtig sind und ein schnelleres Training als LSTM erwünscht ist, mit mindestens etwa 100 Beobachtungen. Es wird keine normalverteilte Daten angenommen. Bei weniger als etwa 500 Sequenzen ist das Risiko von Overfitting hoch und ein einfacheres Modell wie Random Forest ist sicherer; unter etwa 100 ist das rekurrente Training nicht sinnvoll und XGBoost ist vorzuziehen.
Grenzen und Hinweise
- Hohes Overfitting-Risiko bei kleinen Datensätzen (weniger als etwa 500 Sequenzen).
- Erfordert sequentielle Daten; nicht sinnvoll unter etwa 100 Beobachtungen.
- Als rekurrenter Black-Box-Modell bietet es keine expliziten Koeffizienten zur Interpretation.
- Wie alle rekurrenteren Modelle kann es empfindlich auf die Sequenzlänge und die Trainingskonfiguration reagieren.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Erfasst Langzeitabhängigkeiten in sequenziellen Daten durch gelernte Update- und Reset-Gates.
- Vergleichbare Genauigkeit wie LSTM mit weniger Parametern, daher schnelleres Training.
- Weniger Annahmen: erfordert keine normalverteilten Daten.
- Gut geeignet für Zeitreihen und longitudinale Sequenzen von kontinuierlichen Werten oder Text.
Anwendungen
- Prognose und Vorhersage auf Zeitreihen und longitudinalen Sequenzen.
- Sequenzklassifizierung über kontinuierlich-wertige oder Text-Eingaben.
- Modellierung von Langzeitabhängigkeiten, bei denen LSTM-ähnliche Kapazität zu geringeren Kosten benötigt wird.
- Eine schnellere rekurrente Basislinie, bevor zu schwereren Sequenzmodellen gegriffen wird.
So funktioniert es
So funktioniert es
In jedem Zeitschritt berechnet die Einheit zwei Gates aus der aktuellen Eingabe und dem vorherigen verborgenen Zustand. Das Update-Gate entscheidet, wie viel vom vorherigen Zustand weitergegeben und wie viel aktualisiert werden soll, während das Reset-Gate entscheidet, wie viel von der Vergangenheit bei der Bildung eines neuen Kandidatenzustands ignoriert werden soll. Beide werden durch eine Sigmoid-Funktion auf Werte zwischen Null und Eins komprimiert.
Formel
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})Ein Kandidaten-verborgener Zustand wird aus der aktuellen Eingabe in Kombination mit dem vorherigen Zustand, der durch das Reset-Gate gefiltert wurde, vorgeschlagen. Wenn das Reset-Gate nahe Null ist, vergisst die Einheit effektiv die Vergangenheit und reagiert auf frische Eingaben; wenn es nahe Eins ist, mischt sie den vorherigen Kontext in den neuen Kandidaten.
Formel
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))Der neue verborgene Zustand ist eine gegatterte Interpolation zwischen dem vorherigen Zustand und dem Kandidaten, gesteuert durch das Update-Gate. Dieser einzelne Mischschritt ermöglicht es der Einheit, entweder Erinnerungen über viele Zeitschritte hinweg zu bewahren oder sich schnell zu aktualisieren, was es GRUs ermöglicht, Langzeitabhängigkeiten ohne eine separate Speicherzelle zu erfassen.
Formel
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tHäufige Fallstricke
- Anwendung einer GRU auf einen winzigen sequenziellen Datensatz, bei dem sie einfach die Trainingsdaten auswendig lernt.
- Vergessen, dass die Eingaben echte Sequenzen bilden müssen, nicht ungeordnete tabellarische Zeilen.
- Überspringen einer ordnungsgemäßen Trainings-/Validierungsaufteilung und Vertrauen auf die In-Sample-Sequenzanpassung.
- Greifen zu einem rekurrenteren Netzwerk, wenn ein einfacheres Modell bei kleinen Daten besser generalisieren würde.
Häufig gestellte Fragen
Wie unterscheidet sich eine GRU von einer LSTM?
Eine GRU verwendet zwei Gates (Update und Reset) und einen einzigen verborgenen Zustand, während eine LSTM drei Gates und eine separate Speicherzelle verwendet. Die GRU hat daher weniger Parameter und trainiert schneller, während sie bei vielen Sequenzaufgaben eine vergleichbare Leistung erzielt.
Wie viele Daten benötigt eine GRU?
Sie benötigt sequentielle Daten mit mindestens etwa 100 Beobachtungen. Unter etwa 500 Sequenzen ist das Risiko von Overfitting hoch, daher ist ein einfacheres Modell wie Random Forest sicherer; unter etwa 100 ist ein rekurrenteres Netzwerk nicht sinnvoll und XGBoost ist vorzuziehen.
Geht die GRU von normalverteilten Daten aus?
Nein. Wie andere rekurrente neuronale Netze macht sie keine Normalitätsannahme; was sie benötigt, sind tatsächlich sequentielle Eingaben wie eine Zeitreihe oder eine longitudinale Sequenz.
Wann sollte ich eine GRU einem schwereren Modell vorziehen?
Wählen Sie eine GRU, wenn Sie Langzeitabhängigkeiten in Sequenzen erfassen müssen, aber ein schnelleres, leichteres Training als mit LSTM wünschen und genügend sequentielle Daten vorhanden sind, um Overfitting zu vermeiden.
Verwandte Methoden
Quellen
Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.
Publikationsreferenz öffnenKopiert.Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555
Publikationsreferenz öffnenKopiert.