Skip to content
Torna ai risultati

Unità Ricorrente Gated (GRU)

Introdotto da
Cho, K. et al.
Anno
2014
Tipo
Gated recurrent neural network unit

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'Unità Ricorrente Gated (GRU) è una cella di rete neurale ricorrente gated introdotta da Cho e colleghi nel 2014 che cattura dipendenze a lungo termine nei dati sequenziali utilizzando porte di aggiornamento e reset, raggiungendo prestazioni comparabili a LSTM con meno parametri.

L’intuizione alla base del metodo

Una rete ricorrente semplice fatica a ricordare informazioni attraverso lunghe sequenze perché il segnale svanisce o esplode man mano che viene passato passo dopo passo. La GRU aggiunge piccole porte che apprendono, ad ogni passo temporale, quanta parte del passato mantenere e quanta nuova informazione assorbire. Con solo due porte invece delle tre di LSTM, trasporta memoria utile attraverso lunghe estensioni rimanendo più leggera e veloce da addestrare.

Storia

La GRU è stata introdotta da Kyunghyun Cho e colleghi nel 2014 all'interno di un framework encoder-decoder RNN per la traduzione automatica statistica. Più tardi nello stesso anno, Chung, Gulcehre, Cho e Bengio hanno valutato empiricamente le unità ricorrenti gated rispetto a LSTM su compiti di modellazione di sequenze, mostrando che la GRU a due porte più semplice poteva eguagliare le prestazioni di LSTM utilizzando meno parametri, il che l'ha resa un'alternativa più leggera e popolare per la modellazione di sequenze.

Quando usarlo

Una buona scelta per la predizione, la previsione e la classificazione su dati sequenziali — serie temporali o sequenze longitudinali di valori continui o testo — quando le dipendenze a lungo termine sono importanti e si desidera un addestramento più veloce rispetto a LSTM, con almeno circa 100 osservazioni. Non assume dati distribuiti normalmente. Con meno di circa 500 sequenze il rischio di overfitting è elevato e un modello più semplice come Random Forest è più sicuro; al di sotto di circa 100, l'addestramento ricorrente non è significativo e XGBoost è preferibile.

Limiti e considerazioni

  • Alto rischio di overfitting su dataset piccoli (meno di circa 500 sequenze).
  • Richiede dati sequenziali; non significativo al di sotto di circa 100 osservazioni.
  • Come scatola nera ricorrente non offre coefficienti espliciti da interpretare.
  • Come tutti i modelli ricorrenti, può essere sensibile alla lunghezza della sequenza e alla configurazione dell'addestramento.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Cattura dipendenze a lungo termine nei dati sequenziali attraverso porte di aggiornamento e reset apprese.
  • Accuratezza comparabile a LSTM con meno parametri, quindi si addestra più velocemente.
  • Poche assunzioni: non richiede dati distribuiti normalmente.
  • Ben adatta a serie temporali e sequenze longitudinali di valori continui o testo.

Applicazioni

  • Previsione e predizione su serie temporali e sequenze longitudinali.
  • Classificazione di sequenze su input a valori continui o testuali.
  • Modellazione di dipendenze a lungo termine dove è necessaria una capacità di livello LSTM a costo inferiore.
  • Una linea di base ricorrente più veloce prima di ricorrere a modelli di sequenza più pesanti.

Come funziona

Come funziona

1

Ad ogni passo temporale l'unità calcola due porte dall'input corrente e dallo stato nascosto precedente. La porta di aggiornamento decide quanta parte dello stato precedente portare avanti rispetto a quanta aggiornare, mentre la porta di reset decide quanta parte del passato ignorare nel formare un nuovo stato candidato. Entrambe vengono compresse da una sigmoide in valori compresi tra zero e uno.

Formula
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})
2

Uno stato nascosto candidato viene proposto dall'input corrente combinato con lo stato precedente filtrato attraverso la porta di reset. Quando la porta di reset è vicina a zero, l'unità dimentica efficacemente il passato e reagisce a input freschi; quando è vicina a uno, fonde il contesto precedente nel nuovo candidato.

Formula
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))
3

Il nuovo stato nascosto è un'interpolazione gated tra lo stato precedente e il candidato, controllato dalla porta di aggiornamento. Questo singolo passaggio di fusione consente all'unità di preservare la memoria attraverso molti passi temporali o di aggiornarsi rapidamente, il che consente alle GRU di catturare dipendenze a lungo termine senza una cella di memoria separata.

Formula
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t

Errori comuni

  • Applicare una GRU a un minuscolo dataset sequenziale in cui semplicemente memorizza i dati di addestramento.
  • Dimenticare che gli input devono formare sequenze genuine, non righe tabulari non ordinate.
  • Saltare una corretta suddivisione train/validation e fidarsi dell'adattamento della sequenza in-sample.
  • Ricorrere a una rete ricorrente quando un modello più semplice generalizzerebbe meglio su dati piccoli.

Domande frequenti

In che modo una GRU differisce da una LSTM?

Una GRU utilizza due porte (aggiornamento e reset) e un singolo stato nascosto, mentre una LSTM utilizza tre porte e una cella di memoria separata. La GRU ha quindi meno parametri e si addestra più velocemente raggiungendo prestazioni comparabili su molti compiti sequenziali.

Quanti dati necessita una GRU?

Necessita di dati sequenziali con almeno circa 100 osservazioni. Al di sotto di circa 500 sequenze il rischio di overfitting è elevato, quindi un modello più semplice come Random Forest è più sicuro; al di sotto di circa 100 una rete ricorrente non è significativa e XGBoost è preferibile.

La GRU assume dati distribuiti normalmente?

No. Come altre reti neurali ricorrenti non fa assunzioni di normalità; ciò che richiede è un input genuinamente sequenziale come una serie temporale o una sequenza longitudinale.

Quando dovrei preferire una GRU a un modello più pesante?

Scegli una GRU quando devi catturare dipendenze a lungo termine nelle sequenze ma desideri un addestramento più veloce e leggero rispetto a LSTM, e hai abbastanza dati sequenziali per evitare l'overfitting.

Metodi correlati

Fonti

  1. Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555

    Apri il riferimento della pubblicazione
    Copiato.