Unità Ricorrente con Gate (GRU)
- Introdotto da
- Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
- Anno
- 2014
- Tipo
- Recurrent neural network with gating
- Famiglia
- Deep learning / NLP / CV
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'Unità Ricorrente con Gate (GRU), introdotta da Cho et al. nel 2014, è una rete neurale ricorrente semplificata che utilizza due gate appresi — un gate di aggiornamento e un gate di reset — per conservare o scartare selettivamente le informazioni attraverso i passi temporali, consentendo una modellazione efficace delle sequenze con un numero inferiore di parametri rispetto alle LSTM.
L’intuizione alla base del metodo
Elaborare una sequenza è come leggere un lungo documento decidendo cosa ricordare e cosa dimenticare. Il gate di aggiornamento della GRU controlla quanto dello stato nascosto precedente deve essere mantenuto o sostituito con nuove informazioni, mentre il gate di reset decide quanto del contesto passato debba influenzare il nuovo stato nascosto candidato. Questo meccanismo di gating permette alla rete di catturare dipendenze a lungo raggio senza i problemi di vanishing-gradient che affliggono le RNN semplici, e lo fa con un'architettura più semplice e veloce rispetto alla LSTM a quattro gate.
Storia
La GRU è stata introdotta da Cho et al. nel 2014 come parte del framework encoder-decoder RNN per la traduzione automatica statistica. Chung et al. (2014) hanno fornito una valutazione empirica che mostrava come GRU e LSTM raggiungessero prestazioni simili nella modellazione di musica polifonica e nella modellazione di segnali vocali, mentre la GRU si addestrava più velocemente. È rapidamente diventata una baseline standard per la modellazione di sequenze e rimane ampiamente utilizzata nella ricerca in NLP e serie temporali.
Quando usarlo
Utilizzare la GRU quando si lavora con dati sequenziali — linguaggio naturale, serie temporali, parlato o log di eventi — specialmente quando le risorse computazionali sono limitate o la velocità di addestramento è importante, perché la GRU si addestra più velocemente e utilizza meno parametri della LSTM con una precisione spesso comparabile. È ben adatta a compiti come la classificazione del testo, l'analisi del sentiment, il riconoscimento di entità nominate, la modellazione del linguaggio e la previsione di serie temporali univariate o multivariate. Preferire la LSTM quando si hanno sequenze molto lunghe dove la cella di memoria aggiuntiva della LSTM può dare un vantaggio in termini di precisione, o quando si può permettere il costo computazionale extra. Evitare la GRU per dati non sequenziali, tabulari, dove le reti feed-forward o i modelli basati su alberi sono più appropriati.
Limiti e considerazioni
- Potrebbe avere prestazioni inferiori alla LSTM su sequenze molto lunghe dove la cella di memoria separata della LSTM offre un vantaggio distinto.
- Più lenta e più intensiva in termini di memoria rispetto ai modelli basati su Transformer per compiti NLP con contesti lunghi.
- Il calcolo intrinsecamente sequenziale limita il parallelismo durante l'addestramento, a differenza dei Transformer.
- Sensibile agli iperparametri come la dimensione nascosta, il dropout e il tasso di apprendimento; richiede un'attenta ottimizzazione.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Meno parametri rispetto alla LSTM (due gate invece di quattro), il che porta a un addestramento più veloce e a un minore utilizzo di memoria.
- Mitiga il problema del vanishing-gradient delle RNN semplici, consentendo l'apprendimento di dipendenze temporali a lungo raggio.
- Precisione competitiva con la LSTM su molti benchmark NLP e di serie temporali nonostante la sua architettura più semplice.
- Più facile da ottimizzare: meno iperparametri (dimensione nascosta, numero di layer, dropout) rispetto alla LSTM.
- Varianti bidirezionali e impilate sono semplici da implementare per rappresentazioni contestuali più ricche.
Applicazioni
- Classificazione del testo e analisi del sentiment su documenti di lunghezza medio-breve.
- Riconoscimento di entità nominate e etichettatura di sequenze nelle pipeline NLP.
- Previsione di serie temporali per dati di sensori, prezzi azionari e consumo energetico.
- Riconoscimento vocale e modellazione di caratteristiche audio.
- Architetture encoder-decoder per la traduzione automatica.
- Rilevamento di anomalie in log di eventi sequenziali e flussi di monitoraggio.
Come funziona
Come funziona
Ad ogni passo temporale, il gate di aggiornamento calcola un valore tra 0 e 1 utilizzando l'input corrente e lo stato nascosto precedente. Un valore vicino a 1 significa che la maggior parte dello stato nascosto precedente viene preservata; vicino a 0 significa che viene per lo più sostituita. Questo singolo gate sostituisce sia i gate di input che di forget della LSTM.
Formula
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)Il gate di reset produce in modo simile un valore tra 0 e 1 che modula quanto dello stato nascosto precedente viene esposto durante il calcolo del nuovo stato candidato. Un valore vicino a 0 permette efficacemente alla rete di ignorare il contesto precedente, consentendole di resettarsi e concentrarsi sull'input corrente.
Formula
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)Uno stato nascosto candidato viene calcolato utilizzando l'input corrente e lo stato nascosto precedente "gated" dal reset tramite un'attivazione tanh. Questo rappresenta la nuova informazione che la cella immagazzinerebbe se il gate di aggiornamento consentisse la completa sostituzione dello stato precedente.
Formula
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)Lo stato nascosto finale è un'interpolazione lineare tra lo stato nascosto precedente e il candidato: il peso del gate di aggiornamento determina quanto di ciascuno mantenere. Questa combinazione convessa propaga i gradienti in modo pulito nel tempo, aiutando la rete ad apprendere dipendenze a lungo raggio.
Formula
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tLo stato nascosto all'ultimo (o a ogni) passo temporale viene passato attraverso un layer lineare e softmax (per la classificazione) o un'attivazione lineare (per la regressione) per produrre le previsioni del modello. Per i compiti sequence-to-sequence vengono utilizzati gli stati nascosti di tutti i passi temporali.
Formula
\hat{y}_t = \text{softmax}(W_o h_t + b_o)Errori comuni
- Utilizzare la GRU su dati tabulari a dimensione fissa dove il bias induttivo sequenziale non aggiunge valore rispetto a una semplice MLP.
- Trascurare il padding e il mascheramento di sequenze a lunghezza variabile, causando al modello l'apprendimento di artefatti di padding.
- Non applicare il gradient clipping, rischiando gradienti esplosivi durante la backpropagation through time.
- Riportare solo l'accuratezza senza metriche a livello di sequenza come F1, BLEU o MAE a seconda del compito.
- Scegliere la GRU per NLP su documenti lunghi quando un Transformer pre-addestrato (BERT, RoBERTa) sarebbe molto più potente.
Domande frequenti
Quando dovrei scegliere la GRU rispetto alla LSTM?
La GRU è una buona scelta predefinita quando la velocità di addestramento e l'efficienza dei parametri sono importanti e le sequenze non sono estremamente lunghe. La LSTM può avere un vantaggio su sequenze molto lunghe grazie alla sua cella di memoria dedicata, ma i risultati empirici sono spesso specifici del compito, quindi provare entrambi e confrontare su un set di validazione.
La GRU può gestire sequenze a lunghezza variabile?
Sì. Eseguire il padding delle sequenze a una lunghezza uniforme all'interno di ogni batch, quindi utilizzare un layer di mascheramento o il meccanismo di packed-sequence in PyTorch per indicare alla GRU di ignorare i token di padding. Senza mascheramento, il modello apprende schemi spuri dal padding.
Dovrei usare una GRU bidirezionale?
Per compiti in cui l'intera sequenza è disponibile al momento dell'inferenza — come la classificazione del testo o la NER — una GRU bidirezionale (BiGRU) elabora ogni sequenza sia in avanti che all'indietro, dando a ogni token accesso sia al contesto passato che futuro. Per la previsione in tempo reale o causale, solo la direzione in avanti è valida.
La GRU è ancora competitiva con i Transformer?
Per dataset di piccole e medie dimensioni e sequenze più brevi, la GRU rimane competitiva e si addestra molto più velocemente di un Transformer senza pre-addestramento. Per compiti NLP su larga scala, i Transformer pre-addestrati (BERT, RoBERTa) di solito superano la GRU con un ampio margine.
Quali sono gli iperparametri chiave da ottimizzare?
I più importanti sono la dimensione nascosta (numero di unità per layer), il numero di layer impilati (1-3 è comune), il tasso di dropout tra i layer e il tasso di apprendimento. Il gradient clipping (norma massima intorno a 1-5) è fortemente raccomandato per stabilizzare l'addestramento.
Metodi correlati
Fonti
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.
Apri il riferimento della pubblicazioneCopiato.Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.
Apri il riferimento della pubblicazioneCopiato.