RNN Bidirezionale
- Introdotto da
- Schuster, M. & Paliwal, K.K.
- Anno
- 1997
- Tipo
- Recurrent neural network (sequence model)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Una RNN Bidirezionale, introdotta da Schuster e Paliwal nel 1997, elabora una sequenza in entrambe le direzioni, avanti e indietro, in modo che ogni posizione abbia accesso al suo intero contesto circostante.
Con celle LSTM o GRU (BiLSTM/BiGRU) è l'approccio standard per il riconoscimento di entità nominate, l'etichettatura di sequenze e il riconoscimento vocale.
L’intuizione alla base del metodo
Una RNN ordinaria legge una sequenza da sinistra a destra, quindi in ogni punto conosce solo ciò che è venuto prima. Ma il significato di una parola o di un segnale dipende spesso anche da ciò che viene dopo. Una RNN bidirezionale risolve questo problema eseguendo due passaggi — uno in avanti, uno indietro — e combinandoli, in modo che ogni posizione sia informata sia dal contesto passato che da quello futuro.
Storia
La rete neurale ricorrente bidirezionale è stata introdotta da Schuster e Paliwal nel 1997 per dare a ogni posizione accesso sia al contesto passato che a quello futuro. Graves e Schmidhuber hanno esteso l'idea con celle LSTM nel 2005 per la classificazione fonemica framewise, stabilendo la LSTM bidirezionale come un cavallo di battaglia per i compiti di riconoscimento vocale e di etichettatura di sequenze. Le varianti BiLSTM e BiGRU sono diventate standard nell'elaborazione del linguaggio naturale prima dell'ascesa delle architetture Transformer.
Quando usarlo
Usala per l'etichettatura di sequenze, la classificazione di testi o la predizione su dati sequenziali o longitudinali — come NER, etichettatura di parti del discorso, o riconoscimento vocale — quando sia il contesto precedente che quello successivo sono importanti e l'intera sequenza è disponibile contemporaneamente. Funziona su testi e sequenze continue e non presuppone dati distribuiti normalmente, ma necessita di una quantità ragionevole di dati (almeno circa 100 sequenze, e comodamente di più per un addestramento stabile).
Limiti e considerazioni
- Richiede l'intera sequenza in anticipo, quindi non è adatta per lo streaming o la generazione in tempo reale in cui il futuro input è sconosciuto.
- Su piccoli dataset (sotto circa 500 sequenze) va in overfitting e il contesto non può essere estratto in modo affidabile.
- Con campioni molto piccoli (sotto circa 100) l'addestramento di una BiLSTM/BiGRU non è significativo.
- Due passaggi raddoppiano approssimativamente il calcolo e la memoria di una RNN unidirezionale.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Ogni posizione vede sia il contesto passato che quello futuro, che è la scelta standard e forte per l'etichettatura di sequenze come NER.
- Poche assunzioni: nessun requisito di normalità, funziona direttamente su testi e sequenze continue.
- Si accoppia naturalmente con celle LSTM o GRU per gestire dipendenze a lungo raggio.
- Ben consolidata per il riconoscimento vocale e altri compiti di classificazione framewise.
Applicazioni
- Riconoscimento di entità nominate ed etichettatura di sequenze.
- Etichettatura di parti del discorso e altre annotazioni testuali a livello di token.
- Riconoscimento vocale e fonemico.
- Classificazione di testi e predizione su dati sequenziali o longitudinali.
Come funziona
Come funziona
Un livello ricorrente legge la sequenza dall'inizio alla fine, costruendo uno stato nascosto in ogni posizione che riassume tutto ciò che è stato visto finora. Questo è lo stesso passaggio da sinistra a destra che esegue una RNN, LSTM o GRU standard.
Formula
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})Un secondo livello ricorrente legge la stessa sequenza al contrario, dalla fine all'inizio, producendo uno stato nascosto in ogni posizione che riassume il contesto futuro. Questo è ciò che conferisce al modello la conoscenza di ciò che segue ogni token.
Formula
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})In ogni posizione, gli stati nascosti in avanti e indietro vengono concatenati in una singola rappresentazione che cattura l'intero contesto bidirezionale. Questo vettore combinato viene quindi passato al livello di output per l'etichettatura, la classificazione o la predizione.
Formula
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]Errori comuni
- Applicarla a compiti in tempo reale o generativi in cui la parte futura della sequenza non è ancora disponibile.
- Addestrare su dati insufficienti e fidarsi del risultato nonostante l'overfitting.
- Ignorare che la rappresentazione nascosta raddoppiata aumenta il costo di calcolo e memoria.
- Ricorrere a un pesante modello bidirezionale quando un ensemble di alberi sarebbe più sicuro su piccoli campioni.
Domande frequenti
In che modo una RNN bidirezionale è diversa da una RNN normale?
Una RNN normale legge una sequenza in una direzione, quindi ogni posizione conosce solo il passato. Una RNN bidirezionale aggiunge un secondo passaggio in direzione inversa e combina entrambi, in modo che ogni posizione sia informata anche dal contesto futuro.
Quando non posso usarla?
Richiede l'intera sequenza contemporaneamente, quindi non è adatta ad ambienti in tempo reale o generativi in cui i token futuri non sono ancora noti. In tali casi è necessario un modello unidirezionale.
Di quanti dati ho bisogno?
Almeno circa 100 sequenze come limite inferiore, ma l'addestramento è affidabile solo con comodamente di più — sotto circa 500 il modello tende all'overfitting e il contesto non può essere estratto in modo affidabile. Su campioni molto piccoli un ensemble di alberi come random forest o XGBoost è più sicuro.
Qual è la differenza tra BiLSTM e BiGRU?
Entrambe sono RNN bidirezionali; differiscono nella cella ricorrente. BiLSTM utilizza celle LSTM e BiGRU utilizza celle GRU, entrambe progettate per catturare dipendenze a lungo raggio meglio di una RNN semplice.
Metodi correlati
Fonti
Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.
Apri il riferimento DOICopiato.Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.
Apri il riferimento DOICopiato.