RNN bidirectionnel
- Introduite par
- Schuster, M. & Paliwal, K.K.
- Année
- 1997
- Type
- Recurrent neural network (sequence model)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Un RNN bidirectionnel, introduit par Schuster et Paliwal en 1997, traite une séquence dans les deux sens, avant et arrière, de sorte que chaque position ait accès à l'intégralité de son contexte environnant.
Avec des cellules LSTM ou GRU (BiLSTM/BiGRU), c'est l'approche standard pour la reconnaissance d'entités nommées, l'étiquetage de séquences et la reconnaissance vocale.
L’intuition derrière la méthode
Un RNN ordinaire lit une séquence de gauche à droite, de sorte qu'à tout moment, il ne connaît que ce qui précède. Cependant, le sens d'un mot ou d'un signal dépend souvent aussi de ce qui le suit. Un RNN bidirectionnel résout ce problème en effectuant deux passes — une en avant, une en arrière — et en les combinant, de sorte que chaque position est informée par son contexte passé et futur.
Histoire
Le réseau de neurones récurrent bidirectionnel a été introduit par Schuster et Paliwal en 1997 pour donner à chaque position l'accès au contexte passé et futur. Graves et Schmidhuber ont étendu l'idée avec des cellules LSTM en 2005 pour la classification phonémique par trame, établissant le LSTM bidirectionnel comme un outil essentiel pour les tâches de reconnaissance vocale et d'étiquetage de séquences. Les variantes BiLSTM et BiGRU sont devenues la norme dans le traitement du langage naturel avant l'avènement des architectures Transformer.
Quand l’utiliser
Utilisez-le pour l'étiquetage de séquences, la classification de texte ou la prédiction sur des données séquentielles ou longitudinales — telles que la reconnaissance d'entités nommées (NER), l'étiquetage de parties du discours ou la reconnaissance vocale — lorsque le contexte précédent et suivant est important et que la séquence entière est disponible en une seule fois. Il fonctionne sur du texte et des séquences continues et ne suppose pas de données normalement distribuées, mais il nécessite une quantité raisonnable de données (au moins environ 100 séquences, et confortablement plus pour un entraînement stable).
Limites et points d’attention
- Nécessite la séquence entière dès le départ, il est donc inadapté au streaming ou à la génération en temps réel où l'entrée future est inconnue.
- Sur de petits ensembles de données (en dessous d'environ 500 séquences), il surapprend et le contexte ne peut pas être extrait de manière fiable.
- Avec de très petits échantillons (en dessous d'environ 100), l'entraînement d'un BiLSTM/BiGRU n'est pas significatif.
- Deux passes doublent approximativement le calcul et la mémoire d'un RNN unidirectionnel.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Chaque position voit le contexte passé et futur, ce qui est le choix standard et robuste pour l'étiquetage de séquences tel que la NER.
- Peu d'hypothèses: aucune exigence de normalité, fonctionne directement sur le texte et les séquences continues.
- S'associe naturellement aux cellules LSTM ou GRU pour gérer les dépendances à long terme.
- Bien établi pour la reconnaissance vocale et d'autres tâches de classification par trame.
Applications
- Reconnaissance d'entités nommées et étiquetage de séquences.
- Étiquetage de parties du discours et autres annotations de texte au niveau du jeton.
- Reconnaissance vocale et phonémique.
- Classification de texte et prédiction sur des données séquentielles ou longitudinales.
Comment ça marche
Comment ça marche
Une première couche récurrente lit la séquence du début à la fin, construisant un état caché à chaque position qui résume tout ce qui a été vu jusqu'à présent. C'est la même passe de gauche à droite qu'effectue un RNN, LSTM ou GRU standard.
Formule
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})Une seconde couche récurrente lit la même séquence en sens inverse, de la fin au début, produisant un état caché à chaque position qui résume le contexte à venir. C'est ce qui donne au modèle la connaissance de ce qui suit chaque jeton.
Formule
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})À chaque position, les états cachés avant et arrière sont concaténés en une seule représentation qui capture le contexte bidirectionnel complet. Ce vecteur combiné est ensuite transmis à la couche de sortie pour l'étiquetage, la classification ou la prédiction.
Formule
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]Pièges courants
- L'appliquer à des tâches en temps réel ou génératives où la partie future de la séquence n'est pas encore disponible.
- Entraîner sur trop peu de données et faire confiance au résultat malgré le surapprentissage.
- Ignorer que la représentation cachée doublée augmente le coût de calcul et de mémoire.
- Revenir à un modèle bidirectionnel lourd alors qu'un ensemble d'arbres serait plus sûr sur de petits échantillons.
Questions fréquentes
En quoi un RNN bidirectionnel est-il différent d'un RNN normal ?
Un RNN normal lit une séquence dans une seule direction, de sorte que chaque position ne connaît que le passé. Un RNN bidirectionnel ajoute une seconde passe dans la direction inverse et combine les deux, de sorte que chaque position est également informée par le contexte futur.
Quand ne puis-je pas l'utiliser ?
Il nécessite la séquence entière en une seule fois, il est donc inadapté aux contextes en temps réel ou génératifs où les jetons futurs ne sont pas encore connus. Dans ces cas, un modèle unidirectionnel est requis.
De combien de données ai-je besoin ?
Au moins environ 100 séquences comme minimum, mais l'entraînement n'est fiable qu'avec beaucoup plus — en dessous d'environ 500, le modèle a tendance à surapprendre et le contexte ne peut pas être extrait de manière fiable. Sur de très petits échantillons, un ensemble d'arbres tel que la forêt aléatoire ou XGBoost est plus sûr.
Quelle est la différence entre BiLSTM et BiGRU ?
Les deux sont des RNN bidirectionnels ; ils diffèrent par la cellule récurrente. BiLSTM utilise des cellules LSTM et BiGRU utilise des cellules GRU, toutes deux conçues pour mieux capturer les dépendances à long terme qu'un RNN simple.
Méthodes associées
Sources
Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.
Ouvrir la référence DOICopié.Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.
Ouvrir la référence DOICopié.