Skip to content
Retour aux résultats

Unité récurrente "gated" (GRU)

Introduite par
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
Année
2014
Type
Recurrent neural network with gating
Famille
Deep learning / NLP / CV

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'unité récurrente "gated" (GRU), introduite par Cho et al. en 2014, est un réseau neuronal récurrent simplifié qui utilise deux portes apprises — une porte de mise à jour et une porte de réinitialisation — pour retenir ou écarter sélectivement l'information à travers les pas de temps, permettant une modélisation de séquence efficace avec moins de paramètres que le LSTM.

L’intuition derrière la méthode

Traiter une séquence, c'est comme lire un long document tout en décidant quoi retenir et quoi oublier. La porte de mise à jour de la GRU contrôle la proportion de l'état caché précédent à conserver ou à remplacer par de nouvelles informations, tandis que la porte de réinitialisation décide de l'influence du contexte passé sur le nouvel état caché candidat. Ce mécanisme de "gating" permet au réseau de capturer des dépendances à long terme sans les problèmes de gradient évanescent qui affligent les RNN simples, et ce, avec une architecture plus simple et plus rapide que le LSTM à quatre portes.

Histoire

La GRU a été introduite par Cho et al. en 2014 dans le cadre du "framework" encodeur-décodeur RNN pour la traduction automatique statistique. Chung et al. (2014) ont fourni une évaluation empirique montrant que la GRU et le LSTM atteignaient des performances similaires sur la modélisation de musique polyphonique et la modélisation de signaux vocaux, tandis que la GRU s'entraînait plus rapidement. Elle est rapidement devenue une référence standard en modélisation de séquences et reste largement utilisée dans la recherche en PNL et en séries temporelles.

Quand l’utiliser

Utilisez la GRU lorsque vous travaillez avec des données séquentielles — langage naturel, séries temporelles, parole ou journaux d'événements — en particulier lorsque les ressources de calcul sont limitées ou que la vitesse d'entraînement est importante, car la GRU s'entraîne plus rapidement et utilise moins de paramètres que le LSTM avec une précision souvent comparable. Elle est bien adaptée aux tâches telles que la classification de texte, l'analyse des sentiments, la reconnaissance d'entités nommées, la modélisation linguistique et la prévision de séries temporelles univariées ou multivariées. Préférez le LSTM lorsque vous avez des séquences très longues où la cellule de mémoire supplémentaire du LSTM peut offrir un avantage en termes de précision, ou lorsque vous pouvez vous permettre le calcul supplémentaire. Évitez la GRU pour les données tabulaires non séquentielles où les réseaux "feed-forward" ou les modèles basés sur des arbres sont plus appropriés.

Limites et points d’attention

  • Peut être moins performante que le LSTM sur des séquences très longues où la cellule de mémoire séparée du LSTM offre un avantage distinct.
  • Plus lente et plus gourmande en mémoire que les modèles basés sur les Transformers pour les tâches de PNL à long contexte.
  • Le calcul intrinsèquement séquentiel limite le parallélisme pendant l'entraînement, contrairement aux Transformers.
  • Sensible aux hyperparamètres tels que la taille cachée, le "dropout" et le taux d'apprentissage ; nécessite un réglage minutieux.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Moins de paramètres que le LSTM (deux portes au lieu de quatre), ce qui entraîne un entraînement plus rapide et une utilisation moindre de la mémoire.
  • Atténue le problème du gradient évanescent des RNN simples, permettant l'apprentissage de dépendances temporelles à long terme.
  • Précision compétitive avec le LSTM sur de nombreux "benchmarks" de PNL et de séries temporelles malgré son architecture plus simple.
  • Plus facile à régler : moins d'hyperparamètres (taille cachée, nombre de couches, "dropout") que le LSTM.
  • Les variantes bidirectionnelles et empilées sont simples à implémenter pour des représentations contextuelles plus riches.

Applications

  • Classification de texte et analyse des sentiments sur des documents de longueur courte à moyenne.
  • Reconnaissance d'entités nommées et étiquetage de séquences dans les pipelines de PNL.
  • Prévision de séries temporelles pour les données de capteurs, les cours boursiers et la consommation d'énergie.
  • Reconnaissance vocale et modélisation des caractéristiques audio.
  • Architectures encodeur-décodeur de traduction automatique.
  • Détection d'anomalies dans les journaux d'événements séquentiels et les flux de surveillance.

Comment ça marche

Comment ça marche

1

À chaque pas de temps, la porte de mise à jour calcule une valeur entre 0 et 1 en utilisant l'entrée actuelle et l'état caché précédent. Une valeur proche de 1 signifie que la majeure partie de l'état caché précédent est préservée ; proche de 0 signifie qu'elle est majoritairement remplacée. Cette porte unique remplace les portes d'entrée et d'oubli du LSTM.

Formule
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)
2

La porte de réinitialisation produit de manière similaire une valeur entre 0 et 1 qui module la quantité de l'état caché précédent exposée lors du calcul du nouvel état candidat. Une valeur proche de 0 permet effectivement au réseau d'ignorer le contexte antérieur, lui permettant de se réinitialiser et de se concentrer sur l'entrée actuelle.

Formule
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)
3

Un état caché candidat est calculé en utilisant l'entrée actuelle et l'état caché précédent "réinitialisé" via une activation tanh. Cela représente la nouvelle information que la cellule stockerait si la porte de mise à jour permettait un remplacement complet de l'état antérieur.

Formule
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)
4

L'état caché final est une interpolation linéaire entre l'état caché précédent et le candidat : le poids de la porte de mise à jour détermine la proportion de chacun à conserver. Cette combinaison convexe propage les gradients de manière propre à travers le temps, aidant le réseau à apprendre des dépendances à long terme.

Formule
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t
5

L'état caché au pas de temps final (ou à chaque pas de temps) est passé à travers une couche linéaire et un softmax (pour la classification) ou une activation linéaire (pour la régression) pour produire les prédictions du modèle. Pour les tâches de séquence à séquence, les états cachés à tous les pas de temps sont utilisés.

Formule
\hat{y}_t = \text{softmax}(W_o h_t + b_o)

Pièges courants

  • Utiliser la GRU sur des données tabulaires de taille fixe où le biais inductif séquentiel n'ajoute aucune valeur par rapport à un simple MLP.
  • Négliger de "padder" et de masquer les séquences de longueur variable, ce qui amène le modèle à apprendre des artefacts de "padding".
  • Ne pas appliquer le "gradient clipping", risquant des gradients explosifs lors de la rétropropagation dans le temps.
  • Ne rapporter que la précision sans métriques au niveau de la séquence telles que F1, BLEU ou MAE selon la tâche.
  • Choisir la GRU pour la PNL de documents longs alors qu'un Transformer pré-entraîné (BERT, RoBERTa) serait bien plus puissant.

Questions fréquentes

Quand devrais-je choisir la GRU plutôt que le LSTM ?

La GRU est un bon choix par défaut lorsque la vitesse d'entraînement et l'efficacité des paramètres sont importantes et que vos séquences ne sont pas extrêmement longues. Le LSTM peut avoir un avantage sur des séquences très longues grâce à sa cellule de mémoire dédiée, mais les résultats empiriques sont souvent spécifiques à la tâche, alors essayez les deux et comparez sur un ensemble de validation.

La GRU peut-elle gérer des séquences de longueur variable ?

Oui. "Paddez" les séquences à une longueur uniforme au sein de chaque lot, puis utilisez une couche de masquage ou le mécanisme de séquence "packed" dans PyTorch pour indiquer à la GRU d'ignorer les jetons de "padding". Sans masquage, le modèle apprend des motifs fallacieux à partir du "padding".

Devrais-je utiliser une GRU bidirectionnelle ?

Pour les tâches où la séquence complète est disponible au moment de l'inférence — comme la classification de texte ou la NER — une GRU bidirectionnelle (BiGRU) traite chaque séquence à la fois en avant et en arrière, donnant à chaque jeton accès au contexte passé et futur. Pour la prévision en temps réel ou causale, seule la direction avant est valide.

La GRU est-elle toujours compétitive par rapport aux Transformers ?

Pour les ensembles de données de petite à moyenne taille et les séquences plus courtes, la GRU reste compétitive et s'entraîne beaucoup plus rapidement qu'un Transformer sans pré-entraînement. Pour les tâches de PNL à grande échelle, les Transformers pré-entraînés (BERT, RoBERTa) surpassent généralement la GRU avec une large marge.

Quels sont les hyperparamètres clés à régler ?

Les plus importants sont la taille cachée (nombre d'unités par couche), le nombre de couches empilées (1 à 3 est courant), le taux de "dropout" entre les couches et le taux d'apprentissage. Le "gradient clipping" (norme maximale autour de 1 à 5) est fortement recommandé pour stabiliser l'entraînement.

Méthodes associées

Sources

  1. Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.

    Ouvrir la référence de la publication
    Copié.
  2. Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.

    Ouvrir la référence de la publication
    Copié.