Unité récurrente à portes (GRU)
- Introduite par
- Cho, K. et al.
- Année
- 2014
- Type
- Gated recurrent neural network unit
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'unité récurrente à portes (GRU) est une cellule de réseau neuronal récurrent à portes introduite par Cho et ses collègues en 2014.
Elle capture les dépendances à long terme dans les données séquentielles à l'aide de portes de mise à jour et de réinitialisation, atteignant des performances comparables à celles du LSTM avec moins de paramètres.
L’intuition derrière la méthode
Un réseau récurrent simple a du mal à retenir l'information sur de longues séquences car le signal s'estompe ou explose à mesure qu'il est transmis étape par étape. La GRU ajoute de petites portes qui apprennent, à chaque pas de temps, quelle proportion du passé conserver et quelle quantité de nouvelles informations absorber. Avec seulement deux portes au lieu des trois du LSTM, elle conserve une mémoire utile sur de longues périodes tout en étant plus légère et plus rapide à entraîner.
Histoire
La GRU a été introduite par Kyunghyun Cho et ses collègues en 2014 dans le cadre d'un encodeur-décodeur RNN pour la traduction automatique statistique. Plus tard cette année-là, Chung, Gulcehre, Cho et Bengio ont évalué empiriquement les unités récurrentes à portes par rapport au LSTM sur des tâches de modélisation de séquences, montrant que la GRU à deux portes, plus simple, pouvait égaler les performances du LSTM tout en utilisant moins de paramètres, ce qui en a fait une alternative plus légère populaire pour la modélisation de séquences.
Quand l’utiliser
Convient bien à la prédiction, à la prévision et à la classification sur des données séquentielles — séries temporelles ou séquences longitudinales de valeurs continues ou de texte — lorsque les dépendances à long terme sont importantes et qu'un entraînement plus rapide que le LSTM est souhaitable, avec au moins environ 100 observations. Il ne suppose pas de données normalement distribuées. Avec moins d'environ 500 séquences, le risque de surapprentissage est élevé et un modèle plus simple tel que la forêt aléatoire est plus sûr ; en dessous d'environ 100, l'entraînement récurrent n'est pas significatif et XGBoost est préférable.
Limites et points d’attention
- Risque élevé de surapprentissage sur de petits ensembles de données (moins d'environ 500 séquences).
- Nécessite des données séquentielles ; non significatif en dessous d'environ 100 observations.
- En tant que boîte noire récurrente, elle n'offre pas de coefficients explicites à interpréter.
- Comme tous les modèles récurrents, il peut être sensible à la longueur de la séquence et à la configuration de l'entraînement.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Capture les dépendances à long terme dans les données séquentielles grâce à des portes de mise à jour et de réinitialisation apprises.
- Précision comparable à celle du LSTM avec moins de paramètres, ce qui permet un entraînement plus rapide.
- Peu d'hypothèses : ne nécessite pas de données normalement distribuées.
- Bien adapté aux séries temporelles et aux séquences longitudinales de valeurs continues ou de texte.
Applications
- Prévision et prédiction sur des séries temporelles et des séquences longitudinales.
- Classification de séquences sur des entrées à valeurs continues ou textuelles.
- Modélisation des dépendances à long terme lorsque la capacité de niveau LSTM est nécessaire à moindre coût.
- Une base de référence récurrente plus rapide avant d'opter pour des modèles de séquence plus lourds.
Comment ça marche
Comment ça marche
À chaque pas de temps, l'unité calcule deux portes à partir de l'entrée actuelle et de l'état caché précédent. La porte de mise à jour décide dans quelle mesure l'état précédent doit être conservé ou rafraîchi, tandis que la porte de réinitialisation décide dans quelle mesure le passé doit être ignoré lors de la formation d'un nouvel état candidat. Les deux sont compressées par une sigmoïde en des valeurs comprises entre zéro et un.
Formule
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})Un état caché candidat est proposé à partir de l'entrée actuelle combinée à l'état précédent filtré par la porte de réinitialisation. Lorsque la porte de réinitialisation est proche de zéro, l'unité oublie effectivement le passé et réagit à une nouvelle entrée ; lorsqu'elle est proche de un, elle intègre le contexte antérieur dans le nouveau candidat.
Formule
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))Le nouvel état caché est une interpolation à portes entre l'état précédent et le candidat, contrôlée par la porte de mise à jour. Cette étape de fusion unique permet à l'unité soit de préserver la mémoire sur de nombreux pas de temps, soit de se mettre à jour rapidement, ce qui permet aux GRU de capturer des dépendances à long terme sans cellule de mémoire séparée.
Formule
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tPièges courants
- Appliquer la GRU à un minuscule ensemble de données séquentielles où elle mémorise simplement les données d'entraînement.
- Oublier que les entrées doivent former de véritables séquences, et non des lignes tabulaires non ordonnées.
- Ignorer une division appropriée entraînement/validation et faire confiance à l'ajustement de la séquence intra-échantillon.
- Opter pour un réseau récurrent alors qu'un modèle plus simple généraliserait mieux sur de petites données.
Questions fréquentes
En quoi une GRU diffère-t-elle d'un LSTM ?
Une GRU utilise deux portes (mise à jour et réinitialisation) et un seul état caché, tandis qu'un LSTM utilise trois portes et une cellule de mémoire séparée. La GRU a donc moins de paramètres et s'entraîne plus rapidement tout en atteignant des performances comparables sur de nombreuses tâches de séquence.
De combien de données une GRU a-t-elle besoin ?
Elle a besoin de données séquentielles avec au moins environ 100 observations. En dessous d'environ 500 séquences, le risque de surapprentissage est élevé, donc un modèle plus simple tel que la forêt aléatoire est plus sûr ; en dessous d'environ 100, un réseau récurrent n'est pas significatif et XGBoost est préférable.
La GRU suppose-t-elle des données normalement distribuées ?
Non. Comme les autres réseaux neuronaux récurrents, elle ne fait aucune hypothèse de normalité ; ce qu'elle exige, ce sont des entrées véritablement séquentielles telles qu'une série temporelle ou une séquence longitudinale.
Quand devrais-je préférer une GRU à un modèle plus lourd ?
Choisissez une GRU lorsque vous avez besoin de capturer des dépendances à long terme dans des séquences mais que vous souhaitez un entraînement plus rapide et plus léger que le LSTM, et que vous disposez de suffisamment de données séquentielles pour éviter le surapprentissage.
Méthodes associées
Sources
Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.
Ouvrir la référence de la publicationCopié.Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555
Ouvrir la référence de la publicationCopié.