Skip to content
Retour aux résultats

Long Short-Term Memory (LSTM)

Introduite par
Hochreiter, S. & Schmidhuber, J.
Année
1997
Type
Recurrent neural network with gated memory cells
Famille
Deep learning / NLP / CV

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le Long Short-Term Memory (LSTM) est une architecture de réseau de neurones récurrents à portes introduite par Hochreiter et Schmidhuber en 1997.

Il a été conçu pour apprendre des dépendances sur de longues séquences en utilisant des cellules mémoire dédiées et trois portes apprises — oubli, entrée et sortie — qui contrôlent quelles informations sont conservées, mises à jour ou transmises à chaque pas de temps.

L’intuition derrière la méthode

Un réseau récurrent simple essaie de transporter l'information à travers le temps en réutilisant un seul état caché, mais les gradients diminuent ou explosent sur de longues séquences, rendant presque impossible l'apprentissage de dépendances s'étendant sur de nombreuses étapes. Les LSTM résolvent ce problème avec une cellule mémoire séparée qui agit comme un tapis roulant : la porte d'oubli décide quelles anciennes informations effacer, la porte d'entrée ajoute de nouvelles informations, et la porte de sortie détermine ce que la cellule révèle à la couche suivante. Comme la cellule peut transporter l'information largement inchangée sur de nombreuses étapes, les gradients circulent de manière plus fiable pendant l'entraînement, permettant au réseau d'apprendre des motifs qui s'étendent sur des phrases, des paragraphes ou de longues fenêtres temporelles.

Histoire

Hochreiter et Schmidhuber ont introduit l'architecture LSTM en 1997 pour résoudre le problème de l'évanouissement du gradient qui empêchait les RNN classiques d'apprendre les dépendances à longue portée. Au cours des années 2000, il est resté une curiosité de recherche ; au début des années 2010, grâce aux travaux de Graves et Hinton sur la reconnaissance vocale et de Sutskever sur l'apprentissage séquence à séquence, les LSTM sont devenus l'architecture dominante pour les tâches séquentielles. Ils ont conservé cette position jusqu'à ce que le Transformer les dépasse vers 2018-2019, bien que les LSTM restent largement utilisés dans les séries temporelles et les environnements à ressources limitées.

Quand l’utiliser

Le LSTM est bien adapté aux tâches où l'ordre des observations est important et où le contexte pertinent peut s'étendre sur de nombreuses étapes : classification de texte, analyse de sentiments, reconnaissance d'entités nommées, traduction automatique, prévision de séries temporelles et traitement de la parole. Choisissez le LSTM lorsque vos séquences sont de longueur modérée (dizaines à quelques centaines d'étapes) et que vous disposez de suffisamment de données étiquetées (typiquement des milliers d'exemples) pour apprendre les paramètres des portes. Pour des séquences très longues ou lorsque le parallélisme est critique, le Transformer est généralement préférable. Pour des séquences plus courtes ou lorsque la simplicité est importante, un GRU (moins de paramètres) ou un modèle pré-entraîné finement ajusté (BERT, RoBERTa) peuvent être plus appropriés.

Limites et points d’attention

  • Plus lent à entraîner que les Transformers car le calcul séquentiel ne peut pas être entièrement parallélisé.
  • Nécessite des données étiquetées substantielles ; sur de petits ensembles de données, il a tendance à surajuster malgré le dropout.
  • Les séquences très longues (centaines d'étapes) posent encore des défis aux LSTM en raison de la capacité limitée de la cellule.
  • Le réglage des hyperparamètres — unités cachées, couches, dropout, taux d'apprentissage — peut être long.
  • Pour de nombreuses tâches NLP, les modèles Transformer pré-entraînés surpassent désormais les LSTM entraînés à partir de zéro.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Conçu explicitement pour capturer les dépendances à longue portée sans évanouissement du gradient.
  • Architecture flexible : fonctionne pour la classification de séquences, l'étiquetage de jetons, la génération et la prévision.
  • Structure de portes interprétable — portes d'oubli, d'entrée et de sortie — par rapport aux alternatives boîte noire.
  • Extension bidirectionnelle (BiLSTM) double le contexte en traitant les séquences dans les deux directions.
  • Vaste ensemble d'applications éprouvées dans les domaines du NLP, de la parole et des séries temporelles.

Applications

  • Classification de texte et analyse de sentiments sur des documents ou des critiques.
  • Étiquetage de séquence : reconnaissance d'entités nommées, étiquetage morpho-syntaxique.
  • Prévision de séries temporelles : cours boursiers, relevés de capteurs, demande d'énergie.
  • Reconnaissance vocale en tant que composant de modèle acoustique.
  • Traduction automatique via des architectures LSTM encodeur-décodeur.
  • Détection d'anomalies dans les données de journaux ou de capteurs séquentielles.

Comment ça marche

Comment ça marche

1

À chaque pas de temps, la porte d'oubli reçoit l'état caché précédent et l'entrée actuelle, les fait passer par une sigmoïde, et produit une valeur entre 0 et 1 pour chaque élément de l'état de la cellule. Les valeurs proches de 0 effacent cet élément de la mémoire ; les valeurs proches de 1 le préservent. Cet effacement appris est ce qui permet au LSTM de rejeter le contexte qui n'est plus pertinent.

Formule
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

La porte d'entrée, également activée par une sigmoïde, décide quels éléments de l'état candidat de la cellule — calculé via tanh — doivent être écrits dans la cellule. Ensemble, les portes d'oubli et d'entrée permettent au réseau de se souvenir sélectivement des nouvelles informations tout en rejetant les informations obsolètes, sans l'évanouissement du gradient qui afflige les RNN classiques.

Formule
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

L'état de la cellule est mis à jour en multipliant élément par élément l'ancien état de la cellule par la sortie de la porte d'oubli, puis en ajoutant le produit élément par élément de la porte d'entrée et de l'état candidat de la cellule. Cette mise à jour additive est la raison principale pour laquelle les gradients peuvent circuler vers l'arrière sur de nombreux pas de temps sans s'évanouir : le chemin à travers l'état de la cellule implique une addition plutôt qu'une multiplication répétée.

Formule
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

La porte de sortie contrôle la quantité de l'état de la cellule (compressé par tanh) qui est exposée comme état caché transmis au pas de temps suivant et à la couche supérieure. Ce découplage de la mémoire interne de la représentation exposée confère au LSTM une flexibilité supplémentaire dans les tâches de séquençage.

Formule
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

Selon la tâche, le LSTM peut retourner l'état caché final (classification de séquence), tous les états cachés (étiquetage de séquence, traduction), ou les deux. En pratique, empiler plusieurs couches LSTM et ajouter du dropout entre elles améliore la puissance de représentation tout en réduisant le surajustement.

Pièges courants

  • Utilisation d'un LSTM sans padding et masquage lorsque les séquences varient en longueur, provoquant des erreurs silencieuses dues aux zéros de padding.
  • Oubli de régler le réseau en mode évaluation (désactivation du dropout) au moment de l'inférence.
  • Entraînement sans écrêtage du gradient, ce qui peut entraîner des gradients explosifs même dans les LSTM.
  • Rapport de la précision seule sur des ensembles de données de séquences déséquilibrés au lieu du F1 par classe ou de l'AUC.
  • Traiter un LSTM unidirectionnel comme suffisant pour des tâches (telles que la NER ou la prédiction masquée) où le contexte futur est disponible.

Questions fréquentes

Quelle est la différence entre LSTM et GRU ?

Un GRU fusionne les portes d'oubli et d'entrée en une seule porte de mise à jour et n'a pas d'état de cellule séparé, ce qui lui confère moins de paramètres et un entraînement plus rapide. Les LSTM ont tendance à surpasser légèrement les GRU sur les tâches nécessitant une mémoire à long terme très précise, mais la différence est souvent faible et dépendante de l'ensemble de données.

Dois-je utiliser un LSTM bidirectionnel ?

Si votre tâche permet d'accéder à la séquence complète avant de faire des prédictions — classification, NER, ou prévision hors ligne — un BiLSTM améliore généralement la précision en incorporant le contexte passé et futur. Si les prédictions doivent être faites en temps réel (prévision en ligne, streaming), utilisez un LSTM unidirectionnel.

Quand devrais-je choisir un Transformer plutôt qu'un LSTM ?

Pour la plupart des tâches NLP modernes avec un calcul suffisant, les Transformers pré-entraînés (BERT, RoBERTa) surpassent les LSTM entraînés à partir de zéro. Choisissez un LSTM lorsque le calcul ou la latence est limité, lorsque vos séquences sont des séries temporelles numériques plutôt que du texte, ou lorsque vous avez trop peu de données pour affiner un grand modèle pré-entraîné.

Comment gérer les séquences de longueur variable ?

Rembourrez les séquences plus courtes jusqu'à une longueur commune, créez un masque pour ignorer les jetons de padding dans le calcul de la perte, et utilisez des séquences empaquetées (PyTorch) ou des couches de masquage (Keras/TensorFlow) afin que les positions rembourrées n'affectent pas l'état caché.

Combien de couches LSTM et d'unités cachées devrais-je utiliser ?

Pour la plupart des tâches, une à deux couches LSTM empilées avec 64 à 512 unités cachées constituent une plage de départ raisonnable. Plus de couches et d'unités augmentent la capacité mais aussi le temps d'entraînement et le risque de surajustement ; utilisez du dropout entre les couches et validez avec un ensemble de validation ou une validation croisée.

Méthodes associées

Sources

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    Ouvrir la référence DOI
    Copié.
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    Ouvrir la référence DOI
    Copié.