Skip to content
Retour aux résultats

LSTM

Introduite par
Hochreiter, S. & Schmidhuber, J.
Année
1997
Type
Recurrent neural network (gated memory cell)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'architecture de réseau neuronal récurrent LSTM (Long Short-Term Memory), introduite par Sepp Hochreiter et Jürgen Schmidhuber en 1997, est capable d'apprendre des dépendances à long terme dans des données séquentielles.

Elle est largement utilisée pour la prédiction de séries temporelles et de séquences. Elle conserve une mémoire interne qui permet à l'information de persister sur de nombreux pas de temps.

L’intuition derrière la méthode

Les réseaux récurrents ordinaires peinent à transmettre l'information sur de longues séquences car le signal d'apprentissage s'estompe à mesure qu'il doit remonter loin dans le passé. Le LSTM résout ce problème en dotant chaque unité d'une cellule mémoire capable de conserver une valeur au fil du temps, ainsi que de portes (gates) qui décident quoi retenir, quoi oublier et quoi transmettre. Le réseau peut ainsi relier des événements éloignés dans une séquence, ce qui est précisément ce qu'exigent les problèmes de séries temporelles et de séquences.

Histoire

Le LSTM a été introduit par Sepp Hochreiter et Jürgen Schmidhuber en 1997 pour surmonter le problème de la disparition du gradient (vanishing-gradient) qui empêchait les réseaux récurrents antérieurs d'apprendre les dépendances à longue portée. Sa cellule mémoire à portes (gated memory cell) est devenue une pierre angulaire de la modélisation de séquences et un choix standard pour les tâches de prédiction de séries temporelles et de séquences avant l'émergence des architectures basées sur l'attention.

Quand l’utiliser

Convient bien à la prévision et à la prédiction sur des séquences continues ou indexées par date, avec une structure de série temporelle ou longitudinale, lorsque les motifs temporels à longue portée sont importants et qu'un grand jeu de données (environ 500 observations ou plus) est disponible. Les entrées doivent être normalisées, et une accélération GPU est recommandée. Sur des échantillons plus petits, le réseau surajuste (overfits), donc des modèles plus simples comme Random Forest (moins de 500 observations) ou XGBoost (moins de 200 observations) sont plus sûrs.

Limites et points d’attention

  • Nécessite un grand jeu de données (environ 500 observations ou plus) pour un entraînement fiable.
  • Surajuste sur de petits échantillons, où des modèles d'apprentissage automatique plus simples généralisent mieux.
  • Les entrées doivent être normalisées avant l'entraînement, ajoutant une étape de prétraitement obligatoire.
  • Coût de calcul élevé ; une accélération GPU est fortement préférée pour un entraînement pratique.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Apprend les dépendances à long terme dans les données séquentielles que les réseaux récurrents ordinaires perdent.
  • Bien adapté aux prévisions de séries temporelles et longitudinales, ainsi qu'à la prédiction de séquences.
  • Peu d'hypothèses sur la distribution : ne requiert pas de données normalement distribuées.
  • Gère nativement les entrées séquentielles continues et indexées par date.

Applications

  • Prévision de séries temporelles sur des données continues ou indexées par date.
  • Prédiction de séquences où les motifs temporels à longue portée sont importants.
  • Modélisation de données longitudinales avec des dépendances s'étendant sur de nombreux pas de temps.
  • Tâches prédictives sur de grands jeux de données séquentielles où la mémoire temporelle est essentielle.

Comment ça marche

Comment ça marche

1

Chaque unité LSTM possède une cellule mémoire dont l'état progresse le long de la séquence. Cette cellule agit comme un tapis roulant pour l'information, permettant aux signaux pertinents de persister sur de nombreux pas de temps au lieu de s'atténuer après un ou deux, ce qui permet au réseau d'apprendre des dépendances à long terme.

2

Des portes régulent le flux entrant et sortant de la cellule mémoire : une porte décide quelle part de l'état passé conserver, une autre décide quelles nouvelles informations écrire, et une troisième décide quoi lire comme réponse de l'unité. En apprenant ces portes à partir des données, le réseau contrôle la mémoire sur de longues séquences au lieu d'en être submergé.

3

Au fur et à mesure que la séquence est traitée pas à pas, l'état caché (hidden state) filtré par les portes à chaque étape alimente une couche de sortie qui produit la prédiction — par exemple la prochaine valeur d'une série temporelle. Comme les entrées doivent être normalisées et que le réseau est volumineux, l'entraînement nécessite un jeu de données conséquent (environ 500 observations ou plus) et idéalement une accélération GPU.

Formule
\hat{y}_t = f(h_t)

Pièges courants

  • Fournir des entrées non normalisées, ce qui déstabilise l'entraînement.
  • Entraîner sur moins de 500 observations et faire confiance au résultat au lieu de se rabattre sur un modèle plus simple.
  • Appliquer un réseau récurrent profond à un très petit échantillon où l'apprentissage automatique classique suffirait.
  • Ignorer le surajustement et rapporter l'ajustement sur l'ensemble d'entraînement comme s'il s'agissait de performance prédictive.

Questions fréquentes

Quelle quantité de données un LSTM nécessite-t-il ?

Il est conçu pour de grands jeux de données — environ 500 observations ou plus. En dessous, le réseau a tendance à surajuster et généralise mal, donc un modèle plus simple comme Random Forest est le recours recommandé, et en dessous d'environ 200 observations, XGBoost est un meilleur choix.

Dois-je normaliser les entrées ?

Oui. La normalisation est une étape de prétraitement obligatoire pour le LSTM ; des entrées non mises à l'échelle déstabilisent l'entraînement et dégradent le résultat.

Qu'est-ce qui différencie le LSTM d'un réseau récurrent simple ?

Le LSTM ajoute une cellule mémoire et des portes qui contrôlent quoi retenir, oublier et sortir. Cela lui permet de transporter l'information sur de longues séquences et d'apprendre des dépendances à long terme que perd un réseau récurrent simple à cause de la disparition du gradient.

Un GPU est-il requis ?

Il n'est pas strictement requis, mais une accélération GPU est fortement préférée car l'entraînement du LSTM sur de grands jeux de données séquentielles est coûteux en calcul.

Méthodes associées

Sources

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    Ouvrir la référence DOI
    Copié.