Skip to content
Retour aux résultats

LSTM affiné

Introduite par
Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
Année
2018 (fine-tuning paradigm formalised); LSTM core: 1997
Type
Supervised sequential model with transfer learning
Famille
Deep learning / NLP / CV

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le LSTM affiné (Fine-Tuned LSTM) adapte un réseau Long Short-Term Memory pré-entraîné sur un grand corpus à une tâche spécifique en aval — telle que la classification de texte, l'analyse de sentiments ou l'étiquetage de séquences — en poursuivant l'entraînement sur des données étiquetées spécifiques à la tâche.

Popularisée par le framework ULMFiT, cette approche obtient de solides performances même lorsque les données étiquetées sont rares.

L’intuition derrière la méthode

Entraîner un LSTM à partir de zéro sur un petit jeu de données étiquetées donne souvent de mauvais résultats car le réseau doit apprendre simultanément la structure du langage et la tâche. L'affinage sépare ces préoccupations : un grand corpus non étiqueté enseigne au réseau des représentations séquentielles générales, et un petit ensemble étiqueté oriente ensuite ces représentations vers la tâche cible. Les poids pré-entraînés servent de point de départ informé, de sorte que les mises à jour de gradient pendant l'affinage apportent des ajustements ciblés plutôt que d'apprendre tout à partir d'une initialisation aléatoire.

Histoire

L'architecture LSTM a été introduite par Hochreiter et Schmidhuber en 1997 pour résoudre le problème de la disparition du gradient dans les réseaux récurrents. L'affinage des LSTMs pré-entraînés pour le NLP est devenu courant avec l'ULMFiT (2018) de Howard et Ruder, qui a démontré qu'un entraînement en trois étapes — pré-entraînement de modèle de langage, adaptation au domaine et affinage de tâche — réduisait considérablement les données étiquetées nécessaires pour une classification de texte performante. ULMFiT a influencé la vague ultérieure d'affinage de Transformers pré-entraînés (BERT, GPT) qui domine désormais les benchmarks NLP.

Quand l’utiliser

Le LSTM affiné est approprié lorsque vous disposez de données séquentielles ou textuelles, d'un nombre limité d'exemples étiquetés spécifiques à la tâche (de quelques dizaines à quelques milliers), et d'un accès à un modèle de langage LSTM pré-entraîné ou la possibilité de le charger. Il excelle dans les tâches de classification de texte, d'analyse de sentiments et d'étiquetage de séquences où les modèles Transformer complets sont trop gourmands en ressources ou lorsque les longueurs de séquence sont modestes. Évitez-le lorsque les données étiquetées sont abondantes et que l'entraînement à partir de zéro est réalisable, lorsque le domaine cible est très technique et qu'aucun modèle pré-entraîné approprié n'existe, ou lorsque la tâche nécessite des dépendances à très longue portée que les Transformers gèrent mieux. Pour les grands corpus étiquetés, l'affinage des modèles basés sur BERT surpasse généralement les approches basées sur LSTM.

Limites et points d’attention

  • Les performances sur les tâches textuelles sont généralement inférieures à celles des modèles Transformer affinés (BERT, RoBERTa) lorsque les ressources de calcul le permettent.
  • La qualité dépend fortement de la pertinence du corpus de pré-entraînement par rapport au domaine cible.
  • L'entraînement LSTM est intrinsèquement séquentiel et ne se parallélise pas sur les pas de temps, ce qui rend le pré-entraînement lent sur de longues séquences.
  • Le déblocage progressif et les taux d'apprentissage discriminatifs introduisent des hyperparamètres supplémentaires nécessitant un réglage minutieux.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Efficace dans les régimes à faible volume de données : les représentations pré-entraînées compensent le nombre limité d'exemples étiquetés.
  • Coût computationnel inférieur à l'affinage des grands modèles Transformer sur du matériel uniquement CPU ou à mémoire limitée.
  • Le déblocage progressif et les taux d'apprentissage discriminatifs réduisent l'oubli catastrophique des connaissances pré-entraînées.
  • Gère naturellement les séquences de longueur variable sans mécanismes d'attention lourds en remplissage (padding).
  • Bien adapté à l'inférence en flux continu ou en temps réel en raison de la nature séquentielle du calcul LSTM.

Applications

  • Classification de texte avec des données étiquetées limitées (sentiment, sujet, intention).
  • Tâches d'étiquetage de séquences telles que la reconnaissance d'entités nommées et l'étiquetage morpho-syntaxique.
  • Détection et prévision d'anomalies dans les séries temporelles lorsque des LSTMs pré-entraînés spécifiques au domaine sont disponibles.
  • NLP pour les langues à faibles ressources où les modèles pré-entraînés Transformer ne sont pas disponibles.
  • Scénarios de déploiement en périphérie (edge) ou embarqués nécessitant des modèles séquentiels plus petits que les Transformers complets.
  • Pipelines itératives d'adaptation au domaine où un LSTM général est progressivement spécialisé pour de nouveaux domaines.

Comment ça marche

Comment ça marche

1

Un LSTM multicouche est d'abord entraîné comme modèle de langage sur un grand corpus de domaine général (par ex., WikiText-103) pour prédire le prochain jeton dans une séquence. Cette phase instille des représentations séquentielles et sémantiques riches dans les états cachés sans nécessiter d'étiquettes de tâche.

2

Lors de l'adaptation à un nouveau domaine, les couches sont débloquées progressivement, de la couche de sortie vers l'intérieur — une technique appelée déblocage progressif (gradual unfreezing). Cela évite l'oubli catastrophique des représentations pré-entraînées en permettant aux couches antérieures de ne se mettre à jour qu'après que les couches ultérieures se soient stabilisées sur la nouvelle tâche.

3

Une tête de sortie spécifique à la tâche (par ex., un classifieur softmax, une couche CRF pour l'étiquetage de séquences, ou une tête de régression) est ajoutée à l'état caché final du LSTM. Cette tête est entraînée en premier pendant que le corps du LSTM est figé, puis l'ensemble du réseau est affiné de bout en bout.

4

L'affinage discriminatif (discriminative fine-tuning) attribue des taux d'apprentissage différents à chaque couche du LSTM — des taux plus faibles pour les couches antérieures qui détiennent des caractéristiques générales et des taux plus élevés pour les couches ultérieures plus proches de la tâche. Howard & Ruder ont proposé de diviser le taux d'apprentissage par un facteur de 2,6 par couche en allant de la sortie à l'entrée.

Formule
\eta_l = \eta_{L} / (2.6)^{L - l}
5

Le réseau entièrement débloqué est entraîné sur le jeu de données cible étiqueté, généralement avec un schéma de taux d'apprentissage triangulaire incliné (slanted triangular learning rate schedule) qui augmente brièvement puis décroît. Les performances sont évaluées sur un ensemble de validation réservé à l'aide de métriques appropriées à la tâche (précision, F1, AUROC, etc.) et le meilleur point de contrôle (checkpoint) est sélectionné.

Pièges courants

  • Ignorer le déblocage progressif et affiner toutes les couches simultanément, provoquant l'oubli catastrophique des représentations pré-entraînées.
  • Utiliser un modèle pré-entraîné d'un domaine non correspondant (par ex., texte web général pour des séquences biomédicales très techniques) sans adaptation intermédiaire au domaine.
  • Évaluer uniquement sur la division d'entraînement ou ne pas surveiller la perte de validation pour détecter le surajustement sur de petits jeux de données cibles.
  • Définir un taux d'apprentissage uniforme sur toutes les couches LSTM au lieu d'appliquer des taux discriminatifs.
  • Ignorer le déséquilibre des classes dans la tête de classification, conduisant à une précision gonflée pour la classe majoritaire.

Questions fréquentes

Le LSTM affiné est-il toujours compétitif par rapport aux modèles basés sur BERT ?

Pour la plupart des benchmarks NLP, les modèles Transformer affinés surpassent les LSTMs affinés lorsque les ressources de calcul le permettent. Cependant, les LSTMs affinés restent compétitifs sur les petits jeux de données, dans les environnements à ressources limitées, et pour les tâches d'inférence en flux continu où le calcul séquentiel du LSTM est un avantage.

Quel LSTM pré-entraîné devrais-je utiliser ?

Pour le NLP en anglais, les poids AWD-LSTM entraînés sur WikiText-103 (publiés par les auteurs d'ULMFiT via fastai) constituent un point de départ standard. Pour les tâches spécifiques à un domaine, le pré-entraînement intermédiaire sur du texte non étiqueté du domaine avant l'affinage de tâche donne généralement des gains significatifs.

Combien d'époques sont généralement nécessaires pour l'affinage ?

L'affinage spécifique à la tâche ne nécessite généralement que 2 à 10 époques sur le jeu de données étiqueté. Surveillez attentivement la perte de validation ; les LSTMs peuvent rapidement surajuster sur de petits ensembles étiquetés. L'arrêt précoce basé sur le F1 ou la perte de validation est fortement recommandé.

Quelle est la différence entre l'affinage et l'entraînement d'un LSTM avec apprentissage par transfert ?

Les termes se chevauchent souvent, mais l'affinage fait spécifiquement référence à la mise à jour des poids pré-entraînés (même sélectivement), tandis que l'apprentissage par transfert décrit parfois le figement de toutes les couches pré-entraînées et l'entraînement uniquement de la tête de tâche. L'affinage complet avec déblocage progressif surpasse systématiquement l'approche à corps figé.

Quand devrais-je préférer un Transformer affiné à un LSTM affiné ?

Préférez un Transformer affiné (par ex., BERT) lorsque vous disposez de ressources GPU, que la tâche implique des dépendances à longue portée ou une compréhension contextuelle complexe, et que des points de contrôle pré-entraînés volumineux pour votre domaine sont disponibles. Choisissez le LSTM affiné lorsque le matériel est limité, que les séquences sont de longueur courte à moyenne, ou que la latence d'inférence sur les appareils périphériques est une contrainte.

Méthodes associées

Sources

  1. Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    Ouvrir la référence DOI
    Copié.
  2. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    Ouvrir la référence DOI
    Copié.