Skip to content
Retour aux résultats

Apprentissage par transfert avec LSTM

Introduite par
Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
Année
2018 (ULMFiT; concept since ~2010)
Type
Transfer learning / Sequential model
Famille
Deep learning / NLP / CV

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'apprentissage par transfert avec LSTM est une technique dans laquelle un réseau Long Short-Term Memory est d'abord pré-entraîné sur un grand corpus source ou une tâche source, puis ses poids appris sont transférés et affinés sur une tâche cible plus petite.

Cette approche, popularisée par ULMFiT (Howard & Ruder, 2018), permet aux modèles basés sur LSTM d'atteindre de fortes performances même lorsque les données cibles étiquetées sont rares.

L’intuition derrière la méthode

Entraîner un LSTM à partir de zéro sur un petit jeu de données est risqué : le modèle apprend rarement des motifs linguistiques ou séquentiels généraux et surajuste facilement. L'apprentissage par transfert évite cela en entraînant d'abord le LSTM sur des données abondantes — souvent un objectif de modélisation du langage sur un grand corpus textuel — de sorte que ses états cachés encodent déjà des représentations riches de la grammaire, du contexte et du sens. Lorsque vous affinez ensuite ces poids sur votre tâche spécifique, le modèle s'adapte rapidement car il part d'une position bien meilleure qu'une initialisation aléatoire, un peu comme un expert qui n'a besoin que d'une brève orientation plutôt que d'un programme de formation complet.

Histoire

Le concept général d'apprentissage par transfert pour les réseaux neuronaux a été formalisé par Pan & Yang (2010). Son application pratique aux réseaux récurrents a suscité une large attention avec ULMFiT (Howard & Ruder, 2018), qui a démontré qu'un régime d'entraînement LSTM en trois étapes — modélisation générale du langage, modélisation du langage du domaine cible, affinage du classifieur — pouvait égaler ou surpasser des modèles supervisés beaucoup plus grands sur des benchmarks de classification de texte. Le succès d'ULMFiT a précédé et influencé directement le paradigme de pré-entraînement de l'ère Transformer (BERT, GPT) et reste une référence canonique pour l'apprentissage par transfert de séquences.

Quand l’utiliser

Utilisez l'apprentissage par transfert avec LSTM lorsque vous avez une tâche de modélisation séquentielle — classification de texte, analyse de sentiments, reconnaissance d'entités nommées, prévision de séries temporelles — mais seulement un petit jeu de données étiquetées. Il est particulièrement efficace pour les tâches de TALN où un modèle de langage pré-entraîné existe pour la langue source ou cible, et lorsque l'adaptation de domaine (texte non étiqueté du domaine cible) est réalisable. Évitez-le lorsque votre domaine séquentiel diffère si radicalement du corpus de pré-entraînement que le transfert négatif est probable, lorsque l'interprétabilité des états récurrents individuels est requise (préférez des modèles plus simples), ou lorsque des alternatives basées sur Transformer comme l'affinage de BERT sont disponibles et que le jeu de données est textuel (les Transformers surpassent généralement les LSTMs en TALN depuis 2019).

Limites et points d’attention

  • Les méthodes de transfert basées sur Transformer (BERT, RoBERTa) ont largement supplanté les LSTMs pour les tâches de TALN, offrant souvent une précision plus élevée.
  • L'entraînement LSTM est séquentiel et ne peut pas être facilement parallélisé, ce qui rend le pré-entraînement sur de très grands corpus lent.
  • Le transfert négatif peut se produire si les domaines source et cible sont mal assortis, dégradant les performances en dessous d'une base de référence entraînée à partir de zéro.
  • Nécessite un point de contrôle LSTM pré-entraîné approprié ; pour les langues rares ou les domaines très spécialisés, il peut ne pas en exister.
  • La stabilité de l'affinage peut être sensible au taux d'apprentissage et au calendrier de gel, nécessitant une recherche minutieuse des hyperparamètres.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Réduit considérablement le besoin de données étiquetées par rapport à l'entraînement à partir de zéro.
  • Capture les dépendances séquentielles à longue portée que les modèles sac-de-mots et peu profonds manquent.
  • Les poids pré-entraînés fournissent une forte initialisation, conduisant à une convergence plus rapide et à une meilleure généralisation.
  • Applicable aux données séquentielles non linguistiques (séries temporelles, parole, génomique) ainsi qu'au TALN.
  • Le dégel progressif et les taux d'apprentissage discriminatifs (ULMFiT) offrent un contrôle d'affinage basé sur des principes.
  • Représentations intermédiaires interprétables par rapport à de nombreuses architectures Transformer.

Applications

  • Classification de texte (analyse de sentiments, catégorisation thématique, catégorisation d'actualités).
  • Reconnaissance d'entités nommées et étiquetage de séquences avec des corpus annotés limités.
  • Détection d'anomalies et prévision de séries temporelles lorsque des poids pré-entraînés provenant de séries similaires sont disponibles.
  • TALN à faible ressource pour les langues avec peu de données annotées mais des corpus non étiquetés disponibles.
  • Classification de notes cliniques et analyse de séquences biomédicales avec des points de contrôle LSTM adaptés au domaine.
  • Modélisation de séquences vocales et audio lorsque le pré-entraînement acoustique est disponible.

Comment ça marche

Comment ça marche

1

Un LSTM est entraîné sur un grand jeu de données source en utilisant un objectif général, le plus couramment la modélisation du langage (prédire le prochain jeton). Cette phase enseigne au réseau des représentations séquentielles générales — structure syntaxique, cooccurrences courantes, dépendances à longue portée — sans aucune supervision spécifique à la tâche. Les poids résultants servent d'initialisation pour les tâches en aval.

2

Avant l'affinage sur la tâche cible étiquetée, le LSTM pré-entraîné est facultativement adapté au domaine cible en poursuivant l'entraînement de modélisation du langage sur du texte non étiqueté du domaine cible. Cette étape d'adaptation de domaine, utilisée de manière proéminente dans ULMFiT, réduit l'écart de vocabulaire et de style entre les corpus source et cible, produisant souvent des gains de précision significatifs à faible coût.

3

Pour éviter de détruire les représentations pré-entraînées, les couches sont généralement gelées initialement et dégelées progressivement du haut (spécifique à la tâche) vers le bas (général). ULMFiT a introduit le dégel progressif et l'affinage discriminatif, où les couches inférieures reçoivent des taux d'apprentissage plus faibles que les couches supérieures, protégeant les caractéristiques à usage général tout en permettant une adaptation spécifique à la tâche.

4

Une tête spécifique à la tâche (par exemple, un classifieur softmax pour la classification de texte, ou une couche de régression pour la prédiction de séquence à valeur) est ajoutée au-dessus du LSTM. L'ensemble du réseau — ou la partie dégelée — est ensuite entraîné de bout en bout sur les données cibles étiquetées en utilisant un faible taux d'apprentissage et souvent une planification de taux d'apprentissage triangulaire inclinée pour stabiliser la convergence.

5

Les performances sont évaluées sur un ensemble de test réservé en utilisant des métriques appropriées à la tâche (précision, F1, AUC pour la classification ; RMSE ou MAE pour la régression). Étant donné que les données étiquetées sont rares dans les contextes de transfert typiques, la validation croisée k-fold stratifiée est fortement recommandée. La comparaison avec une base de référence LSTM entraînée à partir de zéro quantifie le gain du transfert.

Pièges courants

  • Utiliser le même taux d'apprentissage élevé pour toutes les couches pendant l'affinage, ce qui entraîne un oubli catastrophique des représentations pré-entraînées.
  • Sauter l'adaptation de domaine lorsque le domaine cible diffère sensiblement du corpus de pré-entraînement.
  • Évaluer uniquement sur la division d'entraînement et rapporter la précision intra-échantillon comme résultat final.
  • Ignorer le déséquilibre des classes dans la tâche cible sans repondération ou suréchantillonnage.
  • Choisir le transfert LSTM lorsqu'un Transformer pré-entraîné est disponible pour la même langue ou le même domaine — le coût d'opportunité est significatif.

Questions fréquentes

Quand devrais-je préférer l'apprentissage par transfert LSTM à l'affinage de BERT ?

Préférez le transfert LSTM pour les données séquentielles non textuelles (séries temporelles, parole, génomique) ou lorsque les ressources informatiques sont sévèrement contraintes, car les LSTMs sont plus légers que les grands Transformers. Pour les tâches de TALN standard avec du texte anglais, les modèles de la famille BERT surpassent presque toujours les LSTMs et devraient être le choix par défaut.

Combien de couches dois-je geler au début de l'affinage ?

Une stratégie courante (d'ULMFiT) consiste à geler toutes les couches sauf la tête de classification supérieure initialement, puis à dégeler progressivement une couche à la fois du haut vers le bas au fil des époques. Cela protège les représentations des couches inférieures à usage général tout en adaptant les caractéristiques de niveau supérieur à la tâche cible.

Et s'il n'existe pas de LSTM pré-entraîné pour mon domaine ou ma langue ?

Vous pouvez pré-entraîner votre propre modèle de langage LSTM sur n'importe quel grand corpus non étiqueté dans votre domaine ou votre langue. Même un corpus de domaine relativement petit (quelques millions de jetons) fournit une meilleure initialisation que des poids aléatoires, en particulier pour la terminologie spécialisée.

Puis-je appliquer cela aux séries temporelles, pas seulement au texte ?

Oui. L'apprentissage par transfert avec LSTM est bien établi pour les séries temporelles : un réseau pré-entraîné sur une grande collection de séquences similaires (par exemple, consommation d'électricité ou signaux ECG) peut être affiné sur une série cible plus petite, surpassant souvent les bases de référence LSTM entraînées à partir de zéro avec beaucoup moins de données cibles.

Comment savoir si un transfert négatif se produit ?

Comparez les performances du modèle affiné avec celles d'un LSTM entraîné à partir de zéro uniquement sur les données cibles. Si le modèle transféré obtient de moins bons résultats, un transfert négatif est probable. Les remèdes incluent la restriction de l'affinage aux seules couches supérieures, l'utilisation d'un taux d'apprentissage plus faible, ou le choix d'un corpus de pré-entraînement qui correspond plus étroitement au domaine cible.

Méthodes associées

Sources

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    Ouvrir la référence DOI
    Copié.
  2. Transfer learning. Wikipedia.

    Ouvrir la référence de la publication
    Copié.