Skip to content
Retour aux résultats

Modèle séquence-à-séquence (Seq2Seq)

Introduite par
Sutskever, I.; Cho, K.
Année
2014
Type
Encoder-decoder neural network (deep learning)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le modèle séquence-à-séquence (Seq2Seq), introduit par Sutskever, Vinyals et Le ainsi que par Cho et ses collègues en 2014, est un réseau de neurones encodeur-décodeur qui fait correspondre une séquence d'entrée de longueur variable à une séquence de sortie de longueur variable.

Il est au fondement de la traduction automatique, du résumé automatique de textes, des systèmes de dialogue et de la génération de code.

L’intuition derrière la méthode

De nombreuses tâches linguistiques transforment une séquence en une autre dont la longueur diffère et n'est pas connue à l'avance — une phrase en anglais devient une phrase de longueur différente en français. Un classifieur unique ne peut pas faire cela. Seq2Seq divise le travail en deux : un réseau lit l'intégralité de l'entrée et compresse son sens en une représentation contextuelle, et un second réseau déploie cette représentation, un jeton à la fois, chaque nouveau jeton étant conditionné par ce qu'il a déjà produit.

Histoire

Le cadre encodeur-décodeur a émergé en 2014 de deux articles quasi simultanés : 'Sequence to Sequence Learning with Neural Networks' de Sutskever, Vinyals et Le, et 'RNN encoder-decoder for statistical machine translation' de Cho et ses collègues. Les modèles originaux compressaient la source dans un seul vecteur de contexte fixe ; l'ajout ultérieur de l'attention a supprimé ce goulot d'étranglement et a considérablement amélioré la qualité de la traduction, ouvrant la voie à l'architecture Transformer qui domine aujourd'hui la modélisation de séquences.

Quand l’utiliser

Utilisez Seq2Seq lorsque la tâche consiste à transformer une séquence de longueur variable en une autre — traduction automatique, résumé, dialogue ou génération de code — et que vous disposez d'exemples source-cible appariés, idéalement au moins environ 500. Il convient aux textes et aux séquences continues sous forme de séries temporelles ou transversales et ne nécessite pas de données normalement distribuées. Un GPU est recommandé. Avec beaucoup moins de 500 paires, la structure encodeur-décodeur ne peut pas être bien apprise, et des modèles plus simples tels que les forêts aléatoires (Random Forest) ou XGBoost sont plus sûrs.

Limites et points d’attention

  • Nécessite un corpus conséquent d'exemples source-cible appariés (environ 500 ou plus) pour un bon entraînement.
  • Un GPU est recommandé ; l'entraînement est coûteux en calcul.
  • La compression d'une longue entrée dans un seul contexte fixe peut entraîner une perte d'informations sans attention.
  • Sur de petits ensembles de données, la structure encodeur-décodeur ne peut pas être apprise et le modèle surajuste.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Gère des entrées et sorties de longueur variable, contrairement aux classifieurs à sortie fixe.
  • Un cadre unique et général pour la traduction, le résumé, le dialogue et la génération de code.
  • Entraîné de bout en bout à partir d'exemples source-cible appariés sans alignement conçu manuellement.
  • Les performances s'améliorent considérablement lorsqu'un mécanisme d'attention est ajouté.
  • Peu d'hypothèses : aucune exigence de normalité ; fonctionne sur des données textuelles et sur des séquences continues.

Applications

  • Traduction automatique entre paires de langues.
  • Résumé automatique abstractif de textes.
  • Génération de dialogue et de réponses conversationnelles.
  • Génération de code à partir de descriptions en langage naturel.

Comment ça marche

Comment ça marche

1

Un réseau encodeur lit la séquence d'entrée jeton par jeton et compresse la totalité de la source en une représentation contextuelle qui en résume le sens. Comme l'encodeur traite l'intégralité de l'entrée avant que toute sortie ne soit produite, le modèle peut gérer des entrées de n'importe quelle longueur.

Formule
c = \text{Encoder}(x_1, \dots, x_T)
2

Un réseau décodeur génère la séquence de sortie jeton par jeton. À chaque étape, il se conditionne sur le contexte de l'encodeur ainsi que sur les jetons qu'il a déjà émis, prédisant une distribution de probabilité sur le jeton suivant jusqu'à ce qu'un symbole d'arrêt termine la séquence. C'est ce qui permet à la longueur de sortie de différer de la longueur d'entrée.

Formule
p(y_t \mid y_{<t}, c)
3

L'encodeur et le décodeur sont entraînés conjointement pour maximiser la vraisemblance de la séquence cible correcte étant donné la source — la supervision provient d'exemples source-cible appariés. L'ajout d'un mécanisme d'attention, qui permet au décodeur de revenir sur tous les états de l'encodeur plutôt que sur un seul contexte fixe, améliore les performances, et un GPU est recommandé pour l'entraînement.

Formule
\max_{\theta} \sum \log p(y \mid x; \theta)

Pièges courants

  • Entraînement sur trop peu de paires source-cible, où le modèle surajuste et échoue à apprendre la transformation.
  • Omission d'un mécanisme d'attention sur de longues séquences et perte du contexte distant.
  • Tentative d'entraînement sans ressources GPU et abandon avant convergence.
  • Utilisation de Seq2Seq pour une tâche à sortie fixe qu'un classifieur ou régresseur plus simple gérerait mieux.

Questions fréquentes

Quelle quantité de données Seq2Seq nécessite-t-il ?

Il nécessite des exemples source-cible appariés — idéalement au moins environ 500. En dessous d'environ 200 paires, le modèle surajuste et ne parvient pas à apprendre la transformation de séquence ; avec très peu de données, un modèle plus simple tel que les forêts aléatoires (Random Forest) ou XGBoost est plus sûr.

Ai-je besoin d'un GPU ?

Un GPU est recommandé. L'entraînement d'un encodeur-décodeur sur de nombreuses paires de séquences est coûteux en calcul, et l'entraînement sur CPU seul est souvent d'une lenteur rédhibitoire.

Que fait l'ajout de l'attention ?

L'attention permet au décodeur de revenir sur tous les états de l'encodeur à chaque étape au lieu de s'appuyer sur un seul vecteur de contexte fixe. Cela supprime le goulot d'étranglement informationnel des longues séquences et améliore considérablement la qualité de la sortie.

En quoi Seq2Seq diffère-t-il d'un classifieur ?

Un classifieur produit une sortie fixe telle qu'une seule étiquette. Seq2Seq produit une séquence de sortie de longueur variable dont la longueur est décidée pendant la génération, ce qui le rend adapté à la traduction, au résumé et à des tâches similaires.

Méthodes associées

Sources

  1. Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.

    Ouvrir la référence de la publication
    Copié.
  2. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.

    Ouvrir la référence DOI
    Copié.