Skip to content
Retour aux résultats

Transformeur (traitement du langage naturel)

Introduite par
Vaswani, A. et al.
Année
2017
Type
Attention-based deep neural network

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le Transformeur est un modèle d'apprentissage profond basé sur l'attention, introduit par Vaswani et ses collègues en 2017, qui effectue la classification de texte, la reconnaissance d'entités nommées et la modélisation linguistique en permettant à chaque jeton d'une séquence de se référer directement à tous les autres jetons.

Il a remplacé les conceptions récurrentes antérieures par un mécanisme d'auto-attention qui traite des séquences entières en parallèle.

L’intuition derrière la méthode

Les modèles de séquence antérieurs lisaient le texte mot par mot, peinant à connecter des mots éloignés dans une phrase. Le Transformeur, au lieu de cela, permet à chaque mot d'examiner tous les autres mots simultanément et de décider lesquels sont pertinents pour sa signification. Ce mécanisme d'attention est ce qui permet au modèle de capturer le contexte à longue portée dans le langage et d'apprendre des représentations riches et réutilisables du texte.

Histoire

Le Transformeur a été introduit par Vaswani et ses collègues dans l'article de 2017 « Attention Is All You Need », qui a montré qu'une architecture entièrement basée sur l'attention — sans récurrence — pouvait égaler ou dépasser les modèles de séquence précédents. Il est devenu la base des modèles de langage pré-entraînés tels que BERT et GPT, qui sont maintenant le point de départ standard pour la plupart des tâches de traitement du langage naturel.

Quand l’utiliser

Convient bien à la classification de texte, à la reconnaissance d'entités nommées et à la modélisation linguistique sur de grands ensembles de données textuelles — au moins environ 500 documents — où une compréhension contextuelle approfondie du langage est importante. Il ne nécessite pas de données normalement distribuées, mais il suppose un grand corpus de texte, et l'utilisation d'un modèle pré-entraîné (tel que BERT ou GPT) est recommandée. En dessous d'environ 500 exemples, le mécanisme d'attention ne peut pas apprendre de motifs fiables, et en dessous d'environ 100, un modèle profond est inutile ; l'apprentissage automatique classique tel que Random Forest ou XGBoost est le choix le plus sûr.

Limites et points d’attention

  • Nécessite de grands ensembles de données textuelles (environ 500 exemples ou plus) pour apprendre des motifs fiables.
  • En dessous d'environ 100 exemples, l'entraînement d'un modèle profond n'a pas de sens et l'apprentissage automatique classique suffit.
  • L'entraînement est coûteux en calcul et repose généralement sur des modèles pré-entraînés.
  • Ses représentations internes sont difficiles à interpréter par rapport aux modèles à coefficients explicites.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • L'auto-attention capture les dépendances à longue portée sur une séquence entière, contrairement aux modèles récurrents mot par mot.
  • Traite les séquences en parallèle, rendant l'entraînement sur de grands corpus de texte beaucoup plus évolutif.
  • Les modèles pré-entraînés (BERT, GPT) peuvent être affinés, transférant les connaissances à des tâches avec des données étiquetées limitées.
  • Gère diverses tâches linguistiques — classification, reconnaissance d'entités nommées (NER) et modélisation linguistique — au sein d'une seule architecture.
  • Aucune hypothèse de distribution : il ne nécessite pas de données normalement distribuées.

Applications

  • Classification de texte, telle que l'étiquetage de sentiment ou de sujet.
  • Reconnaissance d'entités nommées (REN) sur des documents.
  • Modélisation linguistique et prédiction du jeton suivant.
  • Affiner des modèles de langage pré-entraînés pour des tâches textuelles spécifiques à un domaine.

Comment ça marche

Comment ça marche

1

Le texte brut est divisé en jetons et chaque jeton est transformé en un vecteur numérique (embedding). Étant donné que l'attention n'a pas de notion d'ordre intégrée, des informations de position sont ajoutées à ces vecteurs afin que le modèle sache où chaque jeton se situe dans la séquence.

2

Le mécanisme d'auto-attention compare chaque jeton avec tous les autres jetons : les requêtes sont mises en correspondance avec les clés pour produire des poids d'attention, qui sont ensuite utilisés pour combiner les vecteurs de valeur. L'empilement de nombreuses couches d'attention de ce type permet au modèle de construire une représentation contextuelle dans laquelle chaque jeton est informé par l'ensemble de la séquence.

Formule
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Les représentations contextuelles alimentent une tête spécifique à la tâche — une étiquette pour la classification de texte, des balises par jeton pour la reconnaissance d'entités nommées, ou des probabilités de jeton suivant pour la modélisation linguistique. En pratique, un modèle pré-entraîné sur de grands corpus de texte (tels que BERT ou GPT) est affiné sur la tâche en question.

Pièges courants

  • Appliquer un Transformeur à un petit ensemble de données textuelles où l'attention ne peut pas apprendre de motifs stables.
  • Entraîner à partir de zéro au lieu d'affiner un modèle pré-entraîné tel que BERT ou GPT.
  • Ignorer le seuil de taille d'échantillon et faire confiance à un modèle profond là où l'apprentissage automatique classique ferait mieux.
  • Traiter les poids d'attention comme une explication définitive du raisonnement du modèle.

Questions fréquentes

De quelle quantité de données textuelles ai-je besoin ?

Au moins environ 500 exemples pour que le mécanisme d'attention apprenne des motifs fiables. En dessous d'environ 100, un modèle profond ne vaut pas la peine d'être entraîné et l'apprentissage automatique classique tel que Random Forest ou XGBoost est un meilleur choix.

Dois-je entraîner un Transformeur à partir de zéro ?

Généralement non. L'utilisation d'un modèle pré-entraîné tel que BERT ou GPT et son affinement sur votre tâche est recommandée, car cela transfère les connaissances acquises à partir de grands corpus et nécessite beaucoup moins de données étiquetées.

Quelles tâches gère-t-il ?

Classification de texte, reconnaissance d'entités nommées et modélisation linguistique, toutes construites sur la même architecture d'auto-attention.

Pourquoi le mécanisme d'attention est-il important ?

Il permet à chaque jeton d'une séquence de se référer directement à tous les autres jetons, capturant un contexte à longue portée que les modèles récurrents mot par mot antérieurs géraient mal.

Méthodes associées

Sources

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Ouvrir la référence de la publication
    Copié.