Skip to content
Retour aux résultats

Auto-attention multi-têtes

Introduite par
Vaswani, A. et al.
Année
2017
Type
Attention mechanism (Transformer core)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'auto-attention multi-têtes, introduite par Vaswani et ses collègues en 2017, est le mécanisme qui permet à chaque position d'une séquence de calculer sa relation avec toutes les autres positions en parallèle.

C'est le cœur de l'architecture Transformer et le fondement de BERT, GPT et T5.

L’intuition derrière la méthode

Les modèles de séquences antérieurs traitaient le texte une étape à la fois, ce qui rendait difficile la capture des relations à longue portée et lente à calculer. L'auto-attention permet plutôt à chaque jeton de regarder directement tous les autres jetons à la fois et de décider du poids à accorder à chacun, de sorte que le sens qui dépend d'un contexte distant est capturé en un seul passage parallèle.

Histoire

L'auto-attention a été introduite par Vaswani et ses collègues dans l'article de 2017 'Attention Is All You Need', qui proposait l'architecture Transformer et se dispensait entièrement de la récurrence. Elle est rapidement devenue le fondement des grands modèles de langage pré-entraînés : Devlin et ses collègues ont construit BERT sur des Transformers bidirectionnels en 2019, et le même mécanisme sous-tend GPT et T5.

Quand l’utiliser

Utilisez l'auto-attention lors de la modélisation de textes ou d'autres données séquentielles où les relations entre les éléments distants sont importantes et où vous disposez de suffisamment de données pour entraîner un grand modèle — au moins environ 100 observations, avec 500 ou plus fortement préférées. Un GPU est recommandé, l'encodage positionnel est requis, et soyez conscient que le coût de calcul croît quadratiquement avec la longueur de la séquence. Sur de très petits échantillons, il ne peut pas apprendre de représentations fiables ; des modèles d'apprentissage automatique plus simples sont plus sûrs dans ce cas.

Limites et points d’attention

  • Le coût de calcul et de mémoire croît quadratiquement avec la longueur de la séquence, rendant les séquences très longues coûteuses.
  • Un GPU est effectivement requis pour un entraînement pratique.
  • Nécessite un encodage positionnel car l'attention seule est agnostique à l'ordre.
  • Sur de petits jeux de données (n inférieur à environ 500), il surajuste et ne parvient pas à apprendre de représentations fiables.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Capture directement les dépendances à longue portée, sans le goulot d'étranglement de la récurrence étape par étape.
  • Calcul entièrement parallèle à travers les positions, qui s'adapte bien au matériel moderne.
  • Plusieurs têtes peuvent prêter attention à différents modèles de relations simultanément.
  • Sert de colonne vertébrale partagée pour BERT, GPT et T5, avec un support étendu de transfert d'apprentissage.

Applications

  • Classification de texte et autres tâches supervisées de traitement du langage naturel.
  • Prédiction et apprentissage de représentations sur des données séquentielles.
  • Pré-entraînement et affinage de grands modèles de langage tels que BERT et GPT.
  • Tout cadre où les relations à longue portée entre les éléments de séquence doivent être modélisées.

Comment ça marche

Comment ça marche

1

Chaque position d'entrée est mappée en trois vecteurs appris — une requête, une clé et une valeur — par le biais de matrices de poids distinctes. La requête représente ce qu'un jeton recherche, la clé ce que chaque jeton offre, et la valeur le contenu qui est transmis.

Formule
Q = XW_Q,\; K = XW_K,\; V = XW_V
2

Chaque requête est comparée à toutes les clés via un produit scalaire mis à l'échelle, mis à l'échelle par la racine carrée de la dimension de la clé pour maintenir la stabilité des valeurs, et passé à travers une fonction softmax pour produire des poids d'attention. La sortie de chaque position est la somme pondérée de tous les vecteurs de valeur, de sorte qu'elle mélange les informations de toute la séquence à la fois.

Formule
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
3

L'attention est exécutée plusieurs fois en parallèle sous forme de têtes distinctes, chacune avec ses propres projections, de sorte que différentes têtes peuvent se concentrer sur différents types de relations. Leurs sorties sont concaténées et projetées ensemble, et comme les positions sont par ailleurs interchangeables, un encodage positionnel est ajouté afin que les informations d'ordre soient préservées.

Formule
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_O

Pièges courants

  • Entraînement sur trop peu de données — en dessous d'environ 500 exemples, le mécanisme surajuste au lieu d'apprendre des représentations utiles.
  • Oubli de l'encodage positionnel, ce qui rend le modèle aveugle à l'ordre des mots.
  • Sous-estimation du coût quadratique des séquences longues et épuisement de la mémoire.
  • Recourir à un Transformer sur des échantillons minuscules où un modèle plus simple tel qu'une forêt aléatoire ou XGBoost ferait mieux.

Questions fréquentes

Pourquoi le score d'attention est-il mis à l'échelle par la racine carrée de la dimension de la clé ?

Sans mise à l'échelle, les produits scalaires augmentent à mesure que la dimension de la clé augmente, poussant la fonction softmax dans des régions avec des gradients évanescents. La division par la racine carrée de la dimension de la clé maintient les scores dans une plage stable.

Qu'apportent les têtes multiples ?

Chaque tête apprend ses propres projections de requête, de clé et de valeur, de sorte que différentes têtes peuvent prêter attention à différents types de relations simultanément. Leurs sorties sont concaténées et projetées ensemble en une seule représentation.

Pourquoi l'encodage positionnel est-il nécessaire ?

L'auto-attention traite les positions comme interchangeables, donc en soi, elle n'a aucune notion d'ordre. L'encodage positionnel injecte des informations sur la position de chaque jeton afin que le modèle puisse utiliser l'ordre des mots.

Quelle quantité de données est nécessaire ?

Il est gourmand en données : avec moins d'environ 500 exemples, il surajuste et ne peut pas apprendre de représentations fiables, et en dessous d'environ 100, l'entraînement d'un Transformer n'est pas significatif. Pour de petits échantillons, des modèles plus simples tels que la forêt aléatoire ou XGBoost sont préférables.

Méthodes associées

Sources

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Ouvrir la référence de la publication
    Copié.
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    Ouvrir la référence de la publication
    Copié.