Skip to content
Retour aux résultats

Longformer / BigBird

Introduite par
Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
Année
2020
Type
Sparse-attention Transformer for long sequences

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Les transformeurs pour séquences longues, tels que Longformer (Beltagy, Peters & Cohan, 2020) et BigBird (Zaheer et al., 2020), remplacent l'attention quadratique O(n²) du transformeur standard par des motifs d'attention épars dont la complexité est linéaire, O(n), par rapport à la longueur de la séquence.

Cela permet à un modèle unique de traiter des milliers de jetons — documents complets, textes juridiques ou séquences génomiques — qui ne rentreraient pas dans un transformeur conventionnel.

L’intuition derrière la méthode

Un transformeur standard compare chaque jeton à tous les autres jetons ; doubler le texte quadruple donc approximativement le travail — c'est pourquoi la plupart des modèles sont limités à environ 512 jetons. Les transformeurs pour séquences longues observent que la plupart des relations utiles sont locales ; ainsi, chaque jeton examine principalement ses voisins proches via une fenêtre glissante, tandis que quelques jetons désignés peuvent examiner l'ensemble. Cela maintient la complexité croissante proportionnellement à la longueur du texte au lieu de l'exploser, rendant ainsi les documents très longs traitables.

Histoire

Les deux méthodes sont apparues en 2020 en réponse au goulot d'étranglement de l'attention quadratique qui limitait les transformeurs aux entrées courtes. Longformer (Beltagy, Peters & Cohan) a introduit l'attention par fenêtre glissante plus globale pour les documents longs, tandis que BigBird (Zaheer et al., NeurIPS) a ajouté une attention aléatoire à son motif épars et a fourni des résultats théoriques sur son expressivité. Ensemble, elles ont établi l'attention éparse comme la voie standard pour traiter les séquences longues.

Quand l’utiliser

Utilisez des transformeurs pour séquences longues lorsque vous avez des textes de documents longs (typiquement au-delà de 512 jetons) et que vous avez besoin d'une classification ou d'une explication sur l'ensemble du document — rapports longs, textes juridiques ou séquences génomiques. Ils supposent que des entrées réellement longues sont disponibles, un GPU est fortement recommandé, et les positions des jetons globaux doivent être choisies judicieusement. Ils nécessitent une quantité raisonnable de données : en dessous d'environ 500 documents, le modèle a tendance à surapprendre, et en dessous d'environ 100 documents, l'entraînement n'est pas significatif et l'apprentissage automatique classique tel que Random Forest ou XGBoost est préférable.

Limites et points d’attention

  • Un GPU est pratiquement requis ; l'entraînement et l'inférence sont coûteux en calcul.
  • Surapprend sur de petits ensembles de documents — en dessous d'environ 500 documents, les résultats ne sont pas fiables.
  • En dessous d'environ 100 documents, l'entraînement n'est pas significatif et l'apprentissage automatique classique devrait être utilisé à la place.
  • Les positions des jetons globaux doivent être choisies correctement, sinon le flux d'informations à longue portée se dégrade.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Traite des milliers de jetons — documents entiers — qui dépassent la fenêtre d'un transformeur standard.
  • Mise à l'échelle linéaire de l'attention O(n) au lieu du coût quadratique O(n²) de l'attention dense.
  • Combine le contexte local de fenêtre glissante avec des jetons globaux pour le flux d'informations à longue portée.
  • Bien adapté à la classification de documents longs dans les domaines juridique, génomique et des textes longs.

Applications

  • Classification de documents longs tels que des rapports et des articles.
  • Analyse de textes juridiques qui dépassent les fenêtres des transformeurs standard.
  • Modélisation de longues séquences génomiques.
  • Tâches d'explication et de classification sur des textes complets plutôt que sur des extraits tronqués.

Comment ça marche

Comment ça marche

1

L'idée principale est de supprimer l'attention dense, par paires, du transformeur standard — qui coûte O(n²) en fonction de la longueur de séquence n — et de l'approximer par un motif épars dont le coût n'est que O(n). L'attention étant le goulot d'étranglement, cette seule modification permet de traiter des entrées de plusieurs milliers de jetons.

Formule
O(n^2) \;\rightarrow\; O(n)
2

La majeure partie de l'attention est limitée à une fenêtre glissante autour de chaque jeton ; ainsi, un jeton porte son attention sur un nombre fixe de jetons voisins plutôt que sur la séquence entière. Le contexte local — les mots environnants — porte la majeure partie du signal, et le calcul de cette seule bande fait croître le coût linéairement avec la longueur.

3

Un petit ensemble de jetons globaux désignés peuvent porter leur attention sur toute la séquence et être la cible de l'attention de toute la séquence, donnant au modèle un moyen pour que l'information à longue portée circule à travers le document. Choisir correctement la position de ces jetons globaux (par exemple, un jeton de classification ou des jetons de requête) est important, car ils constituent le pont entre les parties distantes du texte.

4

Au-dessus de l'encodeur à attention éparse, une tête de tâche produit le résultat final — par exemple, une classification au niveau du document ou une prédiction explicative sur la longue entrée. Le résultat est un modèle capable de traiter des documents complets qu'un transformeur de 512 jetons devrait tronquer.

Pièges courants

  • Appliquer ces modèles à des textes courts qui rentrent dans un transformeur standard de 512 jetons, en payant la complexité sans bénéfice.
  • Choisir négligemment les positions des jetons globaux, rompant ainsi les voies d'information à longue portée du modèle.
  • Entraîner sur un petit ensemble de documents (n inférieur à quelques centaines) et faire confiance au résultat de surapprentissage.
  • Tenter d'entraîner sans GPU et abandonner la création d'un modèle fonctionnel.

Questions fréquentes

Quelle est la différence avec un transformeur standard comme BERT ?

Un transformeur standard utilise une attention dense, comparant chaque jeton à tous les autres jetons avec un coût O(n²), ce qui en pratique limite les entrées à environ 512 jetons. Longformer et BigBird utilisent une attention éparse — principalement des fenêtres glissantes locales plus quelques jetons globaux — de sorte que le coût croît linéairement et que des entrées de plusieurs milliers de jetons deviennent réalisables.

Quand devrais-je préférer Longformer ou BigBird à l'apprentissage automatique classique ?

Utilisez-les lorsque votre texte est réellement long (au-delà de 512 jetons) et que vous disposez de suffisamment de documents. Avec moins d'environ 500 documents, le modèle a tendance à surapprendre, et avec moins d'environ 100 documents, l'entraînement n'est pas significatif — les méthodes classiques telles que Random Forest ou XGBoost sont alors le choix le plus sûr.

Que sont les jetons globaux et pourquoi sont-ils importants ?

Les jetons globaux sont un petit ensemble de positions autorisées à porter leur attention sur toute la séquence et à être la cible de l'attention de toute la séquence. Ils constituent le canal par lequel l'information à longue portée circule à travers le document, il est donc important de choisir correctement leurs positions pour les performances.

Ai-je besoin de matériel spécial ?

Un GPU est fortement recommandé. Ces modèles traitent toujours de longues séquences avec des réseaux de taille conséquente, de sorte que l'entraînement et l'inférence sont exigeants en calcul, même avec l'attention à mise à l'échelle linéaire.

Méthodes associées

Sources

  1. Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.

    Ouvrir la référence de la publication
    Copié.
  2. Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.

    Ouvrir la référence de la publication
    Copié.