Skip to content
Retour aux résultats

Transformer affiné

Introduite par
Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
Année
2017–2019
Type
Transfer learning / supervised fine-tuning
Famille
Deep learning / NLP / CV

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'affinage d'un Transformer adapte un grand modèle pré-entraîné — tel que BERT, GPT ou ViT — à une tâche spécifique en aval en poursuivant l'entraînement basé sur le gradient sur un jeu de données cible étiqueté.

Ce paradigme en deux étapes (pré-entraînement puis affinage) obtient constamment des résultats de pointe dans les tâches de NLP et de vision par ordinateur avec beaucoup moins de données spécifiques à la tâche que l'entraînement à partir de zéro.

L’intuition derrière la méthode

Un Transformer pré-entraîné a déjà acquis de riches représentations du langage ou des images à partir de vastes corpus. L'affinage s'apparente à l'embauche d'un expert qui connaît déjà profondément le domaine et à l'enseignement de votre travail spécifique. Plutôt que de réécrire toutes ses connaissances à partir de zéro, vous ajoutez une petite tête de sortie pour votre tâche et mettez à jour l'ensemble du réseau avec un faible taux d'apprentissage sur vos exemples étiquetés. Les poids pré-entraînés fournissent un point de départ chaud et puissant, de sorte que même quelques centaines d'exemples étiquetés peuvent produire de solides performances — ce qui est impossible lors de l'entraînement à partir de zéro.

Histoire

L'architecture Transformer a été introduite par Vaswani et al. en 2017, remplaçant les réseaux récurrents par des mécanismes d'auto-attention. Howard et Ruder (2018) ont formalisé l'affinage des modèles de langage avec ULMFiT, et Devlin et al. (2019) l'ont étendu à BERT, démontrant qu'un seul modèle pré-entraîné affiné obtient les meilleurs résultats sur onze benchmarks NLP. Ce paradigme pré-entraînement-puis-affinage est rapidement devenu l'approche dominante en NLP, puis s'est étendue à la vision par ordinateur via les Vision Transformers.

Quand l’utiliser

Utilisez des Transformers affinés lorsque vous avez une tâche textuelle, d'image ou multimodale étiquetée et que vous souhaitez des performances de pointe sans entraîner un grand modèle à partir de zéro. Il excelle lorsque les données étiquetées sont limitées (quelques dizaines à quelques milliers d'exemples) car les représentations pré-entraînées portent la plupart des connaissances requises. Particulièrement fort pour les tâches NLP telles que la classification, NER et la réponse aux questions, et de plus en plus pour les tâches de vision via ViT. Ne pas utiliser lorsque l'environnement de déploiement ne peut pas supporter l'inférence de grands modèles (par exemple, appareils périphériques avec des budgets de latence/mémoire stricts sans quantification), lorsque le domaine de pré-entraînement est radicalement différent du domaine cible et qu'aucun point de contrôle spécifique au domaine n'existe, ou lorsque la transparence complète du modèle et l'interprétabilité des coefficients sont requises par les examinateurs ou les régulateurs.

Limites et points d’attention

  • Les modèles Transformer pré-entraînés sont volumineux (110M–milliards de paramètres), nécessitant une mémoire GPU et une puissance de calcul substantielles pour l'affinage.
  • Boîte noire par nature ; l'affinage standard ne produit aucun coefficient interprétable, ce qui peut entrer en conflit avec les normes de reporting académique.
  • Les performances peuvent être instables selon les graines aléatoires, en particulier sur de petits jeux de données cibles, nécessitant plusieurs exécutions pour obtenir des estimations fiables.
  • Risque d'oubli catastrophique si le taux d'apprentissage ou le nombre d'époques est trop élevé.
  • Nécessite un alignement entre le domaine de pré-entraînement et le domaine cible ; les décalages dégradent considérablement les performances.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Permet d'atteindre des performances de pointe sur un large éventail de tâches avec relativement peu d'exemples étiquetés.
  • Exploite des milliards de paramètres de représentations pré-apprises, réduisant considérablement les données d'entraînement requises.
  • L'architecture flexible prend en charge la classification, la régression, la génération, la prédiction structurée et les tâches de vision dans un cadre unifié.
  • Les hubs de modèles maintenus par la communauté (Hugging Face Hub) fournissent des milliers de points de contrôle spécifiques au domaine prêts à être affinés.
  • Les représentations contextuelles capturent les dépendances à longue portée que les modèles basés sur les sacs de mots et les RNN manquent.
  • Les recettes et bibliothèques d'affinage standardisées (Transformers, PyTorch Lightning) abaissent la barrière à une implémentation reproductible.

Applications

  • Classification de texte (analyse de sentiments, catégorisation de sujets, détection de discours haineux).
  • Reconnaissance d'entités nommées, étiquetage de parties du discours et autres tâches d'étiquetage de séquences.
  • Réponse aux questions et compréhension de lecture sur des corpus spécifiques au domaine.
  • Classification d'images et reconnaissance d'objets via des Vision Transformers affinés.
  • Analyse de documents biomédicaux et juridiques à l'aide de points de contrôle pré-entraînés spécifiques au domaine.
  • Tâches de langues à faibles ressources où les données étiquetées sont rares mais où un point de contrôle multilingue (mBERT, XLM-R) existe.

Comment ça marche

Comment ça marche

1

Choisissez un point de contrôle Transformer dont le domaine de pré-entraînement correspond à la tâche cible. Pour les tâches textuelles, des modèles comme BERT, RoBERTa ou GPT-2 pré-entraînés sur de grands corpus sont standards. Pour les tâches d'image, les variantes de Vision Transformer (ViT) pré-entraînées sur ImageNet ou CLIP sont courantes. Les modèles pré-entraînés spécifiques au domaine (par exemple, BioBERT, LegalBERT) sont préférables lorsque le vocabulaire du domaine cible diverge des corpus à usage général.

2

Ajoutez une tête légère spécifique à la tâche au-dessus de la dernière couche du Transformer : une couche de classification linéaire pour la classification de séquences, une couche linéaire au niveau du token pour l'étiquetage de séquences (NER, POS), ou une tête d'extraction de segments pour la réponse aux questions. Seule cette tête est initialisée aléatoirement ; le corps du Transformer conserve les poids pré-entraînés.

3

Tokenisez le jeu de données cible étiqueté en utilisant le tokeniseur d'origine du modèle pour préserver l'alignement du vocabulaire. Appliquez la troncature et le remplissage pour adapter la longueur de séquence maximale du modèle. Divisez en ensembles d'entraînement et de validation ; stratifiez par classe si les étiquettes de classification sont déséquilibrées. Calculez les poids de classe ou appliquez un suréchantillonnage si un déséquilibre sévère existe.

4

Entraînez l'ensemble du modèle de bout en bout sur les données cibles en utilisant un faible taux d'apprentissage (typiquement 1e-5 à 5e-5 pour les modèles de la famille BERT) et un court calendrier (2–5 époques pour la plupart des tâches NLP). Un échauffement linéaire du taux d'apprentissage sur les 10 % premiers pas, suivi d'une décroissance linéaire, est une pratique standard. Surveillez la perte de validation à chaque époque et appliquez un arrêt précoce pour éviter l'oubli catastrophique des connaissances pré-entraînées.

Formule
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

Évaluez sur un ensemble de test réservé en utilisant des métriques appropriées à la tâche : précision et F1 macro pour la classification, F1 au niveau du segment pour NER et QA, ROUGE ou BERTScore pour la summarisation. Rapportez les performances sur plusieurs graines aléatoires car les résultats de l'affinage peuvent être sensibles à l'initialisation, en particulier sur de petits jeux de données.

Pièges courants

  • Utilisation d'un taux d'apprentissage trop élevé (supérieur à 1e-4) provoquant l'oubli catastrophique des poids pré-entraînés.
  • Affinage pendant trop d'époques sans arrêt précoce, conduisant au surajustement sur de petits jeux de données cibles.
  • Rapport des résultats d'une seule exécution d'affinage sans moyenne sur plusieurs graines, masquant une variance élevée.
  • Ignorer l'alignement de la tokenisation en utilisant un tokeniseur différent de celui utilisé lors du pré-entraînement.
  • Sélection d'un point de contrôle à usage général alors qu'un modèle spécifique au domaine (par exemple, BioBERT, SciBERT) est disponible et clairement plus approprié.

Questions fréquentes

Combien d'exemples étiquetés me faut-il pour affiner un Transformer ?

Cela dépend de la complexité de la tâche, mais les Transformers sont particulièrement efficaces en termes de données. Les tâches de classification fonctionnent souvent bien avec quelques centaines à quelques milliers d'exemples étiquetés. Pour des jeux de données très petits (moins d'environ 200 exemples), les méthodes few-shot ou efficaces en paramètres telles que LoRA ou le prompt tuning peuvent être plus stables.

Dois-je geler le corps du Transformer et n'entraîner que la tête ?

L'affinage complet de bout en bout surpasse systématiquement l'entraînement de la tête seule dans la plupart des contextes. Le gel du corps est principalement utile lorsque vous avez très peu d'exemples ou des ressources de calcul très limitées, mais cela sacrifie l'adaptation spécifique à la tâche des représentations.

Quel taux d'apprentissage dois-je utiliser ?

Les modèles de la famille BERT sont sensibles au taux d'apprentissage. Des valeurs comprises entre 1e-5 et 5e-5 avec un échauffement linéaire sur 6–10 % des pas totaux sont des points de départ standard. Des taux supérieurs à 1e-4 provoquent généralement un oubli catastrophique.

Comment choisir entre différents points de contrôle pré-entraînés ?

Privilégiez les points de contrôle adaptés au domaine (BioBERT pour le biomédical, LegalBERT pour le texte juridique, SciBERT pour le scientifique) lorsqu'ils sont disponibles. Pour les tâches générales, RoBERTa ou DeBERTa surpassent généralement BERT standard. Consultez le classement des modèles Hugging Face pour les benchmarks spécifiques aux tâches.

Le Transformer affiné est-il suffisamment interprétable pour le reporting académique ?

Pas au sens traditionnel du reporting de coefficients. Cependant, la visualisation de l'attention, les gradients intégrés et les explications basées sur SHAP peuvent révéler quels tokens pilotent les prédictions. Ces techniques sont de plus en plus acceptées dans la recherche appliquée en NLP, mais peuvent ne pas satisfaire les examinateurs dans des contextes de sciences sociales strictement confirmatoires.

Méthodes associées

Sources

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.

    Ouvrir la référence de la publication
    Copié.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    Ouvrir la référence de la publication
    Copié.