Skip to content
Retour aux résultats

Ajustement fin de BERT

Introduite par
Devlin, J. et al.
Année
2019
Type
Transfer learning (fine-tuning a pre-trained transformer)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'ajustement fin de BERT, s'appuyant sur le modèle BERT introduit par Devlin et ses collègues en 2019, réentraîne un modèle BERT pré-entraîné sur un petit jeu de données étiqueté pour une tâche cible telle que la classification, la reconnaissance d'entités nommées ou la réponse aux questions.

Grâce à l'apprentissage par transfert, il atteint des performances élevées même avec relativement peu de données spécifiques à la tâche.

L’intuition derrière la méthode

Entraîner un modèle de langage à partir de zéro nécessite d'énormes quantités de texte et de calcul. BERT a déjà appris des représentations riches et générales du langage lors du pré-entraînement, donc au lieu de recommencer, vous prenez ce modèle et vous l'ajustez doucement à votre tâche. Avec seulement un petit jeu de données étiqueté, le modèle adapte ses connaissances existantes à votre problème, c'est pourquoi l'ajustement fin fonctionne là où l'entraînement d'un modèle à partir de zéro échouerait.

Histoire

BERT a été introduit par Devlin et ses collègues en 2019, démontrant que les transformeurs bidirectionnels profonds pré-entraînés sur de grands corpus pouvaient être ajustés finement pour atteindre des résultats de pointe dans de nombreuses tâches de compréhension du langage. Des guides pratiques tels que les travaux de Sun et ses collègues en 2019 sur la manière d'ajuster finement BERT pour la classification de texte ont contribué à établir l'ajustement fin comme une recette standard pour adapter les grands modèles de langage pré-entraînés à des tâches spécifiques.

Quand l’utiliser

Utilisez l'ajustement fin de BERT pour les tâches textuelles — classification, prédiction ou extraction de relations telles que la reconnaissance d'entités nommées et la réponse aux questions — sur des variables textuelles, avec au moins environ 50 exemples étiquetés et idéalement plusieurs centaines ou plus. Il suppose qu'un modèle BERT pré-entraîné est disponible et que vous disposez de données de tâche étiquetées ; un GPU est recommandé. En dessous d'environ 500 exemples étiquetés, le modèle a tendance au surajustement, et en dessous d'environ 50, l'ajustement fin n'est pas viable — l'apprentissage automatique classique basé sur TF-IDF est alors le choix le plus sûr.

Limites et points d’attention

  • Sur de petits jeux de données étiquetés (moins d'environ 500 exemples), l'ajustement fin surajuste et les sorties deviennent peu fiables.
  • Avec très peu de données étiquetées (moins d'environ 50), l'ajustement fin n'est pas du tout faisable.
  • Un GPU est recommandé, donc les exigences de calcul sont plus élevées que pour les modèles textuels classiques.
  • Dépend de la disponibilité d'un modèle BERT pré-entraîné approprié pour la langue et le domaine.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • L'apprentissage par transfert offre des performances élevées même avec relativement peu de données étiquetées.
  • Capture le contexte bidirectionnel, gérant le sens des mots qui dépend du texte environnant.
  • Un seul backbone pré-entraîné sert de nombreuses tâches : classification, reconnaissance d'entités nommées, réponse aux questions.
  • Évite le coût énorme en données et en calcul de l'entraînement d'un modèle de langage à partir de zéro.

Applications

  • Classification de texte telle que l'analyse de sentiments et l'étiquetage de sujets.
  • Reconnaissance d'entités nommées (REN) sur du texte.
  • Réponse aux questions et extraction d'intervalles.
  • Adaptation d'un modèle de langage pré-entraîné général à un domaine spécifique avec des données étiquetées limitées.

Comment ça marche

Comment ça marche

1

Vous partez d'un modèle BERT pré-entraîné qui a déjà appris des représentations bidirectionnelles du langage à partir de grands corpus de texte. Ce modèle pré-entraîné porte des connaissances linguistiques générales qui se transfèrent à votre tâche cible, vous n'apprenez donc pas la structure du langage à partir de zéro.

2

Une couche de sortie spécifique à la tâche est attachée au-dessus de BERT pour votre tâche cible — par exemple une tête de classification pour l'étiquetage de sentiments, une tête au niveau du token pour la reconnaissance d'entités nommées, ou une tête d'intervalle pour la réponse aux questions. Cette tête transforme les représentations contextuelles de BERT en prédictions pour votre tâche.

3

Le modèle combiné est réentraîné sur votre petit jeu de données de tâche étiqueté, mettant à jour les poids pour qu'ils se spécialisent pour la tâche. Typiquement, le modèle est entraîné pendant quelques époques ; un GPU est recommandé car le réseau sous-jacent est grand. Le résultat est un modèle qui mappe les entrées textuelles aux prédictions de la tâche.

Formule
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)

Pièges courants

  • Ajustement fin sur trop peu d'exemples étiquetés et confiance dans les métriques résultantes.
  • Sauter un ensemble d'évaluation réservé, de sorte que le surajustement sur un petit jeu de données passe inaperçu.
  • Opter pour BERT alors qu'un modèle classique basé sur TF-IDF serait plus fiable sur des données minuscules.
  • Entraînement pendant trop d'époques sur un petit jeu de données, ce qui amplifie le surajustement.

Questions fréquentes

Quelle quantité de données étiquetées me faut-il ?

L'ajustement fin est viable à partir d'environ 50 exemples étiquetés, mais les performances sont plus fiables avec plusieurs centaines ou plus. En dessous d'environ 500 exemples, le modèle a tendance au surajustement, et en dessous d'environ 50, l'ajustement fin n'est pas faisable — un modèle classique basé sur TF-IDF est plus sûr dans ce cas.

Ai-je besoin d'un GPU ?

Un GPU est recommandé car le réseau BERT est grand et l'entraînement sur CPU est lent. L'ajustement fin s'exécute généralement pendant seulement quelques époques, ce qui maintient le calcul gérable sur un GPU.

Pourquoi faire un ajustement fin plutôt qu'un entraînement à partir de zéro ?

BERT a déjà appris des représentations générales bidirectionnelles du langage lors du pré-entraînement. L'ajustement fin réutilise ces connaissances par apprentissage par transfert, vous atteignez donc des performances élevées avec beaucoup moins de données étiquetées et de calcul que pour entraîner un modèle à partir de zéro.

Quelles tâches l'ajustement fin de BERT peut-il gérer ?

En attachant une tête de sortie spécifique à la tâche, vous pouvez utiliser le même backbone pré-entraîné pour la classification, la reconnaissance d'entités nommées et la réponse aux questions, parmi d'autres tâches textuelles.

Méthodes associées

Sources

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    Ouvrir la référence DOI
    Copié.
  2. Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.

    Ouvrir la référence DOI
    Copié.