Classification par BERT affiné
- Introduite par
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
- Année
- 2019
- Type
- Pre-trained transformer fine-tuned for classification
- Famille
- Deep learning / NLP / CV
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La classification par BERT affiné adapte un transformeur BERT pré-entraîné à une tâche spécifique de classification de texte en ajoutant une couche de sortie légère et en poursuivant l'entraînement basé sur le gradient sur des exemples étiquetés.
Elle atteint de manière constante une précision proche de l'état de l'art pour l'analyse des sentiments, la catégorisation thématique, la détection d'intention et d'autres tâches de classification NLP avec des jeux de données étiquetés relativement petits.
L’intuition derrière la méthode
BERT est pré-entraîné sur de vastes quantités de texte non étiqueté, apprenant des représentations contextuelles riches du langage. L'affinage réoriente ces connaissances générales en attachant une simple tête de classification au-dessus et en entraînant l'ensemble du modèle — ou seulement la tête — sur vos exemples étiquetés. Comme BERT comprend déjà la syntaxe, la sémantique et les connaissances du monde, le modèle nécessite beaucoup moins d'exemples étiquetés que l'entraînement d'un classifieur neuronal à partir de zéro, et il converge plus rapidement vers une précision plus élevée. Le jeton [CLS] représente un résumé au niveau de la phrase que le classifieur lit.
Histoire
BERT (Bidirectional Encoder Representations from Transformers) a été introduit par Google AI en 2019 par Devlin et al., s'appuyant sur l'architecture Transformer de Vaswani et al. (2017). Ses tâches de pré-entraînement de modélisation du langage masqué et de prédiction de la phrase suivante ont produit des représentations contextuelles profondes qui ont surpassé l'état de l'art précédent sur onze benchmarks NLP simultanément. L'affinage de BERT pour la classification est rapidement devenu le paradigme dominant dans la recherche NLP appliquée, engendrant des successeurs tels que RoBERTa, DistilBERT et ALBERT.
Quand l’utiliser
Utilisez la classification par BERT affiné lorsque vous disposez de données textuelles avec des catégories étiquetées et que vous avez besoin d'une grande précision pour des tâches telles que l'analyse des sentiments, la détection d'intention, l'étiquetage thématique ou le triage de documents. Elle excelle même avec quelques centaines à quelques milliers d'exemples étiquetés, car le pré-entraînement fournit de riches connaissances a priori. Préférez-la aux classifieurs traditionnels de sac de mots lorsque le sens contextuel est important. Ne l'utilisez pas lorsque les ressources informatiques sont sévèrement limitées (l'inférence sur CPU est lente), lorsque le domaine textuel est radicalement différent du texte web standard et qu'aucun point de contrôle spécifique au domaine n'existe, ou lorsque l'interprétabilité complète des poids des caractéristiques individuelles est requise par les examinateurs ou les régulateurs.
Limites et points d’attention
- Empreinte mémoire et calcul élevée aux temps d'affinage et d'inférence ; un GPU est effectivement requis pour un débit pratique.
- Fenêtre de contexte limitée (512 jetons pour BERT de base) ; les documents plus longs que cela doivent être tronqués ou divisés.
- Les internes du modèle restent largement opaques, ce qui peut entrer en conflit avec les exigences réglementaires ou d'évaluation par les pairs en matière d'interprétabilité.
- Risque d'oubli catastrophique si le taux d'apprentissage est trop élevé ou si l'entraînement dure trop longtemps.
- Les performances se dégradent sur des domaines très spécialisés (notes cliniques, contrats juridiques) à moins qu'un point de contrôle adapté au domaine ne soit utilisé.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Atteint une précision proche de l'état de l'art sur la plupart des benchmarks de classification de texte avec des données étiquetées limitées.
- Capture le sens contextuel à longue portée que les modèles sac de mots et TF-IDF manquent.
- L'apprentissage par transfert réduit considérablement les données étiquetées et le temps d'entraînement requis par rapport à l'entraînement à partir de zéro.
- Vaste écosystème de points de contrôle pré-entraînés spécifiques au domaine (biomédical, juridique, financier, multilingue) via HuggingFace.
- API cohérente entre les tâches — la même recette d'affinage s'applique aux paramètres binaires, multi-classes et multi-étiquettes.
- La tokenisation intégrée par sous-mots gère gracieusement les langues morphologiquement riches, les mots rares et les fautes de frappe.
Applications
- Analyse des sentiments des critiques de produits, des publications sur les réseaux sociaux et des réponses aux enquêtes.
- Détection d'intention et extraction de paramètres dans les systèmes de dialogue et les assistants virtuels.
- Étiquetage thématique et catégoriel pour les articles de presse, les résumés ou les tickets de support.
- Classification de textes cliniques telle que la gravité du triage ou l'attribution de codes CIM à l'aide de BioBERT spécifique au domaine.
- Détection de discours haineux et de toxicité dans les pipelines de modération de contenu.
- Classification de documents juridiques et identification de types de clauses à l'aide de variantes de BERT juridiques.
Comment ça marche
Comment ça marche
Un point de contrôle BERT pré-entraîné (par exemple, bert-base-uncased ou une variante spécifique au domaine) est chargé avec toutes ses couches de transformeur figées ou non figées. Le tokeniseur convertit le texte brut en jetons de sous-mots WordPiece, préfixant le jeton spécial [CLS] utilisé comme représentation de la séquence, et ajoute des séparateurs [SEP].
Une tête de classification linéaire mappe l'état caché final du jeton [CLS] aux scores logit sur l'ensemble des classes cibles. La perte d'entropie croisée est calculée entre la distribution prédite et les étiquettes de référence. C'est le seul bloc de poids nouvellement initialisé ; tout le reste est hérité du pré-entraînement.
Formule
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})Tous les paramètres du modèle — ou un sous-ensemble sélectionné tel que les N couches de transformeur supérieures — sont mis à jour conjointement par rétropropagation à l'aide d'un faible taux d'apprentissage (typiquement 2e-5 à 5e-5). L'entraînement dure deux à quatre époques ; plus d'époques risquent l'oubli catastrophique des représentations pré-entraînées.
Le dropout (généralement 0.1) appliqué avant la tête de classification, combiné à un arrêt précoce ou à un échauffement linéaire du taux d'apprentissage avec décroissance, protège contre le surajustement. Les jeux de données déséquilibrés bénéficient d'une perte pondérée ou d'un suréchantillonnage de la classe minoritaire avant l'affinage.
Lors de l'inférence, l'entrée tokenisée est transmise à travers le modèle affiné, et l'argmax de la sortie softmax sélectionne la classe prédite. L'étalonnage des scores de confiance est recommandé si les décisions en aval dépendent de seuils de probabilité.
Formule
\hat{y} = \arg\max_k\, p(y=k|x)Pièges courants
- Utiliser un taux d'apprentissage trop élevé (supérieur à 5e-5), ce qui déstabilise les poids pré-entraînés et effondre les performances.
- Affinage pendant trop d'époques sans arrêt précoce, entraînant un oubli catastrophique des connaissances linguistiques pré-entraînées.
- Ignorer le déséquilibre des classes dans la perte d'affinage, amenant le modèle à prédire presque exclusivement la classe majoritaire.
- Tronquer les longs documents à 512 jetons sans considérer quelle partie du texte porte l'information la plus pertinente.
- Évaluer uniquement sur la distribution d'entraînement et ne pas tester la généralisation sur un ensemble réservé ou hors domaine.
Questions fréquentes
Combien d'exemples étiquetés me faut-il pour affiner BERT efficacement ?
L'affinage de BERT peut bien fonctionner avec aussi peu que quelques centaines d'exemples par classe pour des tâches binaires simples, et atteint généralement de solides performances avec 1 000 à 10 000 instances étiquetées. Pour les environnements à très faibles ressources, les approches d'apprentissage à quelques coups (few-shot) ou basées sur des invites (prompt-based) peuvent surpasser l'affinage standard.
Dois-je affiner toutes les couches ou seulement la tête de classification ?
L'affinage conjoint de toutes les couches donne généralement la meilleure précision, à condition d'utiliser un faible taux d'apprentissage (2e-5 à 5e-5). Geler la plupart des couches et n'entraîner que la tête est plus rapide et plus sûr lorsque les données étiquetées sont très rares, mais sacrifie généralement plusieurs points de précision.
Comment gérer les documents de plus de 512 jetons ?
Les stratégies courantes incluent la troncature aux 512 premiers jetons (souvent suffisants pour les indices de classification au début), la mise en commun par fenêtre glissante sur des morceaux qui se chevauchent, ou des encodeurs hiérarchiques qui agrègent les représentations au niveau des morceaux. Le meilleur choix dépend de l'endroit où le contenu discriminant la classe apparaît dans vos documents.
Quelle variante de BERT choisir ?
Commencez avec bert-base-uncased pour le texte de domaine général en anglais. Utilisez un point de contrôle spécifique au domaine (par exemple, BioBERT pour le biomédical, LegalBERT pour le juridique) lorsque votre texte diffère considérablement de Wikipédia et BookCorpus. RoBERTa-base surpasse souvent BERT sur les benchmarks de classification et constitue une alternative solide.
Comment rapporter les résultats pour une publication ?
Rapportez la précision, le rappel et le F1 macro aux côtés de la précision, en particulier pour les jeux de données déséquilibrés. Exécutez l'affinage avec plusieurs graines aléatoires (au moins trois) et rapportez la moyenne et l'écart type pour montrer la stabilité des résultats. Incluez une évaluation sur un ensemble de test réservé qui n'a jamais été utilisé pour la sélection des hyperparamètres.
Méthodes associées
Sources
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
Ouvrir la référence DOICopié.Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.
Ouvrir la référence DOICopié.