Classification à zéro exemple — Classification de texte sans données d'entraînement
- Introduite par
- Yin, Hay & Roth
- Année
- 2019
- Type
- NLP text-classification task
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La classification à zéro exemple est une tâche de traitement du langage naturel qui attribue du texte à des catégories décrites en langage courant, sans nécessiter de données d'entraînement étiquetées.
Formalisée comme un problème d'inférence par Yin, Hay et Roth (2019), elle permet à un grand modèle de langage pré-entraîné de reconnaître de nouvelles catégories à la volée, simplement en les nommant, ce qui permet une adaptation rapide à de nouveaux ensembles d'étiquettes.
L’intuition derrière la méthode
Normalement, un classifieur doit voir de nombreux exemples étiquetés de chaque catégorie avant de pouvoir les reconnaître. La classification à zéro exemple saute cette étape : vous fournissez les noms des catégories sous forme de mots ordinaires — par exemple politique, sports, science — et un grand modèle de langage pré-entraîné qui comprend déjà le langage juge dans quelle mesure chaque étiquette candidate correspond au texte. Parce que le modèle apporte sa propre connaissance générale du langage, vous pouvez ajouter ou modifier des catégories instantanément sans collecter et étiqueter de nouvelles données d'entraînement.
Histoire
La classification de texte à zéro exemple a été systématiquement comparée et formulée comme un problème d'inférence textuelle par Yin, Hay et Roth (2019), qui ont montré qu'un modèle entraîné sur l'inférence en langage naturel peut classer du texte dans des catégories inédites en traitant chaque étiquette comme une hypothèse. La capacité plus large des grands modèles de langage à effectuer des tâches pour lesquelles ils n'ont jamais été explicitement entraînés a été popularisée par Brown et al. (2020) dans leurs travaux sur l'apprentissage à peu d'exemples (few-shot learning) avec GPT-3.
Quand l’utiliser
La classification à zéro exemple convient lorsque vous avez du texte à catégoriser mais pas de données d'entraînement étiquetées, et lorsque les catégories peuvent changer ou croître avec le temps. Elle nécessite un grand modèle de langage pré-entraîné (tel que des modèles d'inférence basés sur BART ou RoBERTa) et des étiquettes candidates clairement définies et disjointes. Elle est bien adaptée au prototypage rapide et aux situations où la collecte d'exemples étiquetés pour chaque classe est impraticable.
Limites et points d’attention
- Dépend d'un grand modèle de langage pré-entraîné (BART, RoBERTa), ce qui entraîne un coût de calcul.
- La précision dépend de la clarté et de la disjonction de la formulation des étiquettes candidates.
- Sans entraînement spécifique à la tâche, elle peut être surpassée par un classifieur supervisé lorsqu'il existe des données étiquetées en abondance.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Ne nécessite aucune donnée d'entraînement étiquetée — les catégories sont décrites en langage courant.
- S'adapte rapidement aux nouvelles catégories : l'ajout d'une classe ne signifie qu'ajouter son nom à la liste des étiquettes candidates.
- Tire parti des connaissances linguistiques générales déjà capturées dans un grand modèle pré-entraîné.
Applications
- Catégoriser des documents dans des ensembles d'étiquettes qui changent fréquemment sans réentraînement.
- Prototypage rapide de tâches de classification avant la collecte de données étiquetées.
- Routage ou étiquetage de texte entrant (sujets, intentions) en utilisant uniquement des noms de catégories.
- Exploration de catégories émergentes dans des corpus de textes de recherche et opérationnels.
Comment ça marche
Comment ça marche
Vous décrivez les catégories cibles comme des étiquettes candidates en langage naturel — de courtes phrases que le modèle peut lire directement. Ces étiquettes doivent être formulées clairement et être disjointes, car le modèle compare le texte à chaque étiquette telle qu'elle est écrite ; des étiquettes vagues ou qui se chevauchent brouillent la décision.
Le texte et les étiquettes candidates sont introduits dans un grand modèle de langage pré-entraîné tel que BART ou RoBERTa. Aucun ajustement sur vos propres données n'a lieu — le modèle utilise les connaissances linguistiques qu'il a acquises lors du pré-entraînement pour représenter à la fois le document et chaque étiquette candidate.
Le modèle évalue la force avec laquelle chaque étiquette candidate est soutenue par le texte, formulant la tâche comme une inférence en langage naturel : le texte implique-t-il l'hypothèse qu'il appartient à cette étiquette ? Chaque étiquette reçoit un score de compatibilité du modèle pré-entraîné.
L'étiquette ayant le score le plus élevé est attribuée au texte (ou un ensemble d'étiquettes classées pour les paramètres multi-étiquettes). Parce que l'évaluation repose entièrement sur le modèle pré-entraîné, l'ajout d'une nouvelle catégorie est aussi simple que d'ajouter son nom à la liste des candidates.
Pièges courants
- Des étiquettes candidates vagues ou qui se chevauchent brouillent les décisions du modèle ; définissez chaque étiquette clairement et maintenez-les disjointes.
- S'attendre à ce que la précision à zéro exemple corresponde à celle d'un classifieur entièrement supervisé lorsqu'il y a beaucoup de données étiquetées — dans ce cas, entraînez plutôt un modèle supervisé.
- L'utilisation d'un modèle petit ou générique plutôt qu'un grand modèle capable d'inférence dégrade les résultats.
- La formulation des étiquettes dans une langue que le modèle pré-entraîné ne gère pas bien réduit la fiabilité.
Questions fréquentes
La classification à zéro exemple nécessite-t-elle des données d'entraînement ?
Non. C'est sa caractéristique déterminante : vous décrivez les catégories comme des étiquettes candidates en langage naturel et un grand modèle pré-entraîné juge de la pertinence, donc aucun exemple étiqueté n'est requis.
Sur quel modèle repose-t-elle ?
Elle repose sur un grand modèle de langage pré-entraîné, généralement un modèle entraîné à l'inférence tel que BART ou RoBERTa. La qualité du résultat dépend fortement de l'utilisation d'un modèle pré-entraîné performant plutôt que d'un petit modèle générique.
Comment dois-je écrire les étiquettes candidates ?
Définissez-les clairement et maintenez-les disjointes. Le modèle compare le texte à chaque étiquette telle qu'elle est écrite, donc des étiquettes vagues ou qui se chevauchent brouillent la décision et réduisent la précision.
Est-elle aussi précise qu'un classifieur supervisé ?
Pas nécessairement. Lorsque vous disposez de nombreuses données étiquetées, un classifieur supervisé entraîné sur ces données peut surpasser la classification à zéro exemple. La classification à zéro exemple excelle lorsque les données étiquetées sont rares ou que l'ensemble des catégories change constamment.
Méthodes associées
Sources
Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.
Ouvrir la référence DOICopié.Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
Ouvrir la référence de la publicationCopié.