Classification de texte à quelques exemples
- Type
- NLP text-classification task (low-resource)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La classification de texte à quelques exemples (few-shot text classification) attribue des documents à des classes en utilisant seulement une poignée d'exemples étiquetés par classe.
S'appuyant sur les avancées de Gao et al. (2021) et sur l'approche SetFit sans invite (prompt-free) de Tunstall et al. (2022), elle utilise des réseaux prototypiques, MAML, ou le réglage fin (fine-tuning) d'un grand modèle pré-entraîné pour apprendre à partir de labels rares.
L’intuition derrière la méthode
La plupart des classificateurs nécessitent un grand ensemble d'entraînement étiqueté, mais l'étiquetage de texte est coûteux et il n'existe parfois que quelques exemples par classe. La classification de texte à quelques exemples contourne ce problème en partant d'un modèle qui comprend déjà le langage — un grand modèle pré-entraîné — et en le guidant vers vos classes avec seulement quelques exemples pour chacune. Au lieu d'apprendre chaque classe à partir de zéro, il compare de nouveaux documents à un petit ensemble de prototypes étiquetés ou adapte légèrement le modèle pré-entraîné de sorte qu'un seul exemple par classe puisse guider la décision.
Histoire
La classification de texte à quelques exemples a émergé de la recherche sur l'apprentissage à quelques exemples et le méta-apprentissage adaptés au langage. Gao et al. (2021) ont montré comment améliorer les capacités d'apprentissage à quelques exemples des modèles de langage pré-entraînés, et Tunstall et al. (2022) ont introduit SetFit pour un apprentissage efficace à quelques exemples sans invites, rendant l'approche pratique avec de petits ensembles étiquetés et de solides architectures de base pré-entraînée.
Quand l’utiliser
Utilisez la classification de texte à quelques exemples lorsque vous avez du texte à classifier mais seulement quelques exemples étiquetés par classe — beaucoup moins que ce qu'un classificateur supervisé conventionnel nécessiterait. Elle suppose qu'au moins un exemple existe pour chaque classe et fonctionne mieux lorsqu'un grand modèle pré-entraîné est disponible pour fournir les connaissances manquantes. Avec des données étiquetées abondantes, un classificateur de texte supervisé ordinaire est le choix le plus simple.
Limites et points d’attention
- Nécessite au moins un exemple étiqueté pour chaque classe ; les classes entièrement nouvelles ne peuvent pas être prédites.
- La qualité dépend fortement de l'architecture de base pré-entraînée — un modèle faible ou mal adapté limite les performances.
- Avec extrêmement peu d'exemples, les prédictions peuvent être instables et sensibles aux exemples choisis.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Apprend à partir de très peu d'exemples étiquetés — aussi peu qu'un par classe — là où les classificateurs supervisés conventionnels échouent.
- Réutilise la connaissance linguistique étendue d'un grand modèle pré-entraîné, donc peu de données spécifiques à la tâche sont nécessaires.
- Flexible selon les stratégies : les réseaux prototypiques, MAML, ou le réglage fin léger s'intègrent tous dans le même pipeline.
Applications
- Classifier du texte lorsque l'étiquetage est coûteux et que seulement quelques exemples par catégorie sont disponibles.
- Initialiser un classificateur pour un nouveau domaine ou un nouvel ensemble d'étiquettes avant que l'étiquetage à grande échelle ne soit effectué.
- Prototypage rapide de la catégorisation de texte dans des contextes de recherche et opérationnels avec des labels rares.
- Étendre un schéma existant avec de nouvelles classes faiblement étiquetées.
Comment ça marche
Comment ça marche
Vous assemblez un petit ensemble étiqueté avec au moins un exemple par classe — parfois seulement quelques-uns par classe. C'est l'ensemble de support à partir duquel la méthode apprend ; plus il est petit, plus la méthode s'appuie sur les connaissances déjà présentes dans le modèle pré-entraîné.
Un grand modèle pré-entraîné est choisi comme architecture de base (backbone), car il encode déjà une connaissance linguistique étendue. Un modèle pré-entraîné performant est préféré — plus il connaît le langage en amont, moins chaque classe a besoin d'être enseignée à partir de vos quelques exemples.
L'architecture de base est orientée vers vos classes avec l'une des stratégies à quelques exemples : les réseaux prototypiques construisent un prototype de classe à partir des quelques exemples et classifient par prototype le plus proche, MAML apprend les paramètres initiaux qui s'adaptent rapidement (meta-learning), et le réglage fin adapte légèrement le modèle pré-entraîné sur le petit ensemble.
Chaque nouveau document est encodé par le modèle adapté et se voit attribuer une étiquette de classe — par prototype le plus proche ou par la tête de classification réglée finement — produisant une étiquette prédite par document malgré la rareté des données d'entraînement.
Pièges courants
- Traiter une classe avec zéro exemple étiqueté comme apprenable — chaque classe doit avoir au moins un exemple.
- Associer la méthode à un modèle pré-entraîné petit ou mal adapté, ce qui supprime la connaissance préalable dont le cadre à quelques exemples dépend.
- Surestimer la précision à partir d'un minuscule ensemble de support ; avec si peu d'exemples, les estimations d'évaluation sont bruitées.
Questions fréquentes
Combien d'exemples par classe sont réellement nécessaires ?
Au moins un exemple étiqueté par classe est requis, et la méthode est conçue pour fonctionner avec seulement quelques-uns par classe. Moins vous en fournissez, plus elle s'appuie sur la connaissance préalable de l'architecture de base pré-entraînée.
Quelle stratégie à quelques exemples devrais-je utiliser ?
Les réseaux prototypiques construisent un prototype par classe à partir des quelques exemples et classifient par prototype le plus proche ; MAML apprend les paramètres qui s'adaptent rapidement aux nouvelles tâches (méta-apprentissage) ; le réglage fin adapte légèrement un modèle pré-entraîné sur le petit ensemble. Les trois s'intègrent dans le même pipeline ; le style SetFit de réglage fin sans invite est un choix par défaut pratique.
Pourquoi le modèle pré-entraîné est-il si important ?
Avec seulement quelques exemples étiquetés, la majeure partie de la connaissance doit provenir d'ailleurs. Un grand modèle pré-entraîné fournit une compréhension linguistique étendue, donc une architecture de base plus performante donne généralement de meilleurs résultats à quelques exemples.
Quand devrais-je préférer un classificateur supervisé normal à la place ?
Lorsque vous disposez de données étiquetées abondantes. Les méthodes à quelques exemples existent pour le régime de faibles labels ; avec un grand ensemble étiqueté équilibré, un classificateur de texte supervisé standard est plus simple et généralement plus performant.
Méthodes associées
Sources
Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.
Ouvrir la référence DOICopié.Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.
Ouvrir la référence DOICopié.