Classificazione di testi con pochi esempi
- Tipo
- NLP text-classification task (low-resource)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La classificazione di testi con pochi esempi (few-shot text classification) assegna documenti a classi utilizzando solo una manciata di esempi etichettati per classe.
Basandosi sui progressi di Gao et al. (2021) e sull'approccio SetFit senza prompt di Tunstall et al. (2022), si avvale di reti prototipali, MAML o del fine-tuning di un grande modello pre-addestrato per apprendere da etichette scarse.
L’intuizione alla base del metodo
La maggior parte dei classificatori necessita di un ampio set di addestramento etichettato, ma etichettare testi è costoso e talvolta esistono solo pochi esempi per classe. La classificazione di testi con pochi esempi aggira questo problema partendo da un modello che già comprende il linguaggio — un grande modello pre-addestrato — e lo spinge verso le proprie classi con solo pochi esempi ciascuno. Invece di apprendere ogni classe da zero, confronta nuovi documenti con un piccolo set di prototipi etichettati o adatta leggermente il modello pre-addestrato in modo che anche un singolo esempio per classe possa guidare la decisione.
Storia
La classificazione di testi con pochi esempi è emersa dalla ricerca sul few-shot learning e sul meta-learning adattata al linguaggio. Gao et al. (2021) hanno mostrato come rendere i modelli linguistici pre-addestrati migliori nell'apprendimento con pochi esempi, e Tunstall et al. (2022) hanno introdotto SetFit per un apprendimento efficiente con pochi esempi senza prompt, rendendo l'approccio pratico con piccoli set etichettati e robusti backbone pre-addestrati.
Quando usarlo
Utilizzare la classificazione di testi con pochi esempi quando si hanno testi da classificare ma solo pochi esempi etichettati per classe — molti meno di quanti ne servirebbero a un classificatore supervisionato convenzionale. Presuppone l'esistenza di almeno un esempio per ogni classe e funziona al meglio quando è disponibile un grande modello pre-addestrato per fornire la conoscenza mancante. Con abbondanti dati etichettati, un classificatore di testi supervisionato ordinario è la scelta più semplice.
Limiti e considerazioni
- Richiede almeno un esempio etichettato per ogni classe; classi completamente nuove non possono essere previste.
- La qualità dipende fortemente dal backbone pre-addestrato — un modello debole o non corrispondente limita le prestazioni.
- Con pochissimi esempi, le predizioni possono essere instabili e sensibili agli esempi scelti.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Apprende da pochissimi esempi etichettati — anche solo uno per classe — dove i classificatori supervisionati convenzionali falliscono.
- Riutilizza la vasta conoscenza linguistica all'interno di un grande modello pre-addestrato, quindi sono necessari pochi dati specifici per il task.
- Flessibile tra le strategie: reti prototipali, MAML o fine-tuning leggero si adattano tutti allo stesso pipeline.
Applicazioni
- Classificare testi quando l'etichettatura è costosa e sono disponibili solo pochi esempi per categoria.
- Avviare un classificatore per un nuovo dominio o set di etichette prima che venga effettuata un'etichettatura su larga scala.
- Prototipazione rapida di categorizzazione di testi in contesti di ricerca e operativi con etichette scarse.
- Estendere uno schema esistente con nuove classi etichettate scarsamente.
Come funziona
Come funziona
Si assembla un piccolo set etichettato con almeno un esempio per classe — a volte solo pochi per classe. Questo è il set di supporto da cui il metodo apprende; più piccolo è, più il metodo si affida alla conoscenza già presente nel modello pre-addestrato.
Viene scelto un grande modello pre-addestrato come backbone, poiché codifica già una vasta conoscenza linguistica. Si preferisce un modello pre-addestrato robusto — più sa del linguaggio in partenza, meno ogni classe deve essere insegnata dai propri pochi esempi.
Il backbone viene indirizzato verso le proprie classi con una delle strategie few-shot: le reti prototipali costruiscono un prototipo di classe dai pochi esempi e classificano per prototipo più vicino, MAML apprende meta-parametri iniziali che si adattano rapidamente, e il fine-tuning aggiorna leggermente il modello pre-addestrato sul piccolo set.
Ogni nuovo documento viene codificato dal modello adattato e gli viene assegnata un'etichetta di classe — per prototipo più vicino o per la testa del classificatore fine-tuned — producendo un'etichetta prevista per documento nonostante i dati di addestramento scarsi.
Errori comuni
- Trattare una classe con zero esempi etichettati come apprendibile — ogni classe deve avere almeno un esempio.
- Accoppiare il metodo con un modello pre-addestrato piccolo o mal abbinato, il che rimuove la conoscenza a priori da cui dipende l'impostazione few-shot.
- Sovrastimare l'accuratezza da un minuscolo set di supporto; con così pochi esempi, le stime di valutazione sono rumorose.
Domande frequenti
Quanti pochi esempi per classe sono realmente necessari?
Sono richiesti almeno un esempio etichettato per classe, e il metodo è progettato per funzionare con solo pochi per classe. Meno se ne forniscono, più ci si affida alla conoscenza a priori del backbone pre-addestrato.
Quale strategia few-shot dovrei usare?
Le reti prototipali costruiscono un prototipo per classe dai pochi esempi e classificano per prototipo più vicino; MAML apprende meta-parametri che si adattano rapidamente a nuovi task; il fine-tuning aggiorna leggermente un modello pre-addestrato sul piccolo set. Tutti e tre si adattano allo stesso pipeline; lo stile di fine-tuning SetFit senza prompt è un default pratico.
Perché il modello pre-addestrato è così importante?
Con solo pochi esempi etichettati, la maggior parte della conoscenza deve provenire da altrove. Un grande modello pre-addestrato fornisce una vasta comprensione del linguaggio, quindi un backbone più robusto generalmente fornisce migliori risultati few-shot.
Quando dovrei preferire un normale classificatore supervisionato?
Quando si dispone di abbondanti dati etichettati. I metodi few-shot esistono per il regime a basse etichette; con un ampio set etichettato bilanciato, un classificatore di testi supervisionato standard è più semplice e solitamente più robusto.
Metodi correlati
Fonti
Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.
Apri il riferimento DOICopiato.Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.
Apri il riferimento DOICopiato.