Classificazione Zero-Shot — Classificazione di Testo Senza Dati di Addestramento
- Introdotto da
- Yin, Hay & Roth
- Anno
- 2019
- Tipo
- NLP text-classification task
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
La classificazione zero-shot è un compito di elaborazione del linguaggio naturale che assegna il testo a categorie descritte in linguaggio naturale, senza richiedere dati di addestramento etichettati.
Formalizzato come un problema di inferenza testuale da Yin, Hay e Roth (2019), consente a un ampio modello linguistico preaddestrato di riconoscere nuove categorie al volo semplicemente denominando le, consentendo un rapido adattamento a nuovi set di etichette.
L’intuizione alla base del metodo
Normalmente un classificatore deve vedere molti esempi etichettati di ciascuna categoria prima di poterli riconoscere. La classificazione zero-shot salta questo passaggio: si forniscono i nomi delle categorie come parole ordinarie — ad esempio politica, sport, scienza — e un ampio modello linguistico preaddestrato che già comprende il linguaggio giudica quanto bene ogni etichetta candidata si adatta al testo. Poiché il modello porta con sé la propria vasta conoscenza del linguaggio, è possibile aggiungere o modificare categorie istantaneamente senza raccogliere e etichettare nuovi dati di addestramento.
Storia
La classificazione zero-shot del testo è stata sistematicamente confrontata e inquadrata come un problema di inferenza testuale da Yin, Hay e Roth (2019), che hanno dimostrato che un modello addestrato sull'inferenza in linguaggio naturale può classificare il testo in categorie non viste trattando ogni etichetta come un'ipotesi. La capacità più ampia dei grandi modelli linguistici di eseguire compiti per i quali non sono mai stati esplicitamente addestrati è stata resa popolare da Brown et al. (2020) nel lavoro sull'apprendimento few-shot su GPT-3.
Quando usarlo
La classificazione zero-shot è adatta quando si dispone di testo da categorizzare ma non di dati di addestramento etichettati, e quando le categorie possono cambiare o crescere nel tempo. Richiede un ampio modello linguistico preaddestrato (come modelli di inferenza basati su BART o RoBERTa) ed etichette candidate definite chiaramente e disgiunte. È ben adatta per la prototipazione rapida e per scenari in cui la raccolta di esempi etichettati per ogni classe è impraticabile.
Limiti e considerazioni
- Dipende da un ampio modello linguistico preaddestrato (BART, RoBERTa), che comporta un costo computazionale.
- L'accuratezza dipende da quanto chiaramente e disgiuntamente sono formulate le etichette candidate.
- Senza addestramento specifico per il compito, può essere superata da un classificatore supervisionato quando esiste un'abbondanza di dati etichettati.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Non richiede dati di addestramento etichettati — le categorie sono descritte in linguaggio naturale.
- Si adatta rapidamente a nuove categorie: l'aggiunta di una classe significa solo aggiungere il suo nome all'elenco delle etichette candidate.
- Sfrutta la vasta conoscenza linguistica già catturata in un ampio modello preaddestrato.
Applicazioni
- Categorizzare documenti in set di etichette che cambiano frequentemente senza riaddestramento.
- Prototipazione rapida di compiti di classificazione prima che vengano raccolti dati etichettati.
- Instradamento o etichettatura del testo in ingresso (argomenti, intenti) utilizzando solo nomi di categorie.
- Esplorazione di categorie emergenti in corpora di testo di ricerca e operativi.
Come funziona
Come funziona
Si descrivono le categorie target come etichette candidate in linguaggio naturale — brevi frasi che il modello può leggere direttamente. Queste etichette devono essere formulate chiaramente e devono essere disgiunte, poiché il modello confronta il testo con ciascuna etichetta così come è scritta; etichette vaghe o sovrapposte confondono la decisione.
Il testo e le etichette candidate vengono inseriti in un ampio modello linguistico preaddestrato come BART o RoBERTa. Non avviene alcun addestramento sui propri dati — il modello utilizza la conoscenza linguistica acquisita durante il preaddestramento per rappresentare sia il documento sia ciascuna etichetta candidata.
Il modello assegna un punteggio a quanto fortemente ogni etichetta candidata è supportata dal testo, inquadrando il compito come inferenza in linguaggio naturale: il testo implica l'ipotesi che appartenga a questa etichetta? A ciascuna etichetta viene assegnato un punteggio di compatibilità dal modello preaddestrato.
L'etichetta con il punteggio più alto viene assegnata al testo (o un insieme ordinato di etichette per impostazioni multi-etichetta). Poiché la valutazione si basa interamente sul modello preaddestrato, l'aggiunta di una nuova categoria è semplice come aggiungere il suo nome all'elenco dei candidati.
Errori comuni
- Etichette candidate vaghe o sovrapposte confondono le decisioni del modello; definire ogni etichetta chiaramente e mantenerle disgiunte.
- Aspettarsi che l'accuratezza zero-shot corrisponda a un classificatore completamente supervisionato quando è disponibile abbondante dato etichettato — in tal caso addestrare invece un modello supervisionato.
- Utilizzare un modello piccolo o generico anziché uno ampio capace di inferenza degrada i risultati.
- Formulare etichette in una lingua che il modello preaddestrato non gestisce bene riduce l'affidabilità.
Domande frequenti
La classificazione zero-shot necessita di dati di addestramento?
No. Questa è la sua caratteristica distintiva: si descrivono le categorie come etichette candidate in linguaggio naturale e un ampio modello preaddestrato giudica l'adattamento, quindi non sono necessari esempi etichettati.
Da quale modello dipende?
Dipende da un ampio modello linguistico preaddestrato, tipicamente un modello addestrato all'inferenza come BART o RoBERTa. La qualità del risultato dipende fortemente dall'uso di un modello preaddestrato capace anziché di uno piccolo e generico.
Come dovrei scrivere le etichette candidate?
Definirle chiaramente e mantenerle disgiunte. Il modello confronta il testo con ciascuna etichetta così come è scritta, quindi etichette vaghe o sovrapposte confondono la decisione e riducono l'accuratezza.
È accurata quanto un classificatore supervisionato?
Non necessariamente. Quando si dispone di abbondanti dati etichettati, un classificatore supervisionato addestrato su tali dati può superare la classificazione zero-shot. La classificazione zero-shot eccelle quando i dati etichettati sono scarsi o il set di categorie cambia continuamente.
Metodi correlati
Fonti
Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.
Apri il riferimento DOICopiato.Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
Apri il riferimento della pubblicazioneCopiato.