Apprendimento semi-supervisionato
- Introdotto da
- Vapnik, V. N. and others (community of researchers, 1970s–2000s)
- Anno
- 1970s–2006 (formalized)
- Tipo
- Learning paradigm
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'apprendimento semi-supervisionato (SSL) è un paradigma di machine learning che addestra modelli utilizzando un piccolo insieme di esempi etichettati insieme a un pool molto più ampio di dati non etichettati.
Sfruttando la struttura intrinseca nei dati non etichettati, l'SSL raggiunge un'accuratezza più vicina a quella dei modelli completamente supervisionati, richiedendo al contempo molte meno etichette manuali costose, rendendolo pratico quando l'etichettatura è costosa, lenta o soggetta a vincoli di risorse.
L’intuizione alla base del metodo
Immagina di insegnare a uno studente fornendogli alcuni esempi di libri di testo con risposte e una vasta libreria di problemi irrisolti. Lo studente utilizza gli esempi risolti per comprendere i pattern, quindi utilizza i problemi irrisolti per affinare tale comprensione osservando quali esempi si raggruppano o condividono strutture simili. L'SSL funziona in modo simile: il modello apprende i confini decisionali dai dati etichettati, quindi utilizza i dati non etichettati per affinare tali confini assumendo che punti vicini condividano probabilmente la stessa classe, o che la varietà dei dati catturi una struttura significativa. Il risultato è un modello che supera l'addestramento basato solo sulle etichette.
Storia
L'apprendimento semi-supervisionato come area formale è emerso dal lavoro sulle SVM transduttive di Vapnik negli anni '90 e sulla propagazione di etichette basata su grafi di Zhu e Ghahramani (2002). Il campo è stato consolidato dal volume del MIT Press curato da Chapelle, Scholkopf e Zien (2006), che rimane il riferimento canonico. Il moderno deep learning ha rivitalizzato l'SSL attraverso metodi di regolarizzazione di consistenza come MixMatch (2019) e FixMatch (2020), estendendo il paradigma a compiti su larga scala di immagini e testo.
Quando usarlo
Utilizzare l'apprendimento semi-supervisionato quando si dispone di abbondanti dati non etichettati ma l'etichettatura è costosa, lenta o richiede conoscenze esperte scarse — comune nell'imaging medico, nell'elaborazione del linguaggio naturale e nei domini scientifici. L'SSL è appropriato quando i dati non etichettati ed etichettati condividono la stessa distribuzione, quando l'assunzione di cluster o varietà è plausibilmente valida, e quando un baseline completamente supervisionato è già fattibile ma la sua accuratezza è limitata dalla scarsità di etichette. NON utilizzare l'SSL quando i dati etichettati e non etichettati provengono da distribuzioni diverse (spostamento di distribuzione); quando i dati non etichettati sono molto scarsi; quando il compito è così semplice che un piccolo set etichettato satura già la capacità del modello; o quando l'errore di pseudo-etichettatura si accumulerebbe più velocemente di quanto il modello possa correggere — come accade con output ad alta entropia o sbilanciati.
Limiti e considerazioni
- Le prestazioni possono degradare al di sotto del baseline supervisionato se i dati non etichettati violano l'assunzione di cluster o levigatezza o contengono spostamento di distribuzione.
- L'errore di pseudo-etichettatura si accumula nel corso delle iterazioni: predizioni sicure ma errate corrompono l'addestramento successivo.
- Richiede un'attenta messa a punto delle soglie di confidenza, della forza di regolarizzazione e del rapporto tra dati etichettati e non etichettati.
- La valutazione è più difficile: il set non etichettato non deve mai essere utilizzato per la selezione del modello a meno che non sia rigorosamente tenuto separato.
- Il costo computazionale aumenta con grandi corpora non etichettati, specialmente per metodi basati su grafi che richiedono similarità a coppie.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Migliora sostanzialmente l'accuratezza del modello quando i dati etichettati sono scarsi ma i dati non etichettati sono abbondanti.
- Riduce i costi e i tempi di annotazione, consentendo un'implementazione pratica in domini che richiedono molta etichettatura da parte di esperti.
- Compatibile con quasi tutti gli apprenditori di base (reti neurali, foreste casuali, SVM, GP) tramite pseudo-etichettatura o estensioni basate su grafi.
- La propagazione delle etichette e i metodi basati su grafi forniscono incertezza interpretabile e struttura di vicinato.
- L'auto-addestramento e la regolarizzazione di consistenza si integrano naturalmente nei pipeline di addestramento standard con infrastrutture aggiuntive minime.
Applicazioni
- Classificazione di immagini mediche dove le annotazioni esperte sono scarse e le scansioni non etichettate sono abbondanti.
- Compiti di elaborazione del linguaggio naturale come l'analisi del sentiment e il riconoscimento di entità nominate con pochi documenti etichettati.
- Ricerca sulla struttura proteica e sulla genomica dove le etichette sperimentali sono costose da acquisire.
- Controllo di qualità industriale utilizzando un piccolo numero di immagini di difetti etichettate e molte immagini di produzione non etichettate.
- Riconoscimento vocale e classificazione audio quando solo una frazione delle registrazioni può essere trascritta.
- Classificazione di contenuti web e categorizzazione di documenti con ampi corpora estratti dal web.
Come funziona
Come funziona
Raccogliere un set di dati contenente un piccolo sottoinsieme etichettato (tipicamente una piccola percentuale del totale) e un ampio sottoinsieme non etichettato. Gli esempi etichettati devono essere rappresentativi delle classi o dei risultati di interesse. La qualità dei dati nel set etichettato ha un effetto sproporzionato sul modello finale.
Addestrare un modello iniziale utilizzando solo gli esempi etichettati. Questo produce un classificatore o regressore di base con accuratezza limitata a causa del piccolo pool di dati etichettati, ma fornisce il punto di partenza per sfruttare i dati non etichettati.
Applicare il modello iniziale ai dati non etichettati per generare pseudo-etichette — assegnazioni di classe predette o distribuzioni di probabilità morbide. Le predizioni ad alta confidenza sono provvisoriamente accettate come etichette di addestramento. Gli algoritmi SSL comuni differiscono in questo punto: l'auto-addestramento accetta predizioni di massima confidenza, la propagazione delle etichette diffonde le etichette tramite un grafo di similarità e la regolarizzazione di consistenza impone predizioni stabili sotto perturbazioni dell'input.
Ri-addestrare il modello incorporando sia i dati etichettati originali sia i nuovi esempi non etichettati pseudo-etichettati. Questo processo può essere iterato: il modello migliorato genera migliori pseudo-etichette, che a loro volta migliorano ulteriormente il modello. La regolarizzazione o le soglie di confidenza proteggono dall'accumulo di errori.
Valutare il modello finale su un set di test etichettato tenuto separato utilizzando metriche standard (accuratezza, F1, AUC, MSE) che non sono mai state esposte durante l'addestramento o la pseudo-etichettatura. Confrontare con un baseline completamente supervisionato addestrato solo sulle etichette per quantificare il guadagno dai dati non etichettati.
Errori comuni
- Utilizzare dati non etichettati la cui distribuzione differisce da quella del set etichettato — il disallineamento di distribuzione è la causa più comune di fallimento dell'SSL.
- Trascurare un baseline solo supervisionato, rendendo impossibile verificare che i dati non etichettati abbiano effettivamente aiutato.
- Impostare le soglie di confidenza troppo basse, inondando il set di addestramento con pseudo-etichette errate.
- Valutare sul pool non etichettato dopo la pseudo-etichettatura, il che gonfia le stime delle prestazioni.
- Considerare l'SSL come privo di assunzioni — il metodo aiuta solo quando le assunzioni di levigatezza, cluster o varietà sono valide.
Domande frequenti
In che modo l'apprendimento semi-supervisionato differisce dall'apprendimento auto-supervisionato?
L'apprendimento semi-supervisionato utilizza un piccolo set di etichette fornite dall'uomo insieme a dati non etichettati per migliorare un compito supervisionato. L'apprendimento auto-supervisionato crea le proprie etichette dalla sola struttura dei dati non etichettati (ad esempio, prevedendo parole mascherate) — nessuna etichetta umana viene utilizzata durante il pre-addestramento, sebbene le rappresentazioni apprese vengano successivamente affinate su dati etichettati.
Quando l'apprendimento semi-supervisionato danneggia anziché aiutare?
Se i dati non etichettati provengono da una distribuzione diversa da quella dei dati etichettati, o se i confini delle classi non si allineano con i cluster naturali nei dati, l'SSL può introdurre rumore che riduce l'accuratezza al di sotto del baseline supervisionato. Confrontare sempre con un modello solo supervisionato.
Qual è l'algoritmo SSL più semplice da provare per primo?
L'auto-addestramento è il più diretto: addestrare sulle etichette, predire sui dati non etichettati, aggiungere predizioni ad alta confidenza come dati etichettati e ri-addestrare. Funziona con qualsiasi apprenditore di base e serve come utile baseline prima di metodi più complessi basati su grafi o regolarizzazione di consistenza.
Quanti dati etichettati sono tipicamente necessari?
Non esiste una risposta universale, ma l'SSL è più vantaggioso quando i dati etichettati rappresentano l'1-10% del set di dati totale. Al di sotto di circa 10-50 esempi etichettati per classe, anche l'SSL può avere difficoltà; a quel punto l'apprendimento attivo per prioritizzare quali esempi etichettare potrebbe essere più efficace.
L'apprendimento semi-supervisionato può essere utilizzato con qualsiasi tipo di modello?
Sì. La pseudo-etichettatura e l'auto-addestramento funzionano con qualsiasi apprenditore di base. Metodi basati su grafi come la propagazione delle etichette sono indipendenti dal modello ma richiedono il calcolo di similarità a coppie. I metodi di regolarizzazione di consistenza sono applicati più naturalmente alle reti neurali ma possono essere adattati ad altri modelli probabilistici.
Metodi correlati
Fonti
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiato.Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.
Apri il riferimento della pubblicazioneCopiato.