Skip to content
Torna ai risultati

Apprendimento semi-supervisionato

Introdotto da
Vapnik, V. N. and others (community of researchers, 1970s–2000s)
Anno
1970s–2006 (formalized)
Tipo
Learning paradigm
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'apprendimento semi-supervisionato (SSL) è un paradigma di machine learning che addestra modelli utilizzando un piccolo insieme di esempi etichettati insieme a un pool molto più ampio di dati non etichettati.

Sfruttando la struttura intrinseca nei dati non etichettati, l'SSL raggiunge un'accuratezza più vicina a quella dei modelli completamente supervisionati, richiedendo al contempo molte meno etichette manuali costose, rendendolo pratico quando l'etichettatura è costosa, lenta o soggetta a vincoli di risorse.

L’intuizione alla base del metodo

Immagina di insegnare a uno studente fornendogli alcuni esempi di libri di testo con risposte e una vasta libreria di problemi irrisolti. Lo studente utilizza gli esempi risolti per comprendere i pattern, quindi utilizza i problemi irrisolti per affinare tale comprensione osservando quali esempi si raggruppano o condividono strutture simili. L'SSL funziona in modo simile: il modello apprende i confini decisionali dai dati etichettati, quindi utilizza i dati non etichettati per affinare tali confini assumendo che punti vicini condividano probabilmente la stessa classe, o che la varietà dei dati catturi una struttura significativa. Il risultato è un modello che supera l'addestramento basato solo sulle etichette.

Storia

L'apprendimento semi-supervisionato come area formale è emerso dal lavoro sulle SVM transduttive di Vapnik negli anni '90 e sulla propagazione di etichette basata su grafi di Zhu e Ghahramani (2002). Il campo è stato consolidato dal volume del MIT Press curato da Chapelle, Scholkopf e Zien (2006), che rimane il riferimento canonico. Il moderno deep learning ha rivitalizzato l'SSL attraverso metodi di regolarizzazione di consistenza come MixMatch (2019) e FixMatch (2020), estendendo il paradigma a compiti su larga scala di immagini e testo.

Quando usarlo

Utilizzare l'apprendimento semi-supervisionato quando si dispone di abbondanti dati non etichettati ma l'etichettatura è costosa, lenta o richiede conoscenze esperte scarse — comune nell'imaging medico, nell'elaborazione del linguaggio naturale e nei domini scientifici. L'SSL è appropriato quando i dati non etichettati ed etichettati condividono la stessa distribuzione, quando l'assunzione di cluster o varietà è plausibilmente valida, e quando un baseline completamente supervisionato è già fattibile ma la sua accuratezza è limitata dalla scarsità di etichette. NON utilizzare l'SSL quando i dati etichettati e non etichettati provengono da distribuzioni diverse (spostamento di distribuzione); quando i dati non etichettati sono molto scarsi; quando il compito è così semplice che un piccolo set etichettato satura già la capacità del modello; o quando l'errore di pseudo-etichettatura si accumulerebbe più velocemente di quanto il modello possa correggere — come accade con output ad alta entropia o sbilanciati.

Limiti e considerazioni

  • Le prestazioni possono degradare al di sotto del baseline supervisionato se i dati non etichettati violano l'assunzione di cluster o levigatezza o contengono spostamento di distribuzione.
  • L'errore di pseudo-etichettatura si accumula nel corso delle iterazioni: predizioni sicure ma errate corrompono l'addestramento successivo.
  • Richiede un'attenta messa a punto delle soglie di confidenza, della forza di regolarizzazione e del rapporto tra dati etichettati e non etichettati.
  • La valutazione è più difficile: il set non etichettato non deve mai essere utilizzato per la selezione del modello a meno che non sia rigorosamente tenuto separato.
  • Il costo computazionale aumenta con grandi corpora non etichettati, specialmente per metodi basati su grafi che richiedono similarità a coppie.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Migliora sostanzialmente l'accuratezza del modello quando i dati etichettati sono scarsi ma i dati non etichettati sono abbondanti.
  • Riduce i costi e i tempi di annotazione, consentendo un'implementazione pratica in domini che richiedono molta etichettatura da parte di esperti.
  • Compatibile con quasi tutti gli apprenditori di base (reti neurali, foreste casuali, SVM, GP) tramite pseudo-etichettatura o estensioni basate su grafi.
  • La propagazione delle etichette e i metodi basati su grafi forniscono incertezza interpretabile e struttura di vicinato.
  • L'auto-addestramento e la regolarizzazione di consistenza si integrano naturalmente nei pipeline di addestramento standard con infrastrutture aggiuntive minime.

Applicazioni

  • Classificazione di immagini mediche dove le annotazioni esperte sono scarse e le scansioni non etichettate sono abbondanti.
  • Compiti di elaborazione del linguaggio naturale come l'analisi del sentiment e il riconoscimento di entità nominate con pochi documenti etichettati.
  • Ricerca sulla struttura proteica e sulla genomica dove le etichette sperimentali sono costose da acquisire.
  • Controllo di qualità industriale utilizzando un piccolo numero di immagini di difetti etichettate e molte immagini di produzione non etichettate.
  • Riconoscimento vocale e classificazione audio quando solo una frazione delle registrazioni può essere trascritta.
  • Classificazione di contenuti web e categorizzazione di documenti con ampi corpora estratti dal web.

Come funziona

Come funziona

1

Raccogliere un set di dati contenente un piccolo sottoinsieme etichettato (tipicamente una piccola percentuale del totale) e un ampio sottoinsieme non etichettato. Gli esempi etichettati devono essere rappresentativi delle classi o dei risultati di interesse. La qualità dei dati nel set etichettato ha un effetto sproporzionato sul modello finale.

2

Addestrare un modello iniziale utilizzando solo gli esempi etichettati. Questo produce un classificatore o regressore di base con accuratezza limitata a causa del piccolo pool di dati etichettati, ma fornisce il punto di partenza per sfruttare i dati non etichettati.

3

Applicare il modello iniziale ai dati non etichettati per generare pseudo-etichette — assegnazioni di classe predette o distribuzioni di probabilità morbide. Le predizioni ad alta confidenza sono provvisoriamente accettate come etichette di addestramento. Gli algoritmi SSL comuni differiscono in questo punto: l'auto-addestramento accetta predizioni di massima confidenza, la propagazione delle etichette diffonde le etichette tramite un grafo di similarità e la regolarizzazione di consistenza impone predizioni stabili sotto perturbazioni dell'input.

4

Ri-addestrare il modello incorporando sia i dati etichettati originali sia i nuovi esempi non etichettati pseudo-etichettati. Questo processo può essere iterato: il modello migliorato genera migliori pseudo-etichette, che a loro volta migliorano ulteriormente il modello. La regolarizzazione o le soglie di confidenza proteggono dall'accumulo di errori.

5

Valutare il modello finale su un set di test etichettato tenuto separato utilizzando metriche standard (accuratezza, F1, AUC, MSE) che non sono mai state esposte durante l'addestramento o la pseudo-etichettatura. Confrontare con un baseline completamente supervisionato addestrato solo sulle etichette per quantificare il guadagno dai dati non etichettati.

Errori comuni

  • Utilizzare dati non etichettati la cui distribuzione differisce da quella del set etichettato — il disallineamento di distribuzione è la causa più comune di fallimento dell'SSL.
  • Trascurare un baseline solo supervisionato, rendendo impossibile verificare che i dati non etichettati abbiano effettivamente aiutato.
  • Impostare le soglie di confidenza troppo basse, inondando il set di addestramento con pseudo-etichette errate.
  • Valutare sul pool non etichettato dopo la pseudo-etichettatura, il che gonfia le stime delle prestazioni.
  • Considerare l'SSL come privo di assunzioni — il metodo aiuta solo quando le assunzioni di levigatezza, cluster o varietà sono valide.

Domande frequenti

In che modo l'apprendimento semi-supervisionato differisce dall'apprendimento auto-supervisionato?

L'apprendimento semi-supervisionato utilizza un piccolo set di etichette fornite dall'uomo insieme a dati non etichettati per migliorare un compito supervisionato. L'apprendimento auto-supervisionato crea le proprie etichette dalla sola struttura dei dati non etichettati (ad esempio, prevedendo parole mascherate) — nessuna etichetta umana viene utilizzata durante il pre-addestramento, sebbene le rappresentazioni apprese vengano successivamente affinate su dati etichettati.

Quando l'apprendimento semi-supervisionato danneggia anziché aiutare?

Se i dati non etichettati provengono da una distribuzione diversa da quella dei dati etichettati, o se i confini delle classi non si allineano con i cluster naturali nei dati, l'SSL può introdurre rumore che riduce l'accuratezza al di sotto del baseline supervisionato. Confrontare sempre con un modello solo supervisionato.

Qual è l'algoritmo SSL più semplice da provare per primo?

L'auto-addestramento è il più diretto: addestrare sulle etichette, predire sui dati non etichettati, aggiungere predizioni ad alta confidenza come dati etichettati e ri-addestrare. Funziona con qualsiasi apprenditore di base e serve come utile baseline prima di metodi più complessi basati su grafi o regolarizzazione di consistenza.

Quanti dati etichettati sono tipicamente necessari?

Non esiste una risposta universale, ma l'SSL è più vantaggioso quando i dati etichettati rappresentano l'1-10% del set di dati totale. Al di sotto di circa 10-50 esempi etichettati per classe, anche l'SSL può avere difficoltà; a quel punto l'apprendimento attivo per prioritizzare quali esempi etichettare potrebbe essere più efficace.

L'apprendimento semi-supervisionato può essere utilizzato con qualsiasi tipo di modello?

Sì. La pseudo-etichettatura e l'auto-addestramento funzionano con qualsiasi apprenditore di base. Metodi basati su grafi come la propagazione delle etichette sono indipendenti dal modello ma richiedono il calcolo di similarità a coppie. I metodi di regolarizzazione di consistenza sono applicati più naturalmente alle reti neurali ma possono essere adattati ad altri modelli probabilistici.

Metodi correlati

Fonti

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiato.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.

    Apri il riferimento della pubblicazione
    Copiato.