Skip to content
Torna ai risultati

Semi-supervised Stacking Ensemble

Introdotto da
Combines Wolpert (1992) stacking with semi-supervised learning principles
Anno
2000s–2010s
Tipo
Ensemble (stacked generalization with unlabeled data augmentation)
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Semi-supervised Stacking Ensemble estende il classico framework di generalizzazione impilata (stacked generalization) a contesti in cui solo una frazione degli esempi di addestramento possiede etichette.

I modelli base vengono inizialmente addestrati sui dati etichettati, quindi utilizzati per assegnare pseudo-etichette agli esempi non etichettati; il dataset ampliato addestra modelli base più robusti le cui predizioni out-of-fold costituiscono l'input per un meta-apprenditore (meta-learner), producendo un ensemble a due livelli che sfrutta sia la struttura dei dati etichettati sia quella dei dati non etichettati.

L’intuizione alla base del metodo

Lo stacking batte già i singoli modelli addestrando un meta-apprenditore sulle predizioni di diversi modelli base. Lo stacking semi-supervisionato aggiunge un ulteriore espediente: invece di scartare il vasto pool di esempi non etichettati, utilizza i modelli base correnti per indovinarne le etichette con una certa soglia di confidenza, reinserisce quegli esempi pseudo-etichettati nel training, riaddestra i modelli base e ripete il processo. Ogni iterazione fornisce ai modelli base più dati su cui apprendere, quindi le meta-feature che producono per il meta-apprenditore diventano progressivamente più informative — tutto ciò senza richiedere alcuna annotazione umana aggiuntiva.

Storia

La generalizzazione impilata è stata formalizzata da Wolpert nel 1992 come modo per combinare più modelli attraverso un meta-apprenditore appreso. I principi dell'apprendimento semi-supervisionato — utilizzare dati non etichettati per migliorare i modelli supervisionati — sono stati consolidati da Chapelle, Schölkopf e Zien nel loro volume del 2006 della MIT Press. La combinazione esplicita dei due, lo stacking semi-supervisionato, è emersa nella letteratura dell'ML applicata attraverso gli anni 2000 e 2010, con particolare adozione nel machine learning competitivo e nei domini in cui l'annotazione è scarsa.

Quando usarlo

Utilizzare lo stacking semi-supervisionato quando si affronta un compito di classificazione o regressione con un piccolo dataset etichettato e un vasto pool di vettori di feature non etichettati — una situazione comune nell'imaging medico, nell'NLP o nel telerilevamento dove l'annotazione è costosa. È particolarmente efficace quando i dati non etichettati provengono dalla stessa distribuzione dei dati etichettati e quando sono disponibili almeno 3-5 famiglie diverse di modelli base. Evitarlo quando il pool non etichettato è piccolo (non offrendo alcun beneficio rispetto allo stacking standard), quando il set etichettato è già sufficientemente grande da rendere marginali i guadagni semi-supervisionati, o quando si sospetta uno spostamento di distribuzione tra esempi etichettati e non etichettati, poiché gli errori di pseudo-etichettatura si accumuleranno nel corso delle iterazioni.

Limiti e considerazioni

  • Gli errori di pseudo-etichettatura si accumulano nel corso delle iterazioni; se i modelli base iniziali sono deboli, le pseudo-etichette errate possono degradare anziché migliorare le prestazioni.
  • La superficie degli iperparametri è ampia: numero di iterazioni, soglia di confidenza, numero di fold e diversità dei modelli base interagiscono tutti.
  • Computazionalmente costoso: il riaddestramento k-fold su più modelli base viene ripetuto per diverse iterazioni, quindi il tempo di esecuzione cresce rapidamente.
  • Richiede che la distribuzione non etichettata corrisponda strettamente alla distribuzione etichettata; lo spostamento covariato invalida l'assunzione di pseudo-etichettatura.
  • L'interpretabilità è bassa: due livelli impilati più la pseudo-etichettatura iterativa rendono difficile tracciare come si è formata una singola predizione.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Sfrutta vasti pool di dati non etichettati senza costi aggiuntivi di annotazione, migliorando spesso sostanzialmente l'accuratezza rispetto allo stacking puramente supervisionato.
  • Eredita tutti i benefici dello stacking classico: la diversità tra i modelli base riduce contemporaneamente varianza e bias.
  • Flessibile: qualsiasi modello supervisionato può fungere da modello base o meta-apprenditore, rendendo il framework ampiamente applicabile.
  • La soglia di confidenza fornisce un meccanismo rigoroso per controllare la qualità delle pseudo-etichette introdotte ad ogni iterazione.
  • Scala bene: i dati non etichettati sono economici, quindi il metodo diventa più prezioso all'aumentare del rapporto tra esempi non etichettati ed etichettati.

Applicazioni

  • Classificazione di immagini mediche in cui scansioni annotate sono scarse ma scansioni non annotate sono abbondanti.
  • Compiti di elaborazione del linguaggio naturale (sentiment, topic) con ampi corpora non etichettati e piccoli set di addestramento etichettati.
  • Classificazione della copertura del suolo nel telerilevamento utilizzando abbondanti immagini satellitari con poche etichette ground-truth.
  • Rilevamento di frodi in cui i casi di frode confermati sono rari rispetto alle transazioni non revisionate.
  • Compiti di bioinformatica come la predizione della funzione proteica con esempi limitati verificati sperimentalmente.

Come funziona

Come funziona

1

I modelli base (ad es., gradient-boosted trees, SVM, reti neurali) vengono addestrati sul sottoinsieme etichettato. Successivamente, predicono le probabilità di classe per ogni esempio non etichettato; gli esempi la cui probabilità di classe massima supera una soglia di confidenza vengono assegnati a pseudo-etichette e aggiunti al set di addestramento attivo per l'iterazione successiva.

2

Diversi modelli base vengono (ri)addestrati sul set combinato di esempi etichettati veri e pseudo-etichettati utilizzando la cross-validation k-fold per evitare data leakage. La diversità tra i modelli base — nella famiglia di algoritmi, nella forza della regolarizzazione o nei sottoinsiemi di feature — è critica; stack omogenei ottengono poco beneficio dal secondo livello.

3

Le predizioni out-of-fold di ciascun modello base sugli esempi etichettati vengono raccolte in una matrice di meta-feature. Ogni riga corrisponde a un esempio di addestramento etichettato; ogni colonna è la predizione di un modello base stimata su una fold che non ha visto quell'esempio, preservando una rappresentazione imparziale per il meta-apprenditore.

4

Un meta-apprenditore (comunemente regressione logistica, una rete neurale superficiale o un altro modello ad albero) viene addestrato sulla matrice di meta-feature con le etichette vere. Impara come combinare al meglio gli output dei modelli base, correggendo i loro bias sistematici e sfruttando i loro punti di forza complementari.

5

I passaggi 1-4 vengono ripetuti per un numero fisso di iterazioni o finché il set di pseudo-etichette non si stabilizza (pochi nuovi esempi superano la soglia di confidenza). Ad ogni passaggio la soglia di confidenza può essere leggermente rilassata per incorporare più dati non etichettati, ma è necessaria cautela: una soglia troppo bassa propaga pseudo-etichette errate e degrada le prestazioni.

Errori comuni

  • Impostare la soglia di confidenza troppo bassa nelle prime iterazioni, inondando il set di addestramento con pseudo-etichette rumorose che degradano la qualità dei modelli base.
  • Utilizzare solo uno o due modelli base altamente correlati; senza diversità, il meta-apprenditore riceve segnali ridondanti e lo stack non supera le prestazioni di un singolo modello.
  • Non utilizzare la cross-validation durante la generazione delle meta-feature, causando data leakage che gonfia l'accuratezza di addestramento e inganna l'addestramento del meta-apprenditore.
  • Valutare le prestazioni finali su esempi pseudo-etichettati invece che su un set di test etichettato veramente, producendo metriche eccessivamente ottimistiche.
  • Ignorare la convergenza: eseguire troppe iterazioni dopo che il set di pseudo-etichette si è stabilizzato spreca risorse computazionali e rischia l'overfitting su predizioni sicure ma errate.

Domande frequenti

Come scelgo la soglia di confidenza per la pseudo-etichettatura?

Un punto di partenza comune è 0.9 o superiore per la classificazione, il che significa che solo gli esempi in cui la probabilità della classe principale supera il 90% ricevono una pseudo-etichetta. La soglia può essere rilassata nelle iterazioni successive man mano che i modelli base migliorano. Monitorare sempre l'accuratezza di validazione attraverso le iterazioni per individuare valori di soglia che introducono troppo rumore.

Quali modelli base dovrei usare?

La diversità è il principio chiave. Una combinazione tipica accoppia alberi gradient-boosted (ad es., XGBoost), un SVM con kernel radiale e una rete neurale. Combinare modelli che differiscono nel profilo bias-varianza e nelle relazioni tra feature che catturano produce le meta-feature più informative per il secondo livello.

In cosa differisce dallo stacking standard?

Lo stacking standard utilizza solo dati etichettati. Lo stacking semi-supervisionato aggiunge un ciclo di pseudo-etichettatura che espande iterativamente il set di addestramento effettivo con esempi non etichettati ad alta confidenza, quindi è più utile quando i dati etichettati sono scarsi e i dati non etichettati sono abbondanti.

Può gestire la regressione oltre alla classificazione?

Sì. Per la regressione, la soglia di confidenza è sostituita da un criterio basato sui residui — ad esempio, includendo esempi pseudo-etichettati il cui valore predetto è stabile (bassa varianza) tra i modelli base. Il meta-apprenditore combina quindi output continui anziché probabilità di classe.

Qual è il rischio di errori di propagazione delle etichette?

Se i modelli base iniziali sono inaccurati, le loro predizioni sicure potrebbero comunque essere errate, e tali errori vengono rinforzati nelle iterazioni successive. L'uso di un'elevata soglia di confidenza iniziale, il monitoraggio di un set di validazione etichettato tenuto da parte attraverso le iterazioni e l'arresto quando le prestazioni di validazione smettono di migliorare sono le principali difese.

Metodi correlati

Fonti

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    Apri il riferimento DOI
    Copiato.
  2. Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiato.