Skip to content
Torna ai risultati

Gradient Boosting Semi-supervisionato

Introdotto da
Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
Anno
2006–2010s
Tipo
Semi-supervised ensemble (self-training + gradient boosted trees)
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il gradient boosting semi-supervisionato combina alberi gradient boosting con auto-addestramento (self-training) o pseudo-etichettatura (pseudo-labeling) per sfruttare ampi set di dati non etichettati insieme a un piccolo set etichettato.

Una prima stima GBM sui dati etichettati assegna predizioni sicure agli esempi non etichettati; tali punti pseudo-etichettati vengono reintrodotti nell'addestramento e il modello viene ri-potenziato (re-boosted), iterando fino alla convergenza. Ciò consente ai professionisti di sfruttare dati non etichettati a basso costo quando le etichette sono scarse o costose.

L’intuizione alla base del metodo

Immagina di avere 200 risposte di sondaggio etichettate e 10.000 non etichettate. Un modello di gradient boosting addestrato solo sulle 200 etichette è già abbastanza buono. Il gradient boosting semi-supervisionato utilizza quel modello per classificare le risposte non etichettate su cui si sente sicuro, le etichetta provvisoriamente, quindi si riaddestra sul set combinato molto più ampio. Il ciclo si ripete: ogni round il modello migliora perché vede più esempi, e migliori predizioni si traducono in pseudo-etichette di qualità superiore per il round successivo. La maggioranza non etichettata agisce efficacemente come un dispositivo di regolarizzazione e di aumento dei dati gratuito.

Storia

L'apprendimento semi-supervisionato è stato sistematizzato nel volume del 2006 della MIT Press di Chapelle, Scholkopf e Zien. La variante auto-addestramento / pseudo-etichettatura risale a Yarowsky (1995) in NLP ed è stata successivamente formalizzata da Lee (2013) nel contesto delle reti profonde, ma lo stesso principio si applica direttamente agli alberi gradient boosted. CatBoost (Prokhorenkova et al., 2018) ha introdotto estensioni semi-supervisionate integrate; lavori successivi hanno esplorato schemi di pseudo-etichettatura e calibrazione della confidenza specificamente per GBM in contesti biomedici e industriali negli anni 2010 e 2020.

Quando usarlo

Utilizzare il gradient boosting semi-supervisionato quando i dati etichettati sono scarsi (ad esempio, meno di qualche centinaio di esempi) ma sono disponibili grandi quantità di dati non etichettati dalla stessa distribuzione, e la raccolta di etichette aggiuntive è costosa. È ben adatto a compiti di classificazione e regressione su dati tabulari in cui un modello gradient boosted si comporta già decentemente sul solo set etichettato. Evitarlo quando: i dati etichettati e non etichettati provengono da distribuzioni diverse (lo spostamento di distribuzione amplificherà l'errore); l'accuratezza del modello di base sui dati etichettati è molto bassa (pseudo-etichette scadenti corrompono il riaddestramento); o il set etichettato è già abbastanza grande da saturare un GBM standard, nel qual caso l'overhead semi-supervisionato fornisce un beneficio trascurabile.

Limiti e considerazioni

  • La qualità delle pseudo-etichette dipende dal modello di base; un modello iniziale debole può corrompere le iterazioni successive.
  • Presuppone che i dati etichettati e non etichettati siano estratti dalla stessa distribuzione — violare questo principio causa amplificazione dell'errore.
  • La sintonizzazione della soglia (tau) aggiunge un iperparametro senza un valore predefinito basato su principi.
  • Il costo computazionale cresce con ogni iterazione di auto-addestramento, specialmente su ampi pool non etichettati.
  • La validazione deve essere eseguita solo sui dati etichettati; la validazione incrociata standard sul set aumentato gonfia le stime.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Sfrutta dati non etichettati a basso costo per migliorare le prestazioni quando le etichette sono costose o scarse.
  • Compatibile con qualsiasi implementazione di gradient boosting (XGBoost, LightGBM, CatBoost, scikit-learn) senza modifiche architetturali.
  • La soglia di confidenza fornisce un cancello di qualità integrato che limita il rumore delle pseudo-etichette.
  • Mantiene la piena potenza predittiva e la modellazione delle interazioni tra caratteristiche degli alberi gradient boosted.
  • Il raffinamento iterativo consente l'incorporazione progressiva di dati non etichettati man mano che il modello migliora.

Applicazioni

  • Diagnosi medica in cui le cartelle cliniche etichettate sono limitate ma le note cliniche non etichettate sono abbondanti.
  • Rilevamento di difetti industriali utilizzando un piccolo set di esempi di guasti etichettati e un ampio flusso di produzione non etichettato.
  • Classificazione di testi e analisi del sentiment con esempi seme etichettati aumentati da corpora non etichettati.
  • Credit scoring quando solo una frazione delle domande storiche ha esiti di default verificati.
  • Telerilevamento e classificazione geospaziale che combinano poche misurazioni sul campo etichettate con ampie caratteristiche di immagini satellitari non etichettate.

Come funziona

Come funziona

1

Un modello standard di gradient boosting (XGBoost, LightGBM, CatBoost, scikit-learn GBM, ecc.) viene addestrato sugli esempi etichettati disponibili utilizzando la minimizzazione standard della perdita supervisionata. Questo modello di base deve essere almeno moderatamente accurato affinché la pseudo-etichettatura aiuti piuttosto che nuocere.

2

Il modello di base viene applicato a ciascun esempio non etichettato. Le predizioni che superano una soglia di confidenza tau (ad esempio, probabilità prevista superiore a 0.9 per la classificazione, o predizioni entro un intervallo ristretto per la regressione) vengono accettate come pseudo-etichette. Il filtraggio ad alta confidenza limita la propagazione degli errori nei primi round.

Formula
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau
3

Gli esempi pseudo-etichettati accettati vengono aggiunti al set di addestramento etichettato, opzionalmente pesati al di sotto di 1.0 per riflettere la loro origine incerta. Il set di dati combinato è ora sostanzialmente più grande e può coprire meglio lo spazio delle caratteristiche.

4

Un nuovo modello di gradient boosting viene addestrato da zero (o con avvio a caldo - warm-started) sul set di dati aumentato. Poiché il gradient boosting è intrinsecamente sequenziale e sensibile al rumore delle etichette, il monitoraggio della perdita di validazione sul set etichettato tenuto da parte è essenziale per rilevare il degrado causato da pseudo-etichette rumorose.

5

I passaggi da 2 a 4 si ripetono per un numero fisso di round o fino alla convergenza, definita come un cambiamento trascurabile nella metrica di validazione o nessun nuovo esempio non etichettato che attraversa la soglia di confidenza. Ad ogni round la soglia di confidenza può essere gradualmente rilassata per includere più dati pseudo-etichettati.

Errori comuni

  • Utilizzo di dati pseudo-etichettati nella fold di validazione, che fornisce una stima delle prestazioni ottimisticamente distorta.
  • Impostare la soglia di confidenza troppo bassa nei primi round, inondando il riaddestramento con etichette rumorose e causando trasferimento negativo.
  • Ignorare lo spostamento di distribuzione tra dati etichettati e non etichettati, che può degradare le prestazioni al di sotto del baseline supervisionato.
  • Non pesare gli esempi pseudo-etichettati al di sotto di 1.0, dando alle predizioni incerte la stessa importanza delle etichette verificate dall'uomo.
  • Fermarsi a un solo round di pseudo-etichettatura invece di iterare fino alla convergenza.

Domande frequenti

Come scelgo la soglia di confidenza?

Inizia in modo conservativo — per la classificazione binaria, valori superiori a 0.9 sono comuni nel primo round. Monitora l'accuratezza di validazione sul set etichettato dopo ogni round e rilassa gradualmente la soglia solo se le prestazioni si mantengono o migliorano. Non esiste un valore unico basato su principi; trattalo come un iperparametro sintonizzabile.

Gli esempi pseudo-etichettati dovrebbero essere pesati allo stesso modo di quelli etichettati?

Generalmente no. Assegnare un peso inferiore a 1.0 (ad esempio, 0.5) agli esempi pseudo-etichettati riduce l'influenza delle predizioni incerte sulla funzione di perdita. Alcune implementazioni legano il peso alla confidenza prevista dal modello, dando un peso maggiore alle pseudo-etichette ad alta confidenza.

Quando il gradient boosting semi-supervisionato danneggia le prestazioni?

Danneggia quando il modello iniziale è troppo debole per produrre pseudo-etichette affidabili, quando i dati etichettati e non etichettati differiscono per distribuzione, o quando il set non etichettato è piccolo rispetto al set etichettato. In questi scenari, un GBM supervisionato standard sui soli dati etichettati è solitamente più sicuro.

È diverso dalla modalità semi-supervisionata integrata di CatBoost?

CatBoost implementa nativamente l'addestramento semi-supervisionato ottimizzando congiuntamente una perdita supervisionata sui dati etichettati e una perdita non supervisionata o pseudo-etichettata sui dati non etichettati all'interno di una singola esecuzione di addestramento, il che può essere più stabile rispetto alla pseudo-etichettatura iterativa esterna. I cicli di auto-addestramento manuali sono più generali e funzionano con qualsiasi libreria GBM.

Quante iterazioni di pseudo-etichettatura sono necessarie?

Tipicamente sono sufficienti da 3 a 10 round; la convergenza viene rilevata quando la metrica di validazione sul set etichettato smette di migliorare o il numero di nuove pseudo-etichette accettate scende quasi a zero. Più round rischiano di amplificare gli errori delle pseudo-etichette.

Metodi correlati

Fonti

  1. Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)

    Apri il riferimento della pubblicazione
    Copiato.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiato.