Albero decisionale semi-supervisionato
- Introdotto da
- Various (Levin & Shapiro; Zhu & Goldberg lineage)
- Anno
- 2000s
- Tipo
- Semi-supervised classifier / regressor
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Un albero decisionale semi-supervisionato estende l'induzione standard degli alberi decisionali — come CART o C4.5 — per sfruttare osservazioni non etichettate accanto al set di addestramento etichettato.
Assegnando iterativamente etichette provvisorie ai dati non etichettati e incorporandoli nel processo di crescita o divisione, l'algoritmo può raggiungere una maggiore accuratezza rispetto a un albero completamente supervisionato addestrato solo sul sottoinsieme etichettato, il che è particolarmente prezioso quando l'etichettatura è costosa o richiede tempo.
L’intuizione alla base del metodo
Etichettare ogni osservazione è costoso, tuttavia i dati non etichettati contengono ancora informazioni strutturali utili sullo spazio delle caratteristiche. Un albero decisionale semi-supervisionato sfrutta questo costruendo prima un albero dai pochi esempi etichettati, utilizzando tale albero per etichettare provvisoriamente i dati non etichettati, e quindi riaddestrando sul set ampliato. Iterazioni ripetute affinano sia le etichette provvisorie sia la struttura dell'albero simultaneamente, in modo che il modello impari dalla distribuzione complessiva dei dati anche quando le etichette ground-truth sono scarse.
Storia
L'apprendimento semi-supervisionato è emerso alla fine degli anni '90 quando i ricercatori hanno cercato di sfruttare l'abbondanza di dati non etichettati disponibili in domini come la classificazione web e la biologia computazionale. Varianti di auto-addestramento degli alberi decisionali, in cui un albero etichetta iterativamente i propri dati non etichettati, sono state tra le prime istanze. Il trattamento formale è apparso nella survey di Zhu & Goldberg (2009), che colloca l'auto-addestramento basato su alberi nella tassonomia più ampia dell'apprendimento semi-supervisionato. Da allora, gli approcci si sono estesi agli scenari ensemble, producendo foreste casuali semi-supervisionate e alberi a gradiente potenziato.
Quando usarlo
Gli alberi decisionali semi-supervisionati sono appropriati quando i dati etichettati sono scarsi e costosi da ottenere, ma è disponibile un ampio pool di osservazioni non etichettate — comune nell'annotazione di immagini mediche, classificazione di testi e monitoraggio basato su sensori. Sono particolarmente utili quando la distribuzione complessiva delle caratteristiche è ben catturata dal pool non etichettato e quando è richiesto un modello interpretabile dall'uomo (un albero). Evitare questo metodo quando il campione etichettato è così piccolo che l'albero iniziale è altamente inaffidabile, quando i dati non etichettati non sono rappresentativi della distribuzione di test, o quando si prevede che il processo di pseudo-etichettatura propaghi errori sistematici (bias di conferma). In tali casi, metodi puramente supervisionati su dati etichettati puliti, o approcci semi-supervisionati alternativi come la propagazione delle etichette o il co-training, possono essere più sicuri.
Limiti e considerazioni
- Errori di pseudo-etichettatura da un albero iniziale inaffidabile possono essere amplificati attraverso le iterazioni, degradando le prestazioni rispetto a un baseline completamente supervisionato.
- Il metodo presuppone che i dati non etichettati condividano la stessa distribuzione sottostante dei dati etichettati; uno spostamento della distribuzione infrange questa assunzione.
- Il costo computazionale cresce con ogni iterazione poiché gli alberi vengono riaddestrati su set di dati effettivi sempre più grandi.
- La selezione della soglia di confidenza per l'inclusione delle pseudo-etichette richiede un'attenta messa a punto e validazione incrociata.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Sfrutta i dati non etichettati per migliorare l'accuratezza quando gli esempi etichettati sono pochi, riducendo i costi di annotazione.
- Mantiene l'interpretabilità degli alberi decisionali: il modello risultante è un insieme di regole if-then leggibili dall'uomo.
- Gestisce naturalmente tipi di caratteristiche misti — continui, categorici, binari — senza normalizzazione di pre-elaborazione.
- L'auto-addestramento iterativo è semplice da implementare sopra qualsiasi apprenditore di alberi esistente.
- Può catturare confini non lineari e interazioni tra caratteristiche che i modelli semi-supervisionati lineari non colgono.
Applicazioni
- Classificazione di immagini e cartelle cliniche mediche dove l'annotazione esperta è costosa e esistono ampi archivi non annotati.
- Categorizzazione di testi e documenti con piccoli corpora etichettati e grandi collezioni non etichettate.
- Analisi di dati da sensori e IoT dove solo una frazione di segmenti di serie temporali è etichettata manualmente.
- Compiti di bioinformatica come la predizione della funzione genica con poche etichette verificate sperimentalmente.
- Rilevamento frodi quando i casi di frode etichettati sono rari rispetto al volume di transazioni non etichettate.
Come funziona
Come funziona
Un albero decisionale standard (ad es., CART o C4.5) viene adattato utilizzando solo la porzione etichettata del dataset. Questo modello iniziale fornisce una prima approssimazione ai confini decisionali e funge da seme per le successive iterazioni semi-supervisionate.
Ogni osservazione non etichettata viene passata attraverso l'albero corrente, e la classe predetta (per la classificazione) o il valore predetto (per la regressione) viene assegnato come etichetta provvisoria. Stime di confidenza o probabilità dai nodi foglia possono essere utilizzate per selezionare solo le pseudo-etichette più affidabili, filtrando le assegnazioni a bassa confidenza.
L'albero viene riaddestrato da zero utilizzando sia gli esempi etichettati originali sia le osservazioni non etichettate appena pseudo-etichettate. Le pseudo-etichette ad alta confidenza contribuiscono alle decisioni di divisione insieme alle etichette vere, ampliando efficacemente il set di addestramento effettivo.
Criteri di divisione modificati — come entropia o Gini calcolati su osservazioni sia etichettate che non etichettate, o obiettivi bicriterio che bilanciano la purezza supervisionata con la coerenza dei cluster non supervisionati — guidano le divisioni dei nodi per rispettare la distribuzione sottostante dei dati rivelata dai punti non etichettati.
L'iterazione continua finché le etichette provvisorie non si stabilizzano tra round successivi o non viene raggiunto un limite massimo di iterazioni. Strategie di potatura post-hoc standard (potatura costo-complessità, dimensione minima delle foglie) vengono quindi applicate all'albero finale per controllare l'overfitting sui dati pseudo-etichettati.
Errori comuni
- Utilizzare tutte le pseudo-etichette indipendentemente dalla confidenza, il che consente a assegnazioni di bassa qualità di dominare le iterazioni successive.
- Non verificare che i dati non etichettati siano estratti dalla stessa distribuzione del set etichettato prima dell'addestramento.
- Trattare le statistiche delle foglie dell'albero finale come puramente supervisionate quando si riportano metriche di prestazione — è necessaria una valutazione out-of-bag o su dati etichettati tenuti da parte.
- Saltare la potatura dopo l'aumento delle pseudo-etichette, causando un grave overfitting a etichette provvisorie rumorose.
- Confrontare direttamente con un albero completamente supervisionato addestrato sullo stesso sottoinsieme etichettato senza tenere conto dei dati non etichettati aggiuntivi utilizzati.
Domande frequenti
In che modo un albero decisionale semi-supervisionato differisce da un normale classificatore di auto-addestramento?
Il principio fondamentale — utilizzare le predizioni sui dati non etichettati per aumentare l'addestramento — è lo stesso. Ciò che distingue gli approcci specifici per alberi è l'opzione di modificare il criterio di divisione stesso per incorporare informazioni sulla distribuzione non etichettata, piuttosto che semplicemente espandere iterativamente il set etichettato.
Di quanti esempi etichettati ho bisogno per iniziare?
Non esiste un minimo universale, ma l'albero supervisionato iniziale deve essere sufficientemente affidabile da produrre pseudo-etichette utili. In pratica, sono spesso raccomandati almeno 20-50 esempi etichettati per classe; con meno, il rischio di propagazione degli errori è elevato e approcci alternativi come la propagazione delle etichette potrebbero funzionare meglio.
Devo usare tutti i dati non etichettati o selezionarne un sottoinsieme?
Selezionare solo pseudo-etichette ad alta confidenza — ad esempio quelle per cui la probabilità della foglia supera una soglia come 0.85 — generalmente supera l'utilizzo di tutti i punti non etichettati, specialmente quando l'albero iniziale è imperfetto.
Questo sostituisce la validazione incrociata standard?
No. Poiché le pseudo-etichette sono derivate dal modello stesso, le metriche in-sample sono ottimistiche. La valutazione deve utilizzare un set di test etichettato tenuto da parte o la validazione incrociata k-fold applicata rigorosamente alla partizione etichettata.
Posso combinarlo con metodi ensemble?
Sì. Foreste casuali semi-supervisionate e approcci co-forest estendono l'idea agli ensemble, che possono ridurre la varianza degli errori di pseudo-etichettatura e generalmente superano un singolo albero semi-supervisionato.
Metodi correlati
Fonti
Levin, E. & Shapiro, E. (2000). Learning Decision Trees from Semi-labeled Examples. Proceedings of the ICML Workshop on Attribute-Value and Relational Learning.
Apri il riferimento della pubblicazioneCopiato.Zhu, X. & Goldberg, A. B. (2009). Introduction to Semi-Supervised Learning. Morgan & Claypool Publishers.
ISBN: 978-1-598-29548-9Copiato.