Random Forest Semi-Supervisionato
- Introdotto da
- Leistner, C., Saffari, A., Santner, J., & Bischof, H.
- Anno
- 2009
- Tipo
- Semi-supervised ensemble classifier
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Random Forest Semi-Supervisionato (SSL-RF) estende il classico Random Forest sfruttando sia esempi di training etichettati che non etichettati.
Quando l'etichettatura dei dati è costosa o richiede tempo, l'SSL-RF assegna pseudo-etichette provvisorie alle osservazioni non etichettate attraverso la foresta stessa, quindi si riaddestra sul dataset arricchito, migliorando progressivamente l'accuratezza senza richiedere annotazioni umane aggiuntive.
L’intuizione alla base del metodo
Immaginate di chiedere a un gruppo di esperti (i vostri alberi) di classificare dei casi, ma la maggior parte dei fascicoli non ha una diagnosi confermata. L'SSL-RF permette al gruppo di votare sui fascicoli incerti, tratta i voti fiduciosi come diagnosi provvisorie, aggiunge quei fascicoli al pool di training e si riaddestra — ripetendo fino a quando il gruppo non converge. Gli esempi etichettati guidano la foresta, mentre la maggioranza non etichettata modella i confini decisionali in regioni che i soli dati etichettati non potrebbero raggiungere, portando a una migliore generalizzazione quando le etichette sono scarse.
Storia
L'apprendimento semi-supervisionato (SSL) come campo è stato sistematicamente esaminato da Xiaojin Zhu (2005), stabilendo la motivazione teorica per lo sfruttamento dei dati non etichettati. La formulazione canonica dell'SSL-RF è stata introdotta da Leistner et al. all'ICCV 2009, combinando lo splitting basato sull'entropia con la regolarizzazione manifold all'interno del framework del random forest. Il metodo ha guadagnato terreno nella visione artificiale e nell'imaging medico dove i costi di annotazione sono elevati, ed è stato da allora esteso con l'integrazione di deep-feature e varianti di propagazione di etichette basate su grafi.
Quando usarlo
Utilizzate il Random Forest Semi-Supervisionato quando avete abbondanti dati non etichettati ma l'etichettatura è costosa, scarsa o richiede tempo — comune nell'imaging medico, nel telerilevamento, nella classificazione del testo e nei dati biologici. È adatto per dataset tabulari, con feature derivate da immagini e di tipo misto, con almeno un modesto sottoinsieme etichettato (circa il 5-20% del totale dei dati). Evitatelo quando non esistono praticamente etichette affidabili (la foresta iniziale sarà troppo debole per generare pseudo-etichette utili), quando i confini di classe sono altamente non-smooth, o quando un modello completamente supervisionato raggiunge già prestazioni soddisfacenti solo sul vostro set etichettato.
Limiti e considerazioni
- La qualità delle pseudo-etichette dipende dalla foresta supervisionata iniziale; un modello di partenza debole propaga gli errori attraverso tutte le iterazioni successive.
- La selezione della soglia di confidenza non è banale e può influenzare significativamente le prestazioni finali.
- Il costo computazionale scala con il numero di campioni non etichettati e di iterazioni, specialmente per foreste grandi.
- Se la distribuzione dei dati non etichettati differisce da quella dei dati etichettati (covariate shift), le pseudo-etichette possono essere sistematicamente distorte.
- La convergenza non è garantita; l'auto-addestramento iterativo può amplificare le misclassificazioni iniziali senza criteri di arresto attenti.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Sfrutta dati non etichettati a basso costo per migliorare l'accuratezza oltre quanto i soli dati etichettati possono ottenere.
- Eredita tutti i vantaggi del Random Forest: robustezza, importanza delle feature integrata e resistenza all'overfitting tramite bagging.
- La soglia di confidenza flessibile consente di controllare quanto aggressivamente i dati non etichettati vengono incorporati.
- Gestisce naturalmente tipi di feature misti, relazioni non lineari e input ad alta dimensionalità senza assunzioni distributive.
- Le stime out-of-bag dalla porzione etichettata forniscono un segnale di validazione anche con piccoli set etichettati.
- Applicabile sia a compiti di classificazione che di regressione con modifiche algoritmiche minime.
Applicazioni
- Classificazione di immagini mediche dove l'annotazione da parte di esperti è costosa, come nell'istopatologia e nella radiologia.
- Analisi di telerilevamento e immagini satellitari con etichette di verità limitate.
- Classificazione di testi e documenti quando solo un sottoinsieme di documenti può essere etichettato manualmente.
- Analisi di dati biologici e genomici dove la validazione in laboratorio è ad alta intensità di risorse.
- Controllo qualità industriale con etichette di difetti sparse ma abbondanti letture di sensori non etichettate.
- Rilevamento frodi dove i casi di frode confermati sono rari rispetto alle transazioni non etichettate.
Come funziona
Come funziona
Il processo inizia con un piccolo set etichettato e un ampio set non etichettato. Le osservazioni etichettate stabiliscono lo spazio delle feature iniziale e la distribuzione delle classi, assicurando che esista almeno un segnale affidabile prima di tentare qualsiasi fase di pseudo-etichettatura.
Un Random Forest standard viene addestrato solo sui dati etichettati. Il campionamento bootstrap e la selezione casuale delle feature vengono applicati esattamente come nel caso supervisionato, producendo un ensemble le cui previsioni riflettono solo le etichette di verità disponibili in questa fase.
La foresta addestrata predice le probabilità di classe per ogni osservazione non etichettata. I campioni la cui probabilità predetta supera una soglia di confidenza — spesso ottimizzata tramite cross-validazione — ricevono una pseudo-etichetta. I campioni a bassa confidenza possono essere lasciati non etichettati o pesati meno per evitare la propagazione degli errori.
La foresta viene riaddestrata sul pool combinato di esempi etichettati originali e quelli appena pseudo-etichettati. La ponderazione opzionale dei campioni può scontare le istanze pseudo-etichettate rispetto alle etichette vere. In questa fase possono essere applicati anche la regolarizzazione manifold o criteri di splitting basati sull'entropia.
Le fasi di pseudo-etichettatura e riaddestramento vengono ripetute per un numero fisso di iterazioni o fino a quando le assegnazioni di pseudo-etichette non si stabilizzano tra round successivi. L'early stopping previene che l'eccessiva confidenza aggravi gli errori, in particolare in contesti ad alto rumore o alta sovrapposizione.
Le previsioni finali si ottengono aggregando i voti di tutti gli alberi nell'ultima foresta addestrata: voto di maggioranza per la classificazione o risposta media per la regressione. I punteggi di confidenza della foresta possono anche servire come stime di incertezza calibrate per il processo decisionale successivo.
Formula
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}Errori comuni
- Impostare la soglia di confidenza troppo bassa e inondare il set di training con pseudo-etichette rumorose.
- Ignorare il covariate shift tra i pool etichettati e non etichettati, il che può degradare anziché migliorare l'accuratezza.
- Valutare esclusivamente sulle stime out-of-bag senza un set di test etichettato veramente held-out.
- Eseguire troppe iterazioni di auto-addestramento senza early stopping, causando l'accumulo di errori tra i round.
- Trattare le osservazioni pseudo-etichettate come ugualmente affidabili delle etichette vere senza applicare alcuna ponderazione dei campioni.
Domande frequenti
Quanti dati etichettati mi servono per iniziare?
Non esiste un minimo rigido, ma la foresta supervisionata iniziale deve essere abbastanza forte da produrre pseudo-etichette utili. In pratica, almeno il 5-10% del totale dei campioni etichettati — o alcune centinaia di osservazioni etichettate — tende a fornire previsioni di partenza affidabili. Con pochissime etichette, considerate invece metodi di co-training o basati su grafi.
Come scelgo la soglia di confidenza per la pseudo-etichettatura?
Effettuate una cross-validazione sul set etichettato su una griglia di valori di soglia (es. da 0.60 a 0.95) e selezionate il valore che massimizza le prestazioni sul set di validazione. Una soglia più alta riduce il rumore ma anche il volume di dati non etichettati utilizzati; iniziare in modo conservativo intorno a 0.80 è una pratica comune.
L'SSL-RF può gestire lo sbilanciamento delle classi?
Sì, ma lo sbilanciamento delle classi nel set etichettato si propaga alle pseudo-etichette. Utilizzate criteri di splitting ponderati per classe o sovra-campionate la classe minoritaria nel pool etichettato prima della prima fase di training. Monitorate la precisione e il recall per classe piuttosto che l'accuratezza complessiva.
L'SSL-RF è lo stesso dell'auto-addestramento con un learner di base random forest?
L'auto-addestramento è lo schema algoritmico più ampio; l'SSL-RF ne è una realizzazione. Le implementazioni dell'SSL-RF possono anche incorporare criteri di splitting regolarizzati manifold o una struttura basata su grafi, andando oltre il naive auto-addestramento iterativo.
Quando dovrei preferire il gradient boosting all'SSL-RF?
Se tutti i vostri dati sono etichettati, il gradient boosting tipicamente produce una maggiore accuratezza e dovrebbe essere preferito. Utilizzate l'SSL-RF specificamente quando la frazione etichettata è piccola e un ampio pool di dati non etichettati è disponibile per essere sfruttato.
Metodi correlati
Fonti
Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.
Apri il riferimento DOICopiato.Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.
Apri il riferimento della pubblicazioneCopiato.