Albero decisionale di apprendimento attivo
- Introdotto da
- Settles, B. (active learning framework); Breiman et al. (decision tree base)
- Anno
- 1984–2010
- Tipo
- Active learning with decision tree base learner
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'apprendimento attivo con un albero decisionale combina la struttura interpretabile di un albero in stile CART con una strategia di interrogazione che seleziona le istanze non etichettate più informative per l'annotazione umana.
Il modello richiede iterativamente etichette solo per gli esempi di cui è più incerto, minimizzando i costi di etichettatura e massimizzando l'accuratezza della classificazione sui dati tabulari.
L’intuizione alla base del metodo
Etichettare ogni esempio di addestramento è costoso. L'apprendimento attivo risolve questo problema lasciando che il modello chieda: 'Quale esempio non etichettato, se etichettato, mi insegnerebbe di più?' Un albero decisionale viene utilizzato come classificatore che stima l'incertezza ad ogni passo di interrogazione. Dopo che ogni nuova etichetta viene aggiunta, l'albero viene riaddestrato e il ciclo di interrogazione si ripete. Il risultato è un modello che raggiunge un'accuratezza competitiva con molti meno esempi etichettati rispetto a un albero completamente supervisionato addestrato da zero, rendendolo pratico per contesti in cui l'annotazione è costosa o richiede tempo.
Storia
Gli alberi decisionali come classificatori risalgono a CART di Breiman et al. (1984) e C4.5 di Quinlan (1993). L'apprendimento attivo come framework sistematico è stato esaminato in modo completo da Burr Settles (2010), che ha documentato strategie di campionamento per incertezza, query-by-committee e expected model change. Gli alberi decisionali sono stati un apprendista base standard nei benchmark di apprendimento attivo dalla fine degli anni '90, apparendo nel primo lavoro di campionamento di pool di Cohn, Atlas e Ladner (1994) e nei successivi confronti empirici tra tipi di apprendisti.
Quando usarlo
Utilizzare l'apprendimento attivo con un albero decisionale quando i dati di addestramento etichettati sono scarsi o costosi da ottenere, ma è disponibile un ampio pool di istanze non etichettate — ad esempio in annotazione medica, classificazione di documenti o attività di rilevamento di guasti dei sensori. La base dell'albero decisionale è particolarmente adatta quando è richiesta l'interpretabilità del modello finale insieme all'efficienza di etichettatura. Evitare questo approccio quando l'intero set di dati può essere etichettato a basso costo (l'apprendimento passivo è sufficiente), quando il pool etichettato è già ampio (centinaia o migliaia), quando lo spazio delle caratteristiche è molto ad alta dimensionalità (gli apprendisti attivi basati su gradient boosting o reti neurali sono più performanti), o quando il costo di riaddestramento per iterazione è proibitivo per set di dati molto grandi.
Limiti e considerazioni
- La strategia di interrogazione e il riaddestramento dell'albero insieme possono essere computazionalmente costosi quando il pool non etichettato è molto grande.
- Gli alberi decisionali sono apprendisti ad alta varianza; con poche etichette iniziali, l'albero iniziale può essere inaffidabile, portando a interrogazioni iniziali scadenti.
- Il tetto massimo delle prestazioni è inferiore rispetto ai metodi ensemble come random forest o gradient boosting con lo stesso budget di etichettatura.
- Presuppone che le etichette dell'oracolo siano accurate; etichette rumorose o incoerenti possono degradare il ciclo attivo più rapidamente rispetto all'apprendimento passivo.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Riduce drasticamente il numero di etichette necessarie per raggiungere un'accuratezza target rispetto al campionamento casuale.
- Il modello base ad albero decisionale è interpretabile dall'uomo, rendendolo adatto a domini regolamentati o che richiedono spiegazioni.
- Funziona bene su set di dati tabulari di dimensioni moderate con tipi di caratteristiche misti senza richiedere la scalatura delle caratteristiche.
- Le strategie di interrogazione basate sull'incertezza sono semplici da implementare e spiegare agli stakeholder.
- L'accuratezza out-of-bag o del set di validazione dopo ogni iterazione fornisce una curva di apprendimento trasparente.
Applicazioni
- Annotazione di immagini o record medici in cui il tempo di etichettatura dell'esperto è limitato.
- Classificazione di testi con documenti etichettati scarsi e un ampio corpus non etichettato.
- Rilevamento di guasti di sensori e industriali con alti costi di annotazione.
- Set di dati ecologici o di telerilevamento in cui la verifica sul campo è costosa.
- Pipeline di rilevamento frodi in cui solo una piccola frazione delle transazioni può essere revisionata manualmente.
Come funziona
Come funziona
Viene raccolto un piccolo set iniziale di istanze etichettate per avviare il processo, insieme a un pool più ampio di istanze non etichettate. Il set etichettato viene solitamente scelto casualmente o tramite campionamento stratificato per garantire la presenza di almeno un esempio di ciascuna classe attesa prima che inizi il ciclo attivo.
Un classificatore ad albero decisionale (tipicamente CART o C4.5) viene addestrato sul set etichettato corrente. L'albero apprende regole di divisione che minimizzano l'impurità (Gini o entropia) ad ogni nodo, producendo un classificatore che può anche emettere stime di probabilità di classe per qualsiasi istanza non etichettata.
Un criterio di informatività — più comunemente il campionamento per incertezza basato sull'entropia di predizione H o sul margine tra le prime due probabilità di classe — valuta ogni istanza non etichettata. L'istanza con il punteggio di incertezza più alto viene selezionata come interrogazione: x* = argmax H(y-hat | x).
Formula
x^* = \arg\max_{x \in U} H(\hat{y} \mid x)L'istanza selezionata viene presentata a un oracolo (annotatore umano o meccanismo di etichettatura automatizzato) per l'annotazione. La sua etichetta vera viene aggiunta al set di addestramento etichettato e il pool non etichettato si riduce di uno. Questo passaggio è il collo di bottiglia critico nelle applicazioni reali e dovrebbe essere verificato per l'affidabilità dell'annotatore.
L'albero decisionale viene riaddestrato da zero sul set etichettato ampliato, e il ciclo interrogazione-punteggio-etichetta si ripete. I criteri di arresto includono il raggiungimento di un budget di etichettatura, una soglia minima di accuratezza su un set di validazione separato, o un numero massimo di iterazioni. La valutazione finale dovrebbe utilizzare un set di test completamente indipendente.
Errori comuni
- Utilizzare il set di test per guidare la strategia di interrogazione, il che comporta una perdita di informazioni e un aumento delle metriche di valutazione.
- Non impostare un seed casuale fisso, rendendo l'ordine delle etichettature e i risultati non riproducibili tra le esecuzioni.
- Ignorare lo squilibrio delle classi nel set iniziale, causando all'albero di interrogare prevalentemente la classe maggioritaria.
- Interrompere il ciclo troppo presto basandosi sull'accuratezza di addestramento piuttosto che su un set di validazione indipendente.
- Trattare l'accuratezza finale dell'apprendimento attivo come comparabile a un baseline completamente supervisionato senza riportare il numero di etichette utilizzate.
Domande frequenti
Perché usare un albero decisionale invece di un modello più potente come apprendista base?
Gli alberi decisionali sono veloci da riaddestrare ad ogni iterazione e producono stime di probabilità necessarie per il punteggio di incertezza. La loro interpretabilità è anche importante in domini che richiedono la spiegazione del modello finale. Per la massima accuratezza, si potrebbe preferire un apprendista attivo basato su random forest o gradient boosting, a scapito dell'interpretabilità.
Quanti esempi etichettati iniziali mi servono per iniziare?
Una regola pratica comune è almeno uno o due esempi per classe per garantire che l'albero possa fare divisioni significative. In pratica, iniziare con 5-20 istanze etichettate è tipico; meno di questo rischia un albero iniziale troppo degenerato per produrre punteggi di incertezza informativi.
L'ordine delle interrogazioni conta?
Sì. La sequenza di interrogazione è dipendente dal percorso: le prime interrogazioni modellano ciò che l'albero apprende e quindi quali esempi successivi appaiono più incerti. Diversi seed casuali o set iniziali etichettati possono portare a curve di apprendimento sostanzialmente diverse, quindi replicare gli esperimenti tra i seed quando si confrontano le strategie.
Quando dovrei smettere di interrogare?
Definire in anticipo un budget di etichettatura, o monitorare l'accuratezza di validazione e fermarsi quando il miglioramento per nuova etichetta scende al di sotto di una soglia. Non usare mai il set di test come criterio di arresto, poiché ciò costituisce una fuga di dati.
Posso usare questo approccio con problemi multiclasse?
Sì. Il campionamento per incertezza basato sull'entropia si generalizza naturalmente a più classi. Per impostazioni multiclasse fortemente sbilanciate, considerare alberi decisionali cost-sensitive o pesati per classe e assicurarsi che il set iniziale copra tutte le classi.
Metodi correlati
Fonti
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin-Madison.
Apri il riferimento della pubblicazioneCopiato.Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and Regression Trees. Wadsworth & Brooks.
ISBN: 978-0-412-04841-8Copiato.