Albero decisionale auto-supervisionato
- Introdotto da
- Multiple authors (active research area, 2010s–2020s)
- Anno
- 2015–present
- Tipo
- Self-supervised ensemble/single tree model
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
L'apprendimento tramite alberi decisionali auto-supervisionati combina l'interpretabilità degli alberi decisionali classici con la capacità di sfruttare grandi quantità di dati non etichettati attraverso compiti preliminari (pretext tasks) auto-supervisionati.
Il modello apprende rappresentazioni utili delle caratteristiche o criteri di divisione dei nodi da campioni non etichettati prima di affinare le predizioni su un piccolo insieme etichettato, colmando il divario tra alberi completamente supervisionati e clustering puramente non supervisionato.
L’intuizione alla base del metodo
Gli alberi decisionali standard richiedono esempi etichettati a ogni nodo. In molti contesti reali, la raccolta di etichette è costosa, ma i dati grezzi sono abbondanti. Gli alberi decisionali auto-supervisionati risolvono questo problema chiedendo inizialmente all'albero di risolvere un compito ausiliario – ad esempio, prevedere se due campioni appartengono allo stesso cluster, o ricostruire caratteristiche mascherate – utilizzando solo dati non etichettati. Questa fase preliminare insegna all'albero quali caratteristiche e soglie sono globalmente informative. Quando finalmente arrivano le etichette, l'albero ha già un vantaggio e ne richiede molte meno per raggiungere una buona accuratezza.
Storia
L'apprendimento auto-supervisionato come paradigma è salito alla ribalta nel deep learning attraverso lavori su obiettivi contrastivi e compiti preliminari negli anni 2010. I ricercatori hanno successivamente applicato queste idee ai modelli basati su alberi per recuperare i loro vantaggi di interpretabilità in regimi con scarsità di etichette. Le prime formulazioni hanno preso in prestito lo pseudo-labeling dall'apprendimento semi-supervisionato, mentre varianti successive hanno adottato obiettivi contrastivi e di ricostruzione direttamente nel criterio di crescita dell'albero, rendendo il campo un'area di ricerca attiva negli anni 2020.
Quando usarlo
Consigliato quando gli esempi di addestramento etichettati sono scarsi ma è disponibile un ampio pool non etichettato della stessa distribuzione, e quando è ancora necessario un certo grado di interpretabilità (escludendo approcci basati su reti neurali profonde). Appropriato anche quando gli esperti di dominio possono progettare compiti preliminari significativi allineati con l'obiettivo di predizione. Non appropriato quando l'insieme etichettato è già ampio (gli alberi supervisionati standard eguaglieranno o supereranno le prestazioni), quando i dati non etichettati provengono da una distribuzione diversa, o quando la massima accuratezza predittiva su benchmark tabulari è l'unica preoccupazione (il gradient boosting generalmente lo supererà).
Limiti e considerazioni
- Le prestazioni sono sensibili alla progettazione del compito preliminare; un compito mal scelto può fuorviare la struttura dell'albero.
- Il rumore delle pseudo-etichette si accumula attraverso le divisioni se la distribuzione non etichettata devia dai dati etichettati.
- Il costo computazionale è superiore a quello degli alberi supervisionati standard a causa della fase di addestramento preliminare.
- Le garanzie teoriche sulla qualità delle pseudo-etichette e sulla convergenza sono meno consolidate rispetto agli alberi completamente supervisionati.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Sfrutta abbondanti dati non etichettati per migliorare la generalizzazione quando i campioni etichettati sono scarsi.
- Mantiene l'interpretabilità degli alberi decisionali: le divisioni rimangono leggibili e verificabili dall'uomo.
- Framework flessibile che accoglie diversi compiti preliminari personalizzati in base alla conoscenza del dominio.
- Riduce il costo di etichettatura senza sacrificare la natura white-box delle predizioni basate su alberi.
- Compatibile con estensioni ensemble (foreste casuali, boosting) per ulteriori miglioramenti dell'accuratezza.
Applicazioni
- Diagnosi medica in cui le cartelle cliniche etichettate sono rare ma i dati di imaging o clinici non etichettati sono abbondanti.
- Rilevamento di guasti industriali utilizzando abbondanti log di sensori in condizioni operative normali e pochi eventi di guasto etichettati.
- Classificazione del linguaggio naturale con corpora annotati limitati ma grandi pool di testo grezzo.
- Rilevamento di frodi finanziarie in cui le etichette di frode confermate sono scarse rispetto al volume delle transazioni.
- Analisi di dati scientifici (genomica, clima) in cui l'annotazione esperta rappresenta il collo di bottiglia.
Come funziona
Come funziona
Un compito preliminare (pretext task) è progettato in modo che l'albero decisionale possa essere addestrato su dati non etichettati con segnali di supervisione generati automaticamente. Scelte comuni includono la predizione dell'appartenenza a un cluster da un passaggio k-means preliminare, la predizione di valori di caratteristiche mascherati o corrotti, o l'assegnazione di etichette di rotazione/trasformazione agli istanze. Il compito preliminare costringe la struttura dell'albero a scoprire divisioni informative senza etichette fornite dall'uomo.
Dopo la fase preliminare, pseudo-etichette ad alta confidenza vengono assegnate alle istanze non etichettate utilizzando le rappresentazioni o le assegnazioni di cluster già apprese. Queste pseudo-etichette sono trattate come target morbidi nell'addestramento successivo, espandendo di fatto il pool di dati etichettati da un piccolo insieme iniziale a un insieme di lavoro molto più ampio, propagando al contempo stime di incertezza strutturale accanto a ciascuna etichetta.
Utilizzando il segnale combinato da pseudo-etichette e qualsiasi etichetta vera disponibile, l'albero decisionale viene costruito utilizzando un algoritmo di divisione standard (ad esempio, CART, ID3 o C4.5). Le caratteristiche derivate dal compito preliminare o i punteggi dei cluster possono servire come dimensioni di input aggiuntive, arricchendo lo spazio delle caratteristiche oltre gli input grezzi e consentendo divisioni che sarebbero trascurate da un albero puramente supervisionato su etichette sparse.
Le divisioni dei nodi vengono scelte per massimizzare un criterio informativo – guadagno informativo, impurità Gini, o un obiettivo contrastivo auto-supervisionato – valutato sull'insieme di addestramento aumentato. Poiché le pseudo-etichette riflettono la struttura globale appresa da molti campioni non etichettati, le divisioni tendono a generalizzare meglio di quelle apprese da un piccolo insieme etichettato da solo.
Dopo la costruzione iniziale dell'albero, una fase di affinamento ri-potatura o ri-pesa le predizioni delle foglie utilizzando solo esempi etichettati verificati. Questo corregge eventuali rumori nelle pseudo-etichette introdotti nelle fasi precedenti e garantisce che le predizioni finali siano allineate con i confini delle classi ground-truth piuttosto che con i confini approssimativi delle pseudo-etichette.
Errori comuni
- Progettare un compito preliminare non correlato all'obiettivo downstream, portando a rappresentazioni che non si trasferiscono.
- Utilizzare pseudo-etichette senza soglia di confidenza, inondando l'insieme di addestramento con esempi rumorosi.
- Saltare la fase di affinamento e distribuire direttamente l'albero addestrato con pseudo-etichette, il che mantiene errori di etichettatura sistematici.
- Ignorare lo spostamento distributivo tra i pool etichettati e non etichettati – le pseudo-etichette rifletteranno la struttura dati errata.
- Trattare l'interpretabilità come garantita senza verificare che le divisioni derivate dalle pseudo-etichette rimangano semanticamente significative.
Domande frequenti
In cosa differisce dall'apprendimento semi-supervisionato con alberi decisionali?
Gli approcci semi-supervisionati tipicamente propagano le etichette dai nodi etichettati a quelli non etichettati direttamente. Gli alberi decisionali auto-supervisionati definiscono prima un compito preliminare che genera segnali di supervisione sintetici solo da dati non etichettati, fornendo all'albero una guida strutturale più ricca prima ancora di vedere le etichette downstream.
Quale compito preliminare dovrei scegliere?
Il miglior compito preliminare rispecchia l'obiettivo downstream. Per la classificazione tabulare, la predizione del cluster k-means o la ricostruzione di caratteristiche mascherate sono punti di partenza comuni. Se è disponibile la conoscenza del dominio – ad esempio, l'ordine temporale nelle righe delle serie temporali – un compito che sfrutta tale struttura si trasferirà meglio.
Funziona anche per obiettivi di regressione?
Sì. Le pseudo-etichette possono essere centroidi di cluster continui o valori di caratteristiche ricostruiti, e l'albero può essere costruito con un criterio di errore quadratico medio nella fase di affinamento. Il compito preliminare deve semplicemente produrre un segnale correlato all'esito continuo.
Posso combinarlo con foreste casuali o boosting?
Sì. Ogni albero nell'ensemble può essere costruito indipendentemente con la procedura auto-supervisionata, e l'ensemble finale aggrega i loro voti o predizioni nel solito modo. Questo spesso recupera gran parte del divario di accuratezza rispetto al gradient boosting, pur mantenendo l'interpretabilità a livello di singolo albero.
Come valuto la qualità delle pseudo-etichette?
Confronta l'accuratezza delle pseudo-etichette sul piccolo sottoinsieme etichettato rispetto alle etichette ground-truth prima dell'affinamento. Un'accuratezza delle pseudo-etichette inferiore al 70% su tale insieme etichettato tenuto da parte è un segnale di avvertimento che il compito preliminare è mal allineato o che è presente uno spostamento distributivo.
Metodi correlati
Fonti
Self-supervised learning. Wikipedia.
Apri il riferimento della pubblicazioneCopiato.Decision tree learning. Wikipedia.
Apri il riferimento della pubblicazioneCopiato.