Albero decisionale
- Introdotto da
- Breiman, Friedman, Olshen & Stone
- Anno
- 1984
- Tipo
- Recursive partitioning (if-then rules)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Un albero decisionale è un metodo interpretabile per la classificazione e la regressione, formalizzato da Breiman, Friedman, Olshen e Stone nel loro framework CART del 1984, che partiziona i dati con regole gerarchiche if-then.
Ogni split invia le osservazioni lungo un ramo o l'altro finché una predizione non viene letta dalla foglia.
L’intuizione alla base del metodo
Si pensi a un albero decisionale come a un diagramma di flusso di domande sì/no. Partendo da tutti i dati, l'albero pone ripetutamente l'unica domanda su una feature che separa meglio i casi — ad esempio, 'l'età è superiore a 40?' — e divide i dati in due gruppi. Continua a dividere ogni gruppo finché i casi al suo interno non sono ragionevolmente omogenei, e i gruppi finali (le foglie) forniscono la predizione. La catena di domande dalla radice a una foglia è una regola che qualsiasi lettore può seguire.
Storia
Gli alberi decisionali sono stati posti su basi rigorose da Leo Breiman, Jerome Friedman, Richard Olshen e Charles Stone nella loro monografia del 1984 Classification and Regression Trees, che introdusse l'algoritmo CART e il suo uso di misure di impurità come l'indice di Gini. La struttura trasparente if-then ha reso gli alberi un pilastro dell'analisi applicata, e successivamente sono diventati il blocco costitutivo fondamentale di ensemble più potenti — impacchettati in Random Forests e potenziati in Gradient Boosting — dove molti alberi vengono combinati per superare l'instabilità di un singolo albero.
Quando usarlo
Utilizzare un albero decisionale quando si desidera un modello interpretabile per la classificazione, la predizione o la spiegazione su dati tabulari trasversali con almeno circa 30 osservazioni, mescolando feature continue, categoriche, binarie e ordinali. Non è necessaria alcuna scalatura delle feature e le regole sono facili da comunicare. Al di sotto di circa 30 casi l'albero va facilmente in overfitting — le foglie possono contenere una singola osservazione — e un modello più semplice e stabile come la regressione logistica o il naive Bayes è più sicuro.
Limiti e considerazioni
- Prone all'overfitting a meno che non venga potato tramite max_depth o min_samples_leaf.
- Su campioni piccoli (n inferiore a circa 30) l'albero va facilmente in overfitting, con foglie che possono contenere una singola osservazione.
- Dopo la potatura, un albero su campione piccolo può conservare troppo pochi split per essere utile, mentre la regressione logistica è più stabile.
- Un singolo albero è instabile — piccole variazioni nei dati possono produrre una struttura molto diversa.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Altamente interpretabile: il percorso dalla radice alla foglia è una semplice regola if-then.
- Nessuna scalatura delle feature richiesta; gestisce direttamente feature continue, categoriche, binarie e ordinali.
- Bassa difficoltà — adatto anche a utenti principianti.
- Serve come blocco costitutivo di ensemble come Random Forest e Gradient Boosting.
Applicazioni
- Classificazione interpretabile di dati tabulari trasversali.
- Predizione e segmentazione del rischio dove le regole trasparenti sono apprezzate.
- Analisi esplicativa per far emergere quali feature e soglie guidano un risultato.
- Un learner di base all'interno di ensemble come Random Forest e Gradient Boosting.
Come funziona
Come funziona
Ad ogni nodo l'albero cerca ogni feature e ogni soglia possibile per lo split che migliora maggiormente la purezza — l'algoritmo CART tipicamente utilizza l'indice di Gini o il guadagno di informazione per la classificazione. Viene scelto lo split che produce la maggiore riduzione dell'impurità, quindi ogni ramo contiene casi più simili tra loro rispetto a prima.
Formula
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
Lo split scelto viene applicato e la procedura viene ricorsa su ciascun ramo risultante, partizionando i dati ancora e ancora. Poiché non è richiesta alcuna scalatura delle feature, si possono usare direttamente feature continue, categoriche, binarie e ordinali. Se non controllato, l'albero continua a crescere finché le foglie non sono quasi pure — che è esattamente dove si insinua l'overfitting.
Per controllare l'overfitting l'albero viene limitato — limitando la profondità (max_depth), richiedendo un numero minimo di casi per foglia (min_samples_leaf), o potando i rami che aggiungono poco. Il risultato è un insieme compatto di regole leggibili: il percorso dalla radice alla foglia è una regola decisionale trasparente, motivo per cui gli alberi decisionali sono adatti anche ai principianti.
Errori comuni
- Crescere l'albero fino alla profondità massima senza limitare max_depth o min_samples_leaf.
- Fidarsi di un singolo albero profondo su meno di circa 30 osservazioni.
- Leggere un albero fragile su campione piccolo come spiegazione stabile dei dati.
- Riportare l'accuratezza in-sample senza una divisione train/test o cross-validation.
Domande frequenti
Come viene scelto uno split?
L'algoritmo CART valuta gli split candidati su tutte le feature e le soglie e sceglie quello che riduce maggiormente l'impurità del nodo, comunemente misurata dall'indice di Gini o dal guadagno di informazione per la classificazione.
Perché un albero decisionale va in overfitting e come posso fermarlo?
Se lasciato crescere liberamente, un albero continua a dividersi finché le foglie non sono quasi pure, memorizzando il rumore. Limitato limitandone la profondità (max_depth), richiedendo un numero minimo di casi per foglia (min_samples_leaf), o potando i rami che aggiungono poco.
Di quanti dati ho bisogno?
Puntare ad almeno circa 30 osservazioni. Al di sotto di tale soglia l'albero va facilmente in overfitting — le foglie possono contenere un singolo caso — e un modello più semplice come la regressione logistica o il naive Bayes è più stabile.
Come si relaziona un albero decisionale a Random Forest?
Un singolo albero decisionale è il blocco costitutivo degli ensemble: Random Forest cresce molti alberi su dati ricampionati e combina i loro voti, e Gradient Boosting costruisce alberi sequenzialmente — entrambi scambiano la trasparenza del singolo albero per maggiore accuratezza e stabilità.
Metodi correlati
Fonti
Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.
Apri il riferimento DOICopiato.