Random Forest
- Introdotto da
- Breiman, L.
- Anno
- 2001
- Tipo
- Ensemble (bagging of decision trees)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Random Forest è un metodo di apprendimento d'insieme (ensemble learning), introdotto da Leo Breiman nel 2001, che costruisce molti alberi decisionali su campioni bootstrap dei dati e combina i loro voti per produrre classificazioni e regressioni robuste.
Aggregando molti alberi leggermente diversi, produce previsioni più accurate e stabili rispetto a qualsiasi singolo albero.
L’intuizione alla base del metodo
Un singolo albero decisionale cresciuto in profondità si adatta strettamente ai dati di addestramento ma è instabile: un piccolo cambiamento nei dati può produrre un albero molto diverso. Il Random Forest affronta questo problema costruendo molti alberi, ciascuno su una visione casuale leggermente diversa dei dati, e lasciandoli votare. Gli errori dei singoli alberi tendono ad annullarsi a vicenda, quindi la previsione combinata è molto più affidabile di quella di un singolo albero.
Storia
Il Random Forest è stato proposto da Leo Breiman nel 2001, combinando l'aggregazione bootstrap con la selezione casuale delle feature ad ogni split. È diventato uno dei metodi di machine learning "off-the-shelf" più ampiamente utilizzati e affidabili per i dati tabulari, ed è un riferimento standard in testi come An Introduction to Statistical Learning (Capitolo 8). Più recentemente, strumenti come i valori SHAP hanno avvicinato la sua interpretabilità a quella della regressione logistica, aumentandone l'accettazione nelle scienze sociali.
Quando usarlo
Un buon modello per classificazione, regressione o previsione accurata e robusta su dati tabulari con molte feature — eventualmente non lineari e interagenti — e almeno circa 50 osservazioni, quando la performance predittiva è più importante della segnalazione di coefficienti espliciti. Il Random Forest è leggero in termini di assunzioni: non richiede dati distribuiti normalmente e gestisce feature continue, categoriche, binarie, ordinali e di conteggio. Si raccomanda la sintonizzazione degli iperparametri. Quando le dimensioni del campione scendono al di sotto di circa 50, modelli più semplici come la regressione logistica o lineare sono più sicuri.
Limiti e considerazioni
- Nessun coefficiente da interpretare; la sua natura di "scatola nera" può scontrarsi con revisori che si aspettano effetti espliciti.
- Si raccomanda la sintonizzazione degli iperparametri, e i grandi forest richiedono memoria e potenza di calcolo.
- Su campioni piccoli (n inferiore a circa 50) molti alberi vanno in overfitting e i risultati della cross-validazione diventano fuorvianti.
- Le stime dell'importanza delle feature possono essere instabili e non riproducibili con campioni di piccole dimensioni.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Elevata accuratezza "off-the-shelf" su dati tabulari sia per la classificazione che per la regressione.
- Resistente all'overfitting grazie al bagging e alla selezione casuale delle feature ad ogni split.
- L'importanza delle feature integrata nel modello consente una classificazione delle variabili direttamente nel modello.
- L'errore out-of-bag fornisce una stima di validazione onesta senza un passaggio di cross-validazione separato.
- Leggero in termini di assunzioni: nessun requisito di normalità e gestisce tipi di feature misti e interazioni non lineari.
Applicazioni
- Classificazione e regressione su dati tabulari con molte feature.
- Selezione e classificazione delle variabili tramite l'importanza delle feature nativa.
- Punteggio di rischio e previsione dove la robustezza è più importante dei coefficienti espliciti.
- Modellazione di base prima di provare ensemble più complessi come il gradient boosting.
Come funziona
Come funziona
Molti campioni bootstrap vengono estratti dal set di addestramento — ciascuno è un campione casuale prelevato con reimmissione, quindi gli alberi vedono dati leggermente diversi. Le osservazioni escluse da un dato campione (il set out-of-bag) forniscono una stima di validazione integrata senza la necessità di una fold di hold-out separata.
Ad ogni split in ogni albero, solo un sottoinsieme casuale delle feature disponibili viene considerato come candidato. Questa selezione casuale delle feature decorrela gli alberi in modo che non si aggrappino tutti agli stessi predittori dominanti, il che consente all'ensemble di ridurre la varianza al di sotto di quella di qualsiasi singolo albero.
Ogni albero produce la propria previsione, e il forest le combina: un voto di maggioranza tra gli alberi per la classificazione, o la media dei loro output per la regressione. Questa aggregazione è ciò che trasforma molti alberi rumorosi in un predittore robusto.
Formula
\hat{y} = \text{mode/mean of } T \text{ trees}Errori comuni
- Saltare una divisione train/test o la cross-validazione e fidarsi delle prestazioni in-sample.
- Ignorare lo squilibrio di classe invece di ripesare le classi (class_weight='balanced') o ricampionare.
- Riportare solo l'accuratezza senza F1 e AUC.
- Trattare una classificazione dell'importanza delle feature su campioni piccoli come stabile.
- Accettare ciecamente gli iperparametri predefiniti invece di sintonizzare il numero di alberi.
Domande frequenti
Quanti alberi dovrebbe avere il forest?
Più alberi riducono la varianza e stabilizzano il voto a costo di calcolo e memoria. Un punto di partenza comune è di circa 100 alberi, aumentando fino a quando l'errore out-of-bag smette di migliorare.
Il Random Forest va in overfitting?
È altamente resistente all'overfitting perché il bagging e la selezione casuale delle feature decorrelano gli alberi e mediano i loro errori individuali. Il rischio principale è adattare molti alberi profondi su un dataset molto piccolo, dove il modello va in overfitting e la cross-validazione diventa fuorviante.
Posso fidarmi dell'importanza delle feature?
L'importanza delle feature è utile per classificare i predittori, ma con campioni di piccole dimensioni può essere instabile e non riproducibile, quindi trattare le classificazioni su campioni piccoli con cautela. Abbinarla all'analisi SHAP offre una visione più chiara del contributo di ogni feature.
Cosa dovrei controllare prima e dopo l'adattamento?
In anticipo, gestire i valori mancanti, codificare le variabili categoriche e impostare una divisione train/test o una cross-validazione k-fold. Successivamente, valutare l'errore out-of-bag, eseguire la cross-validazione e ispezionare i contributi delle feature (ad esempio con SHAP).
Metodi correlati
Fonti
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
Apri il riferimento DOICopiato.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ISBN: 978-1-4614-7138-7Copiato.