Skip to content
Torna ai risultati

Alberi Extra

Introdotto da
Geurts, P.; Ernst, D.; Wehenkel, L.
Anno
2006
Tipo
Ensemble (extremely randomized decision trees)
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Alberi Extra (Extremely Randomized Trees), introdotti da Geurts, Ernst e Wehenkel nel 2006, è un ensemble di alberi decisionali che spinge la randomizzazione oltre Random Forest.

Sia le feature candidate che le soglie di split vengono scelte completamente a caso ad ogni nodo, eliminando la ricerca greedy sulle soglie. Questa casualità aggiuntiva riduce la varianza, spesso eguaglia o supera l'accuratezza di Random Forest e funziona sostanzialmente più velocemente in fase di addestramento.

L’intuizione alla base del metodo

Random Forest già decorrela gli alberi campionando casualmente le feature ad ogni split, ma cerca ancora la soglia migliore tra quelle feature. Extra Trees va un passo oltre: per ogni feature candidata sceglie una soglia casuale invece di ottimizzarla. A prima vista questo potrebbe sembrare dannoso per l'accuratezza, ma poiché gli alberi risultanti sono ancora meno correlati tra loro, la media dell'ensemble annulla più varianza. La perdita dovuta a qualsiasi singolo split errato è minima una volta mediata su molti alberi, e il guadagno di velocità derivante dal non cercare una soglia ottimale è sostanziale.

Storia

Extra Trees è stato proposto da Pierre Geurts, Damien Ernst e Louis Wehenkel in un articolo del 2006 su Machine Learning. Gli autori hanno dimostrato che l'introduzione della randomizzazione completa delle soglie di split — piuttosto che la ricerca di tagli ottimali — riduce sostanzialmente la varianza scambiando un piccolo aumento di bias. Il metodo è da allora diventato un'alternativa standard a Random Forest nell'ecosistema scikit-learn ed è ampiamente utilizzato come baseline veloce e ad alta accuratezza per benchmark su dati tabulari.

Quando usarlo

Utilizzare Extra Trees quando si desidera un addestramento rapido e una forte accuratezza su dati tabulari con feature continue o miste. È particolarmente utile quando il tempo di addestramento è un vincolo — la sua rimozione dell'ottimizzazione della soglia lo rende considerevolmente più veloce di Random Forest con accuratezza comparabile. Si adatta a compiti di classificazione e regressione con campioni da moderati a grandi (circa 50 o più osservazioni). Preferire Random Forest o gradient boosting se si necessitano stime out-of-bag integrate o se il rumore del dataset è molto elevato e si sospetta che soglie completamente casuali danneggino l'accuratezza. Per dataset molto piccoli, modelli più semplici come la regressione logistica o un singolo albero decisionale sono più sicuri e interpretabili.

Limiti e considerazioni

  • Nessuna stima out-of-bag integrata (a differenza di Random Forest), quindi è necessaria la cross-validation per una valutazione imparziale dell'errore.
  • Le soglie completamente casuali possono danneggiare dati molto rumorosi dove gli split ottimali sono informativi.
  • Black-box: non fornisce coefficienti espliciti, limitando l'interpretabilità per pubblici che si aspettano dimensioni dell'effetto.
  • L'utilizzo della memoria cresce con il numero di alberi e la profondità degli alberi.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Addestramento più rapido rispetto a Random Forest perché non viene eseguita alcuna ottimizzazione della soglia ad ogni split.
  • La forte diversità tra gli alberi porta a una forte riduzione della varianza e spesso eguaglia o supera l'accuratezza di Random Forest.
  • Gestisce tipi di feature misti e interazioni non lineari senza assunzioni di pre-elaborazione.
  • Fornisce importanze delle feature native per il ranking e la selezione delle variabili.
  • Scala bene su dati ad alta dimensionalità con molte feature irrilevanti.

Applicazioni

  • Baseline veloci di classificazione e regressione su dati tabulari.
  • Selezione delle feature e ranking di importanza in dataset ad alta dimensionalità.
  • Modellazione predittiva in bioinformatica, telerilevamento e analisi di dati da sensori.
  • Ricerca di iperparametri in pipeline dove la velocità di addestramento è critica.
  • Scenari con dati su larga scala dove il tempo di addestramento di Random Forest è proibitivo.

Come funziona

Come funziona

1

A differenza di Random Forest, Extra Trees addestra di default ogni albero sull'intero set di addestramento anziché su un campione bootstrap. Ciò riduce il bias introdotto dal campionamento ma significa che non esiste un set out-of-bag integrato; la cross-validation è quindi necessaria per una stima onesta dell'errore.

2

Ad ogni nodo interno, viene estratto un sottoinsieme casuale di feature. Per ogni feature candidata, una soglia di split viene campionata uniformemente a caso dall'intervallo osservato dei valori di quella feature — non viene eseguita alcuna ricerca del punto di taglio ottimale. Viene selezionata la coppia feature-soglia che produce il miglior punteggio (ad es. riduzione dell'impurità di Gini) tra i candidati casuali.

3

Gli alberi vengono fatti crescere fino alla profondità massima per impostazione predefinita, il che significa che le foglie sono il più pure possibile. La profondità massima, combinata con gli split randomizzati, è ciò che riduce la varianza nell'ensemble: gli alberi individuali hanno alta varianza ma sono altamente diversi.

4

Le predizioni di tutti gli alberi vengono combinate: voto di maggioranza per la classificazione e media delle uscite per la regressione. La forte diversità tra gli alberi significa che gli errori individuali tendono a compensarsi, rendendo l'ensemble più stabile di qualsiasi singolo albero.

Formula
\hat{y} = \text{mode/mean of } T \text{ trees}

Errori comuni

  • Saltare la cross-validation e affidarsi all'accuratezza in-sample, poiché di default non viene prodotta alcuna stima OOB.
  • Ignorare lo sbilanciamento delle classi — utilizzare class_weight='balanced' o ricampionamento prima del fitting.
  • Riportare solo l'accuratezza senza metriche complementari come F1, AUC o RMSE.
  • Trattare i ranking di importanza delle feature come stabili senza verificare la riproducibilità tra seed diversi.

Domande frequenti

In che modo Extra Trees differisce da Random Forest?

Entrambi sono ensemble di alberi decisionali con sottoinsiemi casuali di feature ad ogni split. La differenza chiave è che Extra Trees sceglie le soglie di split completamente a caso anziché ottimizzarle, e di default addestra sull'intero set di addestramento anziché su campioni bootstrap. Questo rende Extra Trees più veloce e tipicamente produce alberi più diversi e meno correlati.

Quale dovrei preferire — Extra Trees o Random Forest?

Quando la velocità di addestramento è importante o i dati sono relativamente puliti, Extra Trees spesso eguaglia o supera l'accuratezza di Random Forest a un costo computazionale inferiore. Se si desidera una stima out-of-bag integrata o i dati sono rumorosi (dove soglie di split migliori aiutano), Random Forest è più sicuro.

Quanti alberi mi servono?

Iniziare con 100 alberi e aumentare finché le prestazioni non si stabilizzano su un set di validazione o in cross-validation. Più alberi migliorano la stabilità ma aumentano la latenza di memoria e predizione.

Extra Trees commette overfitting?

Gli alberi individuali vengono fatti crescere fino alla profondità massima e possono commettere overfitting in isolamento, ma la media dell'ensemble riduce fortemente la varianza. L'overfitting dell'ensemble completo è generalmente raro, sebbene su dataset molto piccoli con molte feature possa ancora verificarsi.

Come valuto le prestazioni del modello senza un set OOB?

Utilizzare la k-fold cross-validation — tipicamente 5 o 10 fold. Valutare i compiti di classificazione con accuratezza, F1 e AUC; valutare i compiti di regressione con RMSE e R-squared.

Metodi correlati

Fonti

  1. Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.

    Apri il riferimento DOI
    Copiato.
  2. Extra-Trees. Wikipedia.

    Apri il riferimento della pubblicazione
    Copiato.