XGBoost
- Introdotto da
- Chen, T. & Guestrin, C.
- Anno
- 2016
- Tipo
- Ensemble (gradient-boosted decision trees)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
XGBoost (Extreme Gradient Boosting) è un algoritmo scalabile di tree-boosting introdotto da Tianqi Chen e Carlos Guestrin nel 2016.
Costruisce un predittore forte aggiungendo alberi decisionali uno alla volta, ciascuno correggendo gli errori lasciati dagli alberi precedenti, ed è un potente metodo di predizione ampiamente utilizzato nelle competizioni.
L’intuizione alla base del metodo
Invece di far crescere molti alberi indipendenti e farne la media, XGBoost fa crescere gli alberi in sequenza: ogni nuovo albero si concentra sui casi che il modello attuale sbaglia ancora. Passo dopo passo, l'ensemble riduce l'errore rimanente, mentre una penalità di regolarizzazione mantiene semplici gli alberi individuali in modo che il modello combinato generalizzi piuttosto che memorizzare i dati di addestramento.
Storia
XGBoost è stato introdotto da Tianqi Chen e Carlos Guestrin nel loro articolo del 2016 'XGBoost: A Scalable Tree Boosting System' all'ACM SIGKDD. Combinando il gradient boosting regolarizzato di alberi decisionali con un'implementazione scalabile ed efficiente, è diventato uno degli algoritmi di predizione più adottati, particolarmente prominente nelle competizioni di data science.
Quando usarlo
Utilizzare XGBoost per classificazione o predizione accurata su dati tabulari con feature continue, categoriche, binarie o di conteggio e almeno circa 100 osservazioni, quando la performance predittiva è la priorità. Non richiede dati normalmente distribuiti; dati sufficienti e un'attenta ingegneria delle feature sono i principali requisiti pratici. Con meno di circa 100 casi, il gradient boosting tende all'overfitting e un modello più semplice (come la regressione logistica o un singolo albero decisionale) è più affidabile.
Limiti e considerazioni
- Necessita di dati sufficienti – circa 100+ osservazioni – altrimenti va in overfitting e i risultati della cross-validation diventano inaffidabili.
- Su campioni piccoli non ci sono abbastanza dati per ottimizzare i numerosi iperparametri, quindi un modello più semplice generalizza meglio.
- Molti iperparametri e un ensemble a scatola nera rendono più difficile l'impostazione e l'interpretazione rispetto a un singolo modello.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Forte accuratezza predittiva su dati tabulari, motivo per cui è così comune nelle competizioni.
- La regolarizzazione integrata penalizza la complessità dell'albero e aiuta a controllare l'overfitting.
- Tollera valori mancanti e gestisce tipi di feature misti (continui, categorici, binari, di conteggio).
- Scala bene e beneficia direttamente dell'ingegneria delle feature.
Applicazioni
- Classificazione e predizione su dati tabulari con molte feature.
- Modellazione predittiva di livello competitivo dove l'accuratezza è fondamentale.
- Task di risk scoring e predizione su feature continue, categoriche, binarie e di conteggio.
- Problemi di modellazione in cui valori mancanti e feature ingegnerizzate sono comuni.
Come funziona
Come funziona
XGBoost è un metodo di gradient-boosting: combina molti alberi decisionali poco profondi in un unico ensemble. Gli alberi vengono aggiunti uno dopo l'altro, e ogni nuovo albero viene adattato per ridurre l'errore di predizione che rimane dopo gli alberi già presenti nel modello.
Il modello minimizza un obiettivo che somma un termine di perdita che misura l'adattamento ai dati più un termine di regolarizzazione che penalizza la complessità dell'albero. Questa esplicita penalità di complessità è ciò che aiuta XGBoost a controllare l'overfitting pur adattando relazioni flessibili e non lineari.
Formula
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)Ad ogni round di boosting la predizione corrente viene aggiornata aggiungendo l'output di un nuovo albero adattato. Ogni albero viene scelto per spostare le predizioni nella direzione che riduce maggiormente l'obiettivo, in modo che l'accuratezza dell'ensemble migliori round dopo round.
Formula
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)Dopo tutti i round la predizione finale è la somma dei contributi di ogni albero, utilizzata per la classificazione o per predire un target. Poiché il modello tollera valori mancanti e beneficia dell'ingegneria delle feature, performa bene sui dati tabulari una volta disponibili osservazioni sufficienti.
Errori comuni
- Applicarlo a campioni piccoli (n < 100) dove il gradient boosting va in overfitting e le stime CV non sono affidabili.
- Saltare l'ottimizzazione degli iperparametri tramite cross-validation (es. grid search) e accettare i valori predefiniti.
- Lasciare indecisi la gestione dei valori mancanti e la codifica categorica anche se XGBoost tollera le lacune.
- Non riuscire a impostare una corretta suddivisione train/test o una cross-validation k-fold prima di riportare le performance.
Domande frequenti
Quanti dati necessita XGBoost?
Circa 100 osservazioni è un minimo sensato. Con meno di 100 casi il gradient boosting tende all'overfitting e i risultati della cross-validation diventano inaffidabili, quindi un modello più semplice come la regressione logistica o un singolo albero decisionale è più affidabile.
XGBoost richiede dati normalmente distribuiti?
No. Non fa assunzioni di normalità e funziona con feature continue, categoriche, binarie e di conteggio. I principali requisiti pratici sono avere dati sufficienti e fare un'attenta ingegneria delle feature.
In cosa differisce XGBoost da Random Forest?
Random Forest fa crescere alberi indipendentemente e ne fa la media per ridurre la varianza. XGBoost fa crescere alberi sequenzialmente, ognuno correggendo gli errori dei precedenti, e aggiunge una penalità di regolarizzazione sulla complessità dell'albero, potendo raggiungere un'accuratezza maggiore con un'attenta ottimizzazione.
Come si interpreta un modello XGBoost?
Poiché il modello è un ensemble di molti alberi, i contributi vengono solitamente esaminati con analisi di attribuzione delle feature come SHAP, insieme a metriche sul test set come RMSE o AUC e ottimizzazione degli iperparametri tramite cross-validation.
Metodi correlati
Fonti
Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.
Apri il riferimento DOICopiato.