Gradient Boosting
- Introdotto da
- Friedman, J. H.
- Anno
- 2001
- Tipo
- Ensemble (sequential boosting of decision trees)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Gradient Boosting è un metodo di apprendimento d'insieme, formalizzato da Jerome H. Friedman nel 2001, che combina una sequenza di apprendisti deboli — tipicamente alberi decisionali poco profondi — in modo che ogni nuovo albero sia adattato per minimizzare gli errori residui degli alberi precedenti.
È l'algoritmo centrale alla base di implementazioni popolari come XGBoost, LightGBM e CatBoost.
L’intuizione alla base del metodo
Piuttosto che costruire un unico modello forte in una volta sola, il Gradient Boosting costruisce molti piccoli alberi in sequenza, dove ogni nuovo albero si concentra sugli errori che l'insieme corrente commette ancora. Spingendo ripetutamente la predizione nella direzione che riduce maggiormente l'errore rimanente, una catena di apprendisti deboli si somma a un unico predittore altamente accurato.
Storia
Il Gradient Boosting è stato formalizzato da Jerome H. Friedman nel suo articolo del 2001 Greedy Function Approximation: A Gradient Boosting Machine, che ha inquadrato il boosting come discesa del gradiente nello spazio delle funzioni. L'idea — aggiungere apprendisti deboli che adattano ciascuno i residui dell'insieme corrente — è diventata la base per gli algoritmi di dati tabulari di maggior successo nella pratica, inclusi XGBoost, LightGBM e CatBoost.
Quando usarlo
Una scelta eccellente per classificazione e predizione accurate su dati tabulari trasversali o panel con almeno circa 100 osservazioni, su caratteristiche continue, categoriche, binarie e ordinali. La scalatura delle caratteristiche generalmente non è richiesta, ma la messa a punto degli iperparametri del numero di alberi, del tasso di apprendimento e della profondità massima è critica, e si raccomanda l'arresto anticipato per proteggere dall'overfitting. Con meno di circa 100 osservazioni gli alberi sequenziali tendono a memorizzare il rumore, e Random Forest o un singolo albero decisionale sono più sicuri.
Limiti e considerazioni
- La messa a punto degli iperparametri del numero di alberi, del tasso di apprendimento e della profondità massima è critica e richiede tempo.
- Il boosting sequenziale è incline all'overfitting se non regolarizzato, motivo per cui si raccomanda l'arresto anticipato.
- Su campioni piccoli (n inferiore a circa 100) gli alberi sequenziali memorizzano il rumore, e anche l'arresto anticipato è insufficiente.
- Con dati insufficienti non c'è abbastanza materiale di validazione incrociata per ottimizzare in modo affidabile gli iperparametri.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Altissima accuratezza predittiva su dati tabulari sia per classificazione che per predizione.
- La scalatura delle caratteristiche è generalmente non necessaria, e gestisce caratteristiche continue, categoriche, binarie e ordinali.
- Costituisce l'algoritmo centrale alla base di librerie ampiamente utilizzate come XGBoost, LightGBM e CatBoost.
- L'arresto anticipato e un basso tasso di apprendimento consentono un controllo preciso sul compromesso bias-varianza.
Applicazioni
- Classificazione e predizione ad alta accuratezza su dati tabulari trasversali e panel.
- Punteggio di rischio e predizione di esiti dove la massima performance predittiva è la priorità.
- Modellazione di relazioni non lineari complesse tra caratteristiche di tipo misto senza scalatura manuale.
- Servire come motore dietro le librerie di gradient-boosting in produzione come XGBoost e LightGBM.
Come funziona
Come funziona
Il Gradient Boosting addestra apprendisti deboli — solitamente alberi decisionali poco profondi — uno dopo l'altro anziché indipendentemente. L'insieme parte da una semplice stima iniziale, e ogni albero successivo viene aggiunto per correggere ciò che il modello corrente sbaglia ancora, così l'accuratezza migliora passo dopo passo.
Ad ogni round il metodo osserva gli errori residui dell'insieme corrente e adatta il successivo albero a tali residui (il gradiente negativo della perdita). Il nuovo albero viene aggiunto con un piccolo peso di tasso di apprendimento, in modo che la predizione venga aggiornata con cautela: F_m(x) = F_{m-1}(x) + nu * h_m(x). Questa correzione sequenziale guidata dal gradiente è ciò che conferisce al metodo il suo nome e la sua accuratezza.
Formula
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)La predizione finale è la somma della stima iniziale e di tutte le piccole correzioni degli alberi accumulate lungo il percorso. Poiché gli alberi vengono aggiunti avidamente per inseguire l'errore rimanente, la messa a punto del numero di alberi, del tasso di apprendimento e della profondità dell'albero — insieme all'arresto anticipato — è fondamentale per evitare l'overfitting.
Errori comuni
- Saltare l'arresto anticipato e lasciare che il boosting proceda per troppi round fino all'overfitting.
- Impostare il tasso di apprendimento troppo alto in modo che ogni albero corregga eccessivamente invece di spingere la predizione dolcemente.
- Applicarlo a un campione inferiore a circa 100 osservazioni dove gli alberi sequenziali memorizzano il rumore.
- Accettare gli iperparametri predefiniti invece di mettere a punto n_estimators, learning_rate e max_depth.
- Trattarlo come se necessitasse di scalatura delle caratteristiche come i modelli basati sulla distanza, quando la scalatura è generalmente non necessaria.
Domande frequenti
In che modo il Gradient Boosting differisce da Random Forest?
Random Forest costruisce molti alberi indipendenti in parallelo e li media, mentre Gradient Boosting costruisce alberi sequenzialmente, ognuno adattato per correggere gli errori residui di quelli precedenti. Il boosting raggiunge spesso un'accuratezza maggiore ma è più sensibile all'overfitting e necessita di un'attenta messa a punto.
Perché è raccomandato l'arresto anticipato?
Poiché ogni nuovo albero insegue l'errore rimanente, un ciclo di boosting troppo lungo inizia ad adattare il rumore. L'arresto anticipato interrompe l'addestramento una volta che la performance di validazione smette di migliorare, che è la principale salvaguardia contro l'overfitting.
Ho bisogno di scalare le mie caratteristiche?
La scalatura delle caratteristiche generalmente non è richiesta per il gradient boosting basato su alberi, poiché le divisioni dipendono dall'ordine piuttosto che dalla magnitudine. Le manopole critiche sono invece il numero di alberi, il tasso di apprendimento e la profondità dell'albero.
Di quale dimensione del campione ho bisogno?
Almeno circa 100 osservazioni. Al di sotto, gli alberi sequenziali memorizzano il rumore e anche l'arresto anticipato è insufficiente, quindi Random Forest o un singolo albero decisionale sono la scelta più sicura.
Metodi correlati
Fonti
Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
Apri il riferimento DOICopiato.