LightGBM
- Introdotto da
- Ke, G. et al. (Microsoft)
- Anno
- 2017
- Tipo
- Gradient boosting decision tree ensemble
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
LightGBM è un'implementazione di gradient boosting decision tree di Microsoft, introdotta da Ke e colleghi nel 2017, che costruisce alberi foglia per foglia (leaf-wise) e raggruppa le feature in istogrammi per velocizzare il processo.
Su grandi dataset è molto più veloce di XGBoost, pur mantenendo un'elevata accuratezza predittiva.
L’intuizione alla base del metodo
Il gradient boosting costruisce un ensemble un albero alla volta, dove ogni nuovo albero corregge gli errori lasciati dagli alberi precedenti. LightGBM mantiene questa idea centrale ma la rende veloce: invece di testare ogni possibile punto di split per le feature continue, raggruppa i valori delle feature in un numero fisso di bin di istogramma, e invece di far crescere ogni albero livello per livello, sceglie sempre la foglia che promette il maggior miglioramento. Il risultato è un modello che converge rapidamente e scala bene su dati tabulari di grandi dimensioni.
Storia
LightGBM è stato introdotto da Guolin Ke e colleghi presso Microsoft in un articolo del 2017 a NeurIPS, 'LightGBM: A Highly Efficient Gradient Boosting Decision Tree.' Le sue due scelte distintive — il binning delle feature basato su istogrammi e la crescita degli alberi foglia per foglia (best-first) — sono state progettate per rendere il gradient boosting drasticamente più veloce e più efficiente in termini di memoria su grandi dataset, ed è diventato una delle librerie di boosting più utilizzate per dati tabulari insieme a XGBoost.
Quando usarlo
Una scelta solida per la predizione, la classificazione e la previsione su grandi dataset tabulari — cross-sectional, panel o time-series — con feature continue, categoriche, binarie o ordinali e almeno circa 200 osservazioni. È più utile quando la velocità di addestramento e la scalabilità sono importanti e si possono ottimizzare i parametri di regolarizzazione. Sotto le circa 200 osservazioni, la crescita foglia per foglia tende a portare a un grave overfitting, e un metodo level-wise come XGBoost o un Random Forest più stabile è più sicuro.
Limiti e considerazioni
- La crescita foglia per foglia porta a overfitting su campioni piccoli a meno che non venga attentamente regolarizzata.
- Richiede l'ottimizzazione di num_leaves e min_data_in_leaf per controllare la complessità.
- Su dataset inferiori a circa 200 osservazioni, un metodo level-wise (XGBoost) o Random Forest è più affidabile.
- Come altri alberi potenziati (boosted trees), è una scatola nera (black box) senza coefficienti direttamente interpretabili.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Molto più veloce di XGBoost su grandi dataset grazie allo splitting basato su istogrammi.
- La crescita foglia per foglia converge rapidamente e spesso raggiunge un'elevata accuratezza.
- Gestisce le feature categoriche direttamente, senza codifica one-hot manuale.
- Funziona per predizione, classificazione e previsione su dati cross-sectional, panel e time-series.
Applicazioni
- Predizione e classificazione su grandi dataset tabulari.
- Compiti di previsione su dati cross-sectional, panel e time-series.
- Alternativa veloce e scalabile a XGBoost quando il tempo di addestramento è importante.
- Modellazione di dati con molte feature categoriche senza pre-elaborazione intensiva.
Come funziona
Come funziona
Gli alberi vengono aggiunti sequenzialmente: ogni nuovo albero viene addestrato sugli errori residui dell'ensemble corrente e aggiunto con una riduzione del tasso di apprendimento (learning-rate shrinkage), in modo che il modello riduca gradualmente la sua perdita passo dopo passo. Le feature categoriche possono essere fornite a LightGBM direttamente, senza la necessità di una codifica one-hot manuale.
Formula
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)I valori delle feature continue vengono raggruppati in un numero fisso di bin discreti di istogramma prima dello split. L'algoritmo cerca quindi lo split migliore su questi bin piuttosto che su ogni valore grezzo, che è il motivo principale per cui LightGBM è così più veloce di implementazioni level-wise come XGBoost su dati di grandi dimensioni.
Invece di espandere tutte le foglie alla stessa profondità (level-wise), LightGBM cresce foglia per foglia (leaf-wise): divide sempre la foglia che produce la maggiore riduzione della perdita. Questo converge più velocemente ma può portare a overfitting su campioni piccoli, quindi il numero di foglie (num_leaves) e i dati minimi per foglia (min_data_in_leaf) devono essere impostati per regolarizzare gli alberi.
Errori comuni
- Utilizzo di LightGBM su un campione piccolo dove la crescita foglia per foglia porta a un grave overfitting.
- Lasciare num_leaves e min_data_in_leaf a valori troppo permissivi per la dimensione del dataset.
- Codifica one-hot delle variabili categoriche manualmente invece di passarle direttamente a LightGBM.
- Fidarsi dell'accuratezza in-sample senza una valutazione su dati tenuti da parte (held-out) o tramite cross-validation.
Domande frequenti
In che modo LightGBM si differenzia da XGBoost?
Entrambe sono librerie di gradient boosting decision tree. LightGBM utilizza lo splitting basato su istogrammi e la crescita degli alberi foglia per foglia (best-first), il che lo rende molto più veloce su grandi dataset. XGBoost cresce livello per livello (level-wise), il che è spesso più sicuro su campioni più piccoli.
Perché LightGBM porta a overfitting su dataset piccoli?
La sua crescita foglia per foglia divide sempre la foglia con il guadagno maggiore, il che può suddividere i dati in troppe foglie rispetto alla loro dimensione. Su campioni piccoli (sotto circa 200 osservazioni) questo porta a un grave overfitting, quindi si raccomanda un metodo level-wise o Random Forest.
È necessario eseguire la codifica one-hot delle variabili categoriche?
No. LightGBM può accettare feature categoriche direttamente, quindi la codifica one-hot manuale è solitamente non necessaria e può persino peggiorare le prestazioni.
Quali impostazioni controllano l'overfitting?
Il numero di foglie (num_leaves) e i dati minimi per foglia (min_data_in_leaf) sono i controlli chiave di regolarizzazione; restringerli limita la complessità dell'albero rispetto alla dimensione del dataset.
Metodi correlati
Fonti
Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.
Apri il riferimento della pubblicazioneCopiato.