[UNTRANSLATED: AdaBoost]
- Introdotto da
- Freund, Y. & Schapire, R.E.
- Anno
- 1997
- Tipo
- Ensemble (sequential boosting of weak learners)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
AdaBoost (Adaptive Boosting) è l'algoritmo di boosting originale, introdotto da Yoav Freund e Robert Schapire nel 1997, che combina una sequenza di semplici apprendisti deboli (weak learners) assegnando maggior peso alle osservazioni che sbaglia.
Precursore del gradient boosting, è semplice, interpretabile e una solida baseline per la classificazione.
L’intuizione alla base del metodo
Un singolo albero poco profondo è un apprendista debole: solo leggermente migliore di un'ipotesi casuale. AdaBoost trasforma molti di questi apprendisti deboli in un unico predittore forte addestrandoli uno dopo l'altro. Dopo che ogni apprendista è stato addestrato, alle osservazioni che ha classificato erroneamente viene assegnato un peso maggiore, in modo che il successivo apprendista si concentri sui casi difficili che gli altri continuano a sbagliare. La predizione finale è un voto ponderato, in cui gli apprendisti più accurati contano di più.
Storia
AdaBoost è stato introdotto da Yoav Freund e Robert Schapire nel 1997 come generalizzazione decision-theoretic dell'apprendimento online applicato al boosting. È stato il primo algoritmo di boosting pratico e ha dimostrato che molti apprendisti deboli potevano essere combinati in uno forte, un lavoro che è diventato fondamentale per l'intera famiglia del boosting. È il precursore diretto del gradient boosting e di strumenti moderni come XGBoost.
Quando usarlo
Adatto per la classificazione e la predizione su dati tabulari trasversali con caratteristiche continue, categoriche o binarie e almeno circa 50 osservazioni, quando si desidera una baseline di boosting semplice e interpretabile. AdaBoost non fa assunzioni di normalità, ma è sensibile ai dati rumorosi e agli outlier, quindi è necessario uno screening preliminare degli outlier. Controllare il numero di stimatori per gestire il rischio di overfitting, seppur piccolo ma non nullo. Su campioni piccoli, una regressione logistica più semplice o il più robusto Random Forest sono più sicuri.
Limiti e considerazioni
- Sensibile ai dati rumorosi e agli outlier a causa della sua perdita esponenziale; è necessario uno screening degli outlier.
- Il rischio di overfitting è basso ma non nullo e deve essere controllato attraverso il numero di stimatori.
- Su campioni piccoli (n inferiore a circa 50) le osservazioni rumorose vengono sovra-pesate e ogni iterazione può peggiorare le prestazioni.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Semplice e interpretabile, con pochi parametri da impostare.
- Trasforma apprendisti deboli di profondità 1 in un classificatore forte, una solida baseline pronta all'uso.
- Nessuna assunzione di normalità; gestisce caratteristiche continue, categoriche e binarie.
- Precursore del gradient boosting, con un chiaro meccanismo di ponderazione adattiva.
Applicazioni
- Baseline di classificazione su dati tabulari trasversali.
- Compiti di predizione in cui si preferisce un modello di boosting semplice e interpretabile.
- Insegnare e dimostrare l'idea del boosting prima di passare al gradient boosting.
- Combinare molti decision stump poco profondi in un unico classificatore forte.
Come funziona
Come funziona
Ogni osservazione di addestramento inizia con un peso uguale. Questi pesi indicano a ciascun apprendista debole successivo quanto dovrebbe interessarsi a classificare correttamente quella particolare osservazione.
Un apprendista debole — tipicamente un decision stump, un albero di profondità 1 — viene adattato ai dati pesati. Poiché è così semplice, da solo fa solo un po' meglio del caso.
L'accuratezza complessiva dell'apprendista determina il suo peso nel voto finale, e i pesi delle osservazioni che ha classificato erroneamente vengono aumentati in modo che il successivo apprendista si concentri su di esse. Una funzione di perdita esponenziale guida questo aggiornamento: penalizza la classificazione errata a un tasso in rapido aumento, il che rende anche AdaBoost sensibile ai punti rumorosi e agli outlier.
Formula
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])Dopo molti round, gli apprendisti deboli vengono aggregati in un'unica predizione tramite un voto di maggioranza ponderato, con ciascun apprendista pesato in base alla sua accuratezza. Questa somma di molti apprendisti semplici e focalizzati forma un unico classificatore forte.
Formula
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)Errori comuni
- Eseguire AdaBoost su dati pieni di outlier senza averli prima filtrati.
- Lasciare che il numero di stimatori cresca senza controllo invece di ottimizzarlo.
- Usarlo su un campione inferiore a circa 50 osservazioni, dove i punti rumorosi dominano la ponderazione.
- Ricorrere ad AdaBoost quando un ensemble più robusto come Random Forest si adatta meglio ai dati rumorosi.
Domande frequenti
In che modo AdaBoost differisce da Random Forest?
Random Forest costruisce molti alberi indipendenti in parallelo e li media (bagging); AdaBoost costruisce apprendisti deboli sequenzialmente, ognuno focalizzato sui casi che i precedenti hanno sbagliato (boosting). A causa della sua perdita esponenziale, AdaBoost è più sensibile al rumore e agli outlier, mentre Random Forest è più robusto.
Perché AdaBoost è sensibile agli outlier?
Utilizza una funzione di perdita esponenziale che penalizza la classificazione errata a un tasso in rapido aumento. I punti persistentemente classificati erroneamente — spesso outlier o osservazioni rumorose — continuano ad aumentare di peso, in modo che possano dominare le iterazioni successive e degradare il modello.
Quanti stimatori dovrei usare?
Il numero di stimatori (apprendisti deboli) controlla il rischio di overfitting, seppur piccolo ma reale, di AdaBoost. Aumentalo finché le prestazioni di validazione migliorano e fermati una volta che si stabilizzano o iniziano a peggiorare.
Cos'è un apprendista debole qui?
Tipicamente un decision stump — un albero decisionale di profondità 1. Da solo è solo leggermente migliore del caso, ma AdaBoost ne combina molti, ognuno pesato in base alla sua accuratezza, in un unico classificatore forte.
Metodi correlati
Fonti
Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.
Apri il riferimento DOICopiato.