Bagging Ensemble
- Introdotto da
- Leo Breiman
- Anno
- 1996
- Tipo
- parallel ensemble
- Famiglia
- Ensemble
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Bagging, abbreviazione di bootstrap aggregating, è un metodo d'insieme (ensemble method) che riduce la varianza addestrando molteplici copie di un singolo algoritmo di apprendimento su diversi sottoinsiemi casuali dei dati di addestramento.
Ciascun sottoinsieme è creato tramite campionamento bootstrap—estrazione casuale di campioni con reimmissione. Le predizioni vengono combinate tramite voto di maggioranza (classificazione) o media (regressione). Introdotto da Leo Breiman nel 1996, il bagging costituisce il fondamento delle foreste casuali (random forests) ed è particolarmente efficace nel ridurre l'overfitting nei modelli ad alta varianza.
L’intuizione alla base del metodo
L'intuizione fondamentale è che, addestrando lo stesso modello su diversi sottoinsiemi casuali di dati e mediando le loro predizioni, si riduce la varianza senza aumentare il bias. Se un modello va in overfitting su specifici campioni di addestramento, diversi campioni bootstrap espongono sottoinsiemi differenti di questo overfitting, e la media annulla i pattern spurii. Il bagging sfrutta la casualità: ogni campione bootstrap è leggermente diverso, quindi ogni modello addestrato è leggermente diverso, e il loro aggregato è più stabile di qualsiasi modello individuale.
Storia
Il bagging è stato introdotto da Leo Breiman nel 1996, basandosi sul metodo bootstrap dalla statistica (Efron, 1979). Breiman ha dimostrato che il bagging riduce l'errore di predizione degli apprendisti instabili riducendo la varianza. Il metodo è diventato fondamentale con l'introduzione delle Random Forests (Breiman, 2001), che combinano il bagging con la selezione casuale delle feature. Il bagging rimane una tecnica standard nell'apprendimento automatico, specialmente per i metodi d'insieme.
Quando usarlo
Utilizzare il bagging quando si lavora con modelli ad alta varianza (es. alberi decisionali, reti neurali) che tendono all'overfitting. È più efficace quando gli apprendisti base sono instabili—sensibili a piccole variazioni nei dati di addestramento. Il bagging è meno efficace per modelli a basso bias e bassa varianza (es. k-NN con k piccolo, regressione lineare su dati stabili). È inoltre ben adatto al calcolo parallelo poiché ogni apprendista base può essere addestrato indipendentemente.
Limiti e considerazioni
- Non fornisce riduzione del bias; efficace solo per apprendisti base ad alta varianza.
- Il costo computazionale scala linearmente con il numero di apprendisti base.
- I campioni bootstrap mancano di diversità rispetto a strategie di campionamento deliberate.
- Potrebbe non migliorare le prestazioni quando i modelli base hanno un bias elevato (es. modelli lineari su dati complessi).
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Riduce la varianza senza aumentare il bias, migliorando la generalizzazione.
- Funziona con qualsiasi tipo di apprendista base; può utilizzare modelli instabili come gli alberi.
- Facilmente parallelizzabile—ogni campione bootstrap può essere processato indipendentemente.
- Fornisce stime della varianza tramite il calcolo dell'errore out-of-bag.
- Semplice da implementare con minima ottimizzazione degli iperparametri.
Applicazioni
- Diagnosi medica: bagging di alberi decisionali per la classificazione di malattie al fine di migliorare la robustezza ai dati rumorosi dei pazienti.
- Modellazione del rischio finanziario: insieme di alberi decisionali per la predizione del default creditizio in diverse condizioni di mercato.
- Telerilevamento: bagging di classificatori di immagini per classificare immagini satellitari con overfitting ridotto.
- Genomica: metodi d'insieme per la selezione genica e la predizione di malattie da dati di microarray ad alta dimensionalità.
- Controllo qualità manifatturiero: bagging di reti neurali per il rilevamento di difetti nei processi produttivi.
Come funziona
Come funziona
Creare B campioni bootstrap campionando casualmente dai dati di addestramento con reimmissione, ciascuno di dimensione pari al dataset originale.
Addestrare un apprendista base (base learner) indipendente (es. albero decisionale, rete neurale) su ciascun campione bootstrap.
Per un nuovo input, passarlo attraverso tutti i B apprendisti base addestrati e raccogliere le loro predizioni.
Combinare le predizioni tramite voto di maggioranza (classificazione) o media (regressione).
Errori comuni
- Utilizzare un numero troppo esiguo di apprendisti base (B < 20) riduce il beneficio di riduzione della varianza; rendimenti decrescenti si verificano tipicamente intorno a B = 100-500.
- Addestrare gli apprendisti base su sottoinsiemi sovrapposti (es. split consecutivi dei dati) invece che su campioni bootstrap casuali.
- Presumere che il bagging elimini l'overfitting; riduce la varianza ma i modelli con bias rimangono tali.
- Non sfruttare le predizioni out-of-bag per la validazione, perdendo un'alternativa efficiente alla cross-validation.
Domande frequenti
Quanti campioni bootstrap (B) dovrei usare?
Iniziare con B = 50-100 e monitorare le prestazioni; tipicamente, i benefici si stabilizzano intorno a B = 100-500. Aumentare B se la riduzione della varianza stalla. Per applicazioni critiche, B > 1000 può essere giustificato nonostante il costo computazionale.
Cos'è l'errore out-of-bag e come lo uso?
Ogni campione bootstrap esclude circa 1/3 dei dati originali (circa il 36,8% in media). Questi campioni out-of-bag possono essere usati per validare quel specifico modello senza bisogno di un set di validazione separato. La media degli errori out-of-bag su tutti i modelli stima l'errore di generalizzazione.
Il bagging è migliore della cross-validation?
Servono a scopi diversi. La cross-validation stima le prestazioni del modello; il bagging le migliora. Usare il bagging per addestrare un insieme e le stime out-of-bag per validare, evitando l'overhead della cross-validation k-fold.
Il bagging può migliorare modelli a bassa varianza come k-NN?
Non efficacemente. Il bagging è progettato per modelli ad alta varianza. I modelli a bassa varianza (stabili, semplici) beneficiano poco della riduzione della varianza. Considerare altri metodi d'insieme o concentrarsi sulla riduzione del bias.
Metodi correlati
Fonti
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
Apri il riferimento DOICopiato.Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.
Apri il riferimento DOICopiato.