Skip to content
Torna ai risultati

Boosting Ensemble

Introdotto da
Robert Schapire
Anno
1990
Tipo
sequential ensemble
Famiglia
Ensemble

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il boosting è un metodo ensemble che addestra sequenzialmente "weak learner" (apprenditori deboli) e li combina in un predittore forte, concentrandosi sui campioni che i modelli precedenti hanno classificato erroneamente.

Ogni nuovo "weak learner" viene pesato in base alla difficoltà del suo compito di addestramento, e le previsioni finali sono effettuate tramite votazione ponderata. Introdotto da Schapire (1990) e perfezionato in AdaBoost (Freund & Schapire, 1997), il boosting converte "weak learner" (appena migliori del caso) in "strong learner" (apprenditori forti) attraverso una riponderazione sequenziale.

L’intuizione alla base del metodo

L'idea centrale è quella di concentrarsi iterativamente sugli esempi difficili: prima si addestra un modello debole, si identificano i campioni che esso classifica erroneamente, quindi si addestra un nuovo modello debole con un peso maggiore su quei campioni mal classificati. Questo costringe ogni modello successivo ad apprendere schemi che i modelli precedenti hanno trascurato. Nel corso delle iterazioni, l'ensemble combina i modelli deboli pesati in base alla loro accuratezza, risultando in un predittore forte. A differenza del bagging (parallelo), il boosting è intrinsecamente sequenziale: ogni modello dipende dalle prestazioni dei modelli precedenti.

Storia

Il boosting ha avuto origine dal risultato teorico di Schapire del 1990 che dimostrava come i "weak learner" potessero essere combinati in "strong learner". AdaBoost (Freund & Schapire, 1997) ha reso il boosting pratico introducendo la ponderazione adattiva. Il gradient boosting (Friedman, 2001) ha generalizzato il framework, consentendo l'ottimizzazione di funzioni di perdita arbitrarie. Varianti moderne come XGBoost, LightGBM e CatBoost sono diventate standard industriali, vincendo numerosi concorsi di machine learning.

Quando usarlo

Utilizzare il boosting quando si hanno "weak learner" e si desidera combinarli in un "strong ensemble". È particolarmente efficace per ridurre sia il bias che la varianza. Il boosting funziona meglio con "base learner" (apprenditori di base) di complessità media (ad esempio, alberi poco profondi, profondità 3-4) che possono migliorare iterativamente. Evitare il boosting se i "base learner" sono già forti o se è necessario un addestramento rapido, poiché il boosting sequenziale è computazionalmente costoso.

Limiti e considerazioni

  • L'addestramento sequenziale è computazionalmente costoso rispetto ai metodi paralleli come il bagging.
  • Sensibile ai dati rumorosi e agli outlier (sovra-pesa gli esempi difficili).
  • Richiede un'attenta messa a punto del tasso di apprendimento, del numero di iterazioni e della complessità del "base learner".
  • Può portare a overfitting se il numero di iterazioni è troppo elevato; richiede l'arresto anticipato o il monitoraggio della validazione.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Riduce sia il bias che la varianza, raggiungendo spesso una generalizzazione superiore.
  • Converte "weak learner" in "strong learner" attraverso una riponderazione iterativa.
  • Garanzie teoriche sulla riduzione dell'errore (sotto certe condizioni).
  • Funziona bene con "base learner" a basso bias e alta varianza come gli alberi decisionali.
  • Robusto a caratteristiche irrilevanti e rumore nei dati di addestramento.

Applicazioni

  • Valutazione del rischio di credito: boosting di alberi decisionali poco profondi per classificare i mutuatari solvibili con maggiore accuratezza.
  • Rilevamento di volti: AdaBoost con cascate di Haar per il rilevamento di volti in tempo reale nei sistemi di visione artificiale.
  • Classificazione del testo: gradient boosting per l'analisi del sentiment e la categorizzazione dei documenti.
  • Diagnosi medica: boosting di classificatori deboli per la previsione di malattie con alta sensibilità e specificità.
  • Rilevamento di frodi: metodi di ensemble boosting per il rilevamento di transazioni fraudolente nei dati finanziari.

Come funziona

Come funziona

1

Iniziare con pesi uguali per tutti i campioni di addestramento.

2

Per ogni iterazione: addestrare un "weak learner" (ad esempio, un albero decisionale poco profondo) sui dati di addestramento pesati, calcolare il suo tasso di errore e aumentare i pesi sui campioni mal classificati.

3

Assegnare un peso a ogni "weak learner" in base alla sua accuratezza. Gli apprenditori più accurati ottengono pesi maggiori; gli apprenditori deboli (vicini al caso) ottengono pesi minori.

4

Per un nuovo campione, aggregare le previsioni di tutti i "weak learner" tramite votazione ponderata, dove i pesi riflettono l'accuratezza di ciascun apprenditore.

Errori comuni

  • L'utilizzo di "strong base learner" (ad esempio, alberi decisionali profondi) vanifica lo scopo del boosting; attenersi ai "weak learner".
  • Addestrare per troppe iterazioni senza monitorare l'errore di validazione, portando all'overfitting.
  • Impostare un tasso di apprendimento troppo elevato, che causa instabilità nei pesi dei campioni.
  • Non monitorare le prestazioni out-of-sample; il boosting può portare a overfitting sul rumore di addestramento se non controllato.

Domande frequenti

Che cos'è un "weak learner" e quanto debole dovrebbe essere?

Un "weak learner" è un classificatore con un tasso di errore appena inferiore al 50% (migliore dell'ipotesi casuale). In pratica, si usano modelli semplici come alberi decisionali con profondità 2-3 o classificatori lineari brevi. Se il "base learner" ha un errore > 45%, il boosting lo migliorerà; se < 10%, l'apprenditore è troppo forte e il boosting aggiunge poco valore.

Quante iterazioni di boosting dovrei usare?

Iniziare con 50-100 iterazioni e monitorare l'errore di validazione. Utilizzare l'arresto anticipato: se l'errore di validazione si stabilizza o aumenta per diverse iterazioni, interrompere l'addestramento. Per la produzione, 100-1000 iterazioni sono tipiche a seconda delle dimensioni e della complessità dei dati.

In cosa differisce il boosting dal bagging?

Il bagging addestra i "base learner" in parallelo su sottoinsiemi casuali e media le previsioni (senza ponderazione). Il boosting addestra sequenzialmente, ripesando gli esempi difficili, e utilizza la votazione ponderata. Il bagging riduce la varianza; il boosting riduce sia il bias che la varianza. Il bagging è più veloce; il boosting è più potente.

Perché il boosting porta a overfitting con troppe iterazioni?

All'aumentare delle iterazioni, i pesi sugli outlier crescono esponenzialmente, causando l'adattamento dell'ensemble al rumore. L'errore di addestramento continua a diminuire, ma l'errore di test può aumentare. Monitorare l'errore di validazione e fermarsi quando inizia ad aumentare, utilizzando l'arresto anticipato per prevenire l'overfitting.

Metodi correlati

Fonti

  1. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197-227.

    Apri il riferimento DOI
    Copiato.
  2. Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119-139.

    Apri il riferimento DOI
    Copiato.