Skip to content
Torna ai risultati

Stacking

Introdotto da
Wolpert, D.H.
Anno
1992
Tipo
Ensemble (heterogeneous meta-learning)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Stacking, o generalizzazione impilata, è un metodo d'insieme introdotto da David Wolpert nel 1992 che combina gli output di diversi modelli base (Livello-0) attraverso un meta-modello separato (Livello-1).

A differenza di bagging e boosting, utilizza deliberatamente tipi di modelli eterogenei, ed è la strategia standard dell'ultimo stadio nelle competizioni Kaggle.

L’intuizione alla base del metodo

Diverse famiglie di modelli commettono errori differenti: un ensemble di alberi, una support vector machine e un modello lineare catturano i dati a modo loro. Stacking tratta le loro predizioni come nuove feature e addestra un ulteriore modello per imparare il modo migliore di fonderle, così che il meta-modello possa fare affidamento su ciascun modello base dove esso è più forte e svalutarlo dove è debole — producendo una predizione combinata che solitamente batte qualsiasi singolo modello.

Storia

La generalizzazione impilata fu introdotta da David Wolpert nel 1992 come modo per combinare più generalizzatori attraverso un modello di livello superiore. L'idea fu poi formalizzata e dotata di solide basi teoriche da van der Laan, Polley e Hubbard nel 2007 sotto il nome di Super Learner, che utilizza la cross-validation per combinare una libreria di apprendisti base. Stacking è diventato da allora la strategia standard dell'ultimo stadio nelle competizioni di machine learning, dove ensemble di modelli eterogenei dominano regolarmente le classifiche.

Quando usarlo

Utilizzare stacking quando la precisione predittiva è la priorità e si hanno diversi modelli base ragionevolmente forti e diversificati da combinare, su dati trasversali con feature continue, categoriche o binarie e almeno circa 100 osservazioni. Non richiede dati normalmente distribuiti. Sotto le 100 osservazioni circa, la cross-validation k-fold non può generare abbastanza predizioni di Livello-0 affidabili e il meta-modello va in overfitting, quindi un singolo modello ottimizzato come random forest o XGBoost è più sicuro.

Limiti e considerazioni

  • Richiede un campione abbastanza ampio (circa 100+) in modo che la cross-validation k-fold possa generare predizioni di Livello-0 affidabili.
  • I guadagni si riducono quando i modelli base sono altamente correlati piuttosto che diversificati.
  • Più complesso e computazionalmente oneroso di un singolo modello, e più difficile da interpretare nel suo complesso.
  • Su campioni piccoli la diversità dei modelli base non può essere raggiunta e un singolo modello è solitamente sufficiente.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Spesso raggiunge la massima accuratezza predittiva sfruttando modelli base eterogenei che commettono errori diversi.
  • Flessibile: qualsiasi mix di famiglie di modelli può servire come apprendisti base, con un semplice meta-modello al di sopra.
  • Poco esigente in termini di assunzioni — nessun requisito di normalità, e gestisce feature continue, categoriche e binarie.
  • La strategia finale comprovata in contesti di predizione competitiva come Kaggle.

Applicazioni

  • Ensembling dell'ultimo stadio in competizioni di modellazione predittiva come Kaggle.
  • Combinare modelli eterogenei per classificazione e predizione ad alta accuratezza.
  • Ensemble Super Learner in biostatistica ed epidemiologia.
  • Fondere modelli forti ma diversificati quando spremere accuratezza extra conta.

Come funziona

Come funziona

1

Un set diversificato di apprendisti base (Livello-0) viene addestrato sui dati — per esempio una random forest, un modello gradient-boosting e una SVM. Più questi modelli sono vari e mutualmente indipendenti, più lo stack può guadagnare; quando i modelli base sono altamente correlati tra loro, il beneficio dello stacking si riduce.

2

Le predizioni di Livello-0 sono prodotte tramite cross-validation k-fold piuttosto che sugli stessi dati su cui i modelli base sono stati adattati. Questo schema out-of-fold è essenziale per prevenire la fuga di dati: le meta-feature di ciascuna osservazione provengono da modelli che non l'hanno vista durante l'addestramento.

3

Un meta-modello (Livello-1) viene addestrato sugli output dei modelli base validati incrociatamente per produrre la predizione finale. Il meta-apprendista è solitamente mantenuto semplice — regressione logistica, regressione ridge o un piccolo XGBoost — in modo che impari pesi sensati per combinare i modelli base senza esso stesso andare in overfitting.

Formula
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

Errori comuni

  • Generare predizioni di Livello-0 sugli stessi dati su cui i modelli base sono stati addestrati, causando fuga di dati nel meta-modello.
  • Impilare molti modelli base altamente correlati e aspettarsi un grande guadagno.
  • Utilizzare un meta-modello eccessivamente complesso che va in overfitting sugli output dei modelli base invece di un semplice regressore.
  • Applicare stacking a un dataset piccolo dove la diversità dei modelli base e la cross-validation affidabile sono impossibili.

Domande frequenti

In che modo stacking differisce da bagging e boosting?

Bagging e boosting costruiscono molti modelli dello stesso tipo, mentre stacking combina deliberatamente famiglie di modelli eterogenei e impara come fonderli con un meta-modello separato. Questa diversità è la fonte del vantaggio di stacking.

Perché usare la cross-validation per costruire le meta-feature?

Se il meta-modello è addestrato su predizioni che i modelli base hanno fatto sui propri dati di addestramento, le informazioni fuoriescono e lo stack va in overfitting. Produrre predizioni di Livello-0 out-of-fold tramite cross-validation k-fold fornisce al meta-modello input onesti.

Quale dovrebbe essere il meta-modello?

Mantenerlo semplice — regressione logistica, regressione ridge o un piccolo XGBoost. Un semplice meta-apprendista impara pesi di fusione sensati senza andare in overfitting sugli output dei modelli base.

Quando non dovrei usare stacking?

Quando si hanno meno di circa 100 osservazioni, la cross-validation non può produrre abbastanza predizioni di Livello-0 affidabili e la diversità dei modelli base è difficile da ottenere, quindi una random forest o XGBoost ottimizzata singolarmente è la scelta più sicura.

Metodi correlati

Fonti

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    Apri il riferimento DOI
    Copiato.
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    Apri il riferimento DOI
    Copiato.