Zum Inhalt springen
Zurück zu den Suchergebnissen

Stacking

Eingeführt von
Wolpert, D.H.
Jahr
1992
Typ
Ensemble (heterogeneous meta-learning)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Stacking, oder gestapelte Generalisierung, ist eine von David Wolpert 1992 eingeführte Ensemble-Methode, die die Ausgaben mehrerer verschiedener Basismodelle (Level-0) durch ein separates Meta-Modell (Level-1) kombiniert.

Im Gegensatz zu Bagging und Boosting werden bewusst heterogene Modelltypen verwendet, und es ist die Standardstrategie in der Endphase von Kaggle-Wettbewerben.

Die Intuition hinter der Methode

Verschiedene Modellfamilien machen unterschiedliche Fehler: ein Baum-Ensemble, eine Support-Vektor-Maschine und ein lineares Modell erfassen die Daten auf ihre eigene Weise. Stacking behandelt ihre Vorhersagen als neue Merkmale und trainiert ein weiteres Modell, um zu lernen, wie diese am besten kombiniert werden, sodass das Meta-Modell sich auf jedes Basismodell stützen kann, wo es am stärksten ist, und es dort abschwächt, wo es schwach ist – was zu einer kombinierten Vorhersage führt, die normalerweise jedes einzelne Modell übertrifft.

Geschichte

Gestapelte Generalisierung wurde 1992 von David Wolpert als Methode zur Kombination mehrerer Generalisierer durch ein übergeordnetes Modell eingeführt. Die Idee wurde später von van der Laan, Polley und Hubbard im Jahr 2007 unter dem Namen Super Learner formalisiert und mit einer starken theoretischen Grundlage versehen, die Kreuzvalidierung zur Kombination einer Bibliothek von Basislernern verwendet. Stacking ist seitdem zur Standardstrategie in der letzten Phase von Machine-Learning-Wettbewerben geworden, wo Ensembles heterogener Modelle regelmäßig die Ranglisten anführen.

Wann wird sie eingesetzt?

Verwenden Sie Stacking, wenn die Vorhersagegenauigkeit Priorität hat und Sie mehrere einigermaßen starke, vielfältige Basismodelle zur Kombination haben, auf Querschnittsdaten mit kontinuierlichen, kategorialen oder binären Merkmalen und mindestens etwa 100 Beobachtungen. Es erfordert keine normalverteilten Daten. Unter etwa 100 Beobachtungen kann die k-fache Kreuzvalidierung nicht genügend zuverlässige Level-0-Vorhersagen generieren und das Meta-Modell überanpasst, sodass ein einzelnes optimiertes Modell wie Random Forest oder XGBoost sicherer ist.

Grenzen und Hinweise

  • Benötigt eine ziemlich große Stichprobe (etwa 100+), damit die k-fache Kreuzvalidierung zuverlässige Level-0-Vorhersagen generieren kann.
  • Gewinne schrumpfen, wenn die Basismodelle stark korreliert und nicht vielfältig sind.
  • Komplexer und rechenintensiver als ein einzelnes Modell und insgesamt schwieriger zu interpretieren.
  • Bei kleinen Stichproben kann die Vielfalt der Basismodelle nicht erreicht werden und ein einzelnes Modell ist normalerweise ausreichend.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Erzielt oft die höchste Vorhersagegenauigkeit, indem heterogene Basismodelle genutzt werden, die unterschiedliche Fehler machen.
  • Flexibel: Jede Mischung von Modellfamilien kann als Basislerner dienen, mit einem einfachen Meta-Modell darüber.
  • Annahmenarm – keine Normalitätsanforderung, und es verarbeitet kontinuierliche, kategoriale und binäre Merkmale.
  • Die bewährte Strategie in der Endphase von Wettbewerben für prädiktive Modellierung wie Kaggle.

Anwendungen

  • Endphasen-Ensembling in prädiktiven Modellierungswettbewerben wie Kaggle.
  • Kombination heterogener Modelle für hochgenaue Klassifizierung und Vorhersage.
  • Super Learner-Ensembles in Biostatistik und Epidemiologie.
  • Kombination starker, aber vielfältiger Modelle, wenn es darum geht, zusätzliche Genauigkeit herauszuholen.

So funktioniert es

So funktioniert es

1

Ein vielfältiger Satz von Basislernern (Level-0) wird auf den Daten trainiert – zum Beispiel ein Random Forest, ein Gradient-Boosting-Modell und eine SVM. Je vielfältiger und voneinander unabhängiger diese Modelle sind, desto mehr kann der Stack gewinnen; wenn die Basismodelle stark miteinander korreliert sind, schrumpft der Nutzen des Stackings.

2

Level-0-Vorhersagen werden durch k-fache Kreuzvalidierung erzeugt, anstatt auf denselben Daten, auf denen die Basismodelle angepasst wurden. Dieses Out-of-Fold-Schema ist unerlässlich, um Datenlecks zu verhindern: die Meta-Merkmale jeder Beobachtung stammen von Modellen, die sie während des Trainings nicht gesehen haben.

3

Ein Meta-Modell (Level-1) wird auf den kreuzvalidierten Ausgaben der Basismodelle trainiert, um die endgültige Vorhersage zu erzeugen. Der Meta-Lerner wird normalerweise einfach gehalten – logistische Regression, Ridge-Regression oder ein kleines XGBoost –, damit er sinnvolle Gewichte für die Kombination der Basismodelle lernt, ohne selbst zu überanpassen.

Formel
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

Häufige Fallstricke

  • Generierung von Level-0-Vorhersagen auf denselben Daten, auf denen die Basismodelle trainiert wurden, was zu Datenlecks in das Meta-Modell führt.
  • Stapeln vieler stark korrelierter Basismodelle und Erwartung eines großen Gewinns.
  • Verwendung eines übermäßig komplexen Meta-Modells, das die Ausgaben der Basismodelle überanpasst, anstelle eines einfachen Regressors.
  • Anwendung von Stacking auf einen kleinen Datensatz, bei dem die Vielfalt der Basismodelle und eine zuverlässige Kreuzvalidierung unmöglich sind.

Häufig gestellte Fragen

Wie unterscheidet sich Stacking von Bagging und Boosting?

Bagging und Boosting bauen viele Modelle desselben Typs, während Stacking bewusst heterogene Modellfamilien kombiniert und lernt, wie diese mit einem separaten Meta-Modell kombiniert werden. Diese Vielfalt ist der Vorteil von Stacking.

Warum Kreuzvalidierung zur Erstellung der Meta-Merkmale verwenden?

Wenn das Meta-Modell auf Vorhersagen trainiert wird, die die Basismodelle auf ihren eigenen Trainingsdaten gemacht haben, kommt es zu Informationslecks und der Stack überanpasst. Die Erzeugung von Level-0-Vorhersagen außerhalb der Folds mittels k-facher Kreuzvalidierung liefert dem Meta-Modell ehrliche Eingaben.

Was sollte das Meta-Modell sein?

Halten Sie es einfach – logistische Regression, Ridge-Regression oder ein kleines XGBoost. Ein einfacher Meta-Lerner lernt sinnvolle Kombinationsgewichte, ohne die Ausgaben der Basismodelle zu überanpassen.

Wann sollte ich Stacking nicht verwenden?

Wenn Sie weniger als etwa 100 Beobachtungen haben, kann die Kreuzvalidierung nicht genügend zuverlässige Level-0-Vorhersagen liefern und die Vielfalt der Basismodelle ist schwer zu erreichen, sodass ein einzelner optimierter Random Forest oder XGBoost die sicherere Wahl ist.

Verwandte Methoden

Quellen

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    DOI-Referenz öffnen
    Kopiert.
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    DOI-Referenz öffnen
    Kopiert.