Zum Inhalt springen
Zurück zu den Suchergebnissen

Bagging (Bootstrap Aggregating)

Eingeführt von
Breiman, L.
Jahr
1996
Typ
Ensemble meta-algorithm (variance reduction via bootstrap aggregation)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Bagging, kurz für Bootstrap Aggregating, ist ein von Leo Breiman 1996 eingeführter Ensemble-Meta-Algorithmus, der mehrere Kopien eines Basislerners trainiert, die auf unabhängig gezogenen Bootstrap-Stichproben der Trainingsdaten basieren, und deren Vorhersagen kombiniert – durch Mittelwertbildung bei Regression oder Mehrheitsentscheid bei Klassifikation –, um einen finalen Prädiktor mit signifikant geringerer Varianz als jeder einzelne Basislerner zu erzeugen.

Die Intuition hinter der Methode

Stellen Sie sich vor, Sie fragen einen Experten nach seiner Meinung: Seine Antwort hängt stark von seinen spezifischen Erfahrungen ab. Stellen Sie sich nun vor, Sie fragen hundert Experten, jeder mit einem leicht unterschiedlichen Hintergrund, und bilden den Durchschnitt ihrer Antworten. Individuelle Eigenheiten heben sich auf, und der Konsens der Gruppe ist weitaus zuverlässiger. Bagging tut genau dies für maschinelle Lernmodelle: Es generiert viele leicht unterschiedliche Trainingsdatensätze durch Resampling der Originaldaten mit Zurücklegen, trainiert ein Modell pro Datensatz und fasst alle Vorhersagen zusammen. Jedes Modell sieht einen anderen Ausschnitt der Realität, sodass sich die individuellen Fehler nicht ausrichten und das Aggregat stabiler ist als jedes einzelne Modell.

Geschichte

Leo Breiman veröffentlichte 1996 Bagging Predictors in Machine Learning, motiviert durch die Beobachtung, dass instabile Lerner – solche, deren Ausgabe sich bei kleinen Datenstörungen erheblich ändert – durch Mittelung über Bootstrap-Replikate des Trainingsdatensatzes stabilisiert werden könnten. Die theoretische Begründung beruht auf der Bias-Varianz-Zerlegung: Mittelung reduziert die Varianz, während der Bias unverändert bleibt. Breiman demonstrierte konsistente Genauigkeitsverbesserungen gegenüber einzelnen Entscheidungsbäumen auf einer Reihe von Klassifikations- und Regressionsbenchmarks. Bagging wurde schnell zu einer grundlegenden Ensemble-Technik und inspirierte direkt Random Forest (Breiman, 2001), das zufällige Merkmals-Subsampling bei jeder Teilung hinzufügt, um die Bäume weiter zu entkorrelieren und eine noch größere Varianzreduktion zu erzielen. Heute dient Bagging als konzeptionelles Rückgrat für eine breite Familie von Ensemble-Methoden und ist ein Standardthema in Curricula des maschinellen Lernens auf Master- und Graduiertenniveau.

Wann wird sie eingesetzt?

Bagging ist geeignet, wann immer der Basislernalgorithmus eine hohe Varianz aufweist – d. h. empfindlich auf kleine Störungen in den Trainingsdaten reagiert – und die Reduzierung dieser Varianz die Hauptfehlerquelle darstellt. Vollständig gewachsene, ungekürzte Entscheidungsbäume sind das kanonische Beispiel. Bagging eignet sich sowohl für Klassifikation als auch für Regression auf tabellarischen Daten, erfordert keine Annahmen über die Datenverteilung und verarbeitet gemischte Merkmalstypen. Es ist am vorteilhaftesten, wenn der Datensatz groß genug ist, um B unabhängige Bootstrap-Stichproben von Qualität zu unterstützen (mindestens etwa 30 Beobachtungen sind eine praktische Untergrenze, Hunderte sind jedoch vorzuziehen). Bagging ist nicht vorteilhaft, wenn der Basislerner bereits stabil ist (wie z. B. lineare Regression bei korrekt spezifizierten Problemen) oder wenn die dominante Fehlerquelle Bias und nicht Varianz ist – in solchen Fällen sind Boosting-Methoden besser geeignet.

Grenzen und Hinweise

  • Reduziert den Bias nicht: Wenn der Basislerner underfittet, kann Bagging dies nicht korrigieren.
  • Ensemble-Vorhersagen sind schwieriger zu interpretieren als ein einzelnes Modell; kein Analogon zur visuellen Struktur eines einzelnen Entscheidungsbaums.
  • Arbeitsspeicher- und Speicherplatzkosten skalieren linear mit B: Hunderte von großen Modellen im Speicher zu halten, kann prohibitiv sein.
  • Gewinne nehmen mit wachsendem B schnell ab; die Leistung stagniert normalerweise lange bevor B = 500 erreicht ist.
  • Bei stabilen Basislernern (z. B. lineare Regression mit korrekter Spezifikation) erzielt Bagging vernachlässigbare Verbesserungen.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Reduziert direkt die Schätzervarianz, ohne den Bias zu erhöhen, und liefert stabilere Vorhersagen als jedes einzelne Basismodell.
  • Trivial parallelisierbar: Jede Bootstrap-Iteration ist unabhängig, was große Ensembles rechnerisch handhabbar macht.
  • Die integrierte OOB-Fehlerschätzung liefert eine ehrliche Generalisierungsschätzung ohne zusätzliche Datenkosten.
  • Modellagnostischer Meta-Algorithmus: Kompatibel mit jedem ausreichend instabilen Basislerner (Bäume, neuronale Netze, k-nächste Nachbarn).
  • Robust gegenüber Ausreißern im Trainingsdatensatz: Jede einzelne ungewöhnliche Beobachtung fehlt in den meisten Bootstrap-Stichproben.

Anwendungen

  • Konstruktion stabiler Klassifikations- und Regressionsmodelle auf verrauschten tabellarischen Daten, bei denen ein einzelner Entscheidungsbaum überanpassen würde.
  • Erzeugung von Vorhersageintervallen durch Inspektion der Streuung der Vorhersagen über die B Basislerner.
  • Merkmalswichtigkeitsschätzung durch die Abnahme der OOB-Genauigkeit, wenn jedes Merkmal über das Ensemble permutiert wird.
  • Ensemble-Baseline: Ein schneller Benchmark zur Quantifizierung, wie viel eine ausgefeiltere Methode (Boosting, Stacking) gegenüber einfacher Aggregation verbessert.

So funktioniert es

So funktioniert es

1

B unabhängige Bootstrap-Stichproben werden aus dem ursprünglichen Trainingsdatensatz der Größe n gezogen. Jede Stichprobe wird durch Ziehen von n Beobachtungen mit Zurücklegen aus den Originaldaten erzeugt, sodass jede Stichprobe im Durchschnitt etwa 63,2 % der eindeutigen Trainingsinstanzen enthält; die verbleibenden ~36,8 % werden ausgelassen und bilden für diese Iteration die Out-of-Bag (OOB)-Menge.

Formel
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, B
2

Ein Basislernalgorithmus – meist ein bis zur vollen Tiefe gewachsener Entscheidungsbaum, aber jeder ausreichend instabile Lerner qualifiziert sich – wird unabhängig auf jeder Bootstrap-Stichprobe angepasst, was zu B verschiedenen Modellen führt. Die Schlüsselvoraussetzung ist Instabilität: Wenn kleine Datenstörungen große Modelländerungen verursachen, erzielt Bagging die größte Varianzreduktion.

Formel
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)
3

Für Regressionsaufgaben werden die B Modellausgaben gemittelt. Dieser Mittelungsschritt ist der primäre Mechanismus zur Varianzreduktion: Unter Unabhängigkeitsannahmen beträgt die Varianz des Durchschnitts von B identisch verteilten Modellen 1/B der Varianz eines einzelnen Modells, und selbst bei positiver Korrelation ist die Reduktion erheblich.

Formel
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})
4

Für Klassifikationsaufgaben gibt jeder Basislerner eine Stimme für eine Klassenbezeichnung ab, und die Klasse mit den meisten Stimmen wird als endgültige Vorhersage zurückgegeben. Bei Stimmengleichheit wird willkürlich entschieden. Mehrheitswahl ist asymptotisch äquivalent zur Mittelung der von jedem Basislerner erzeugten Klassenwahrscheinlichkeitsschätzungen.

Formel
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]
5

Da jeder Basislerner auf etwa 63,2 % der Daten trainiert wird, können die verbleibenden Beobachtungen als ehrlicher zurückgehaltener Testdatensatz für diesen Lerner dienen. Die Mittelung dieser OOB-Vorhersagen über alle Lerner, die jede Beobachtung nicht gesehen haben, liefert eine nahezu unverzerrte Schätzung des Generalisierungsfehlers, ohne dass eine separate Validierungs-Fold oder Kreuzvalidierung erforderlich ist.

Formel
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)

Häufige Fallstricke

  • Anwendung von Bagging auf einen Basislerner mit geringer Varianz (wie Ridge-Regression) und Erwartung großer Genauigkeitsgewinne.
  • Festlegen eines zu kleinen B (z. B. B < 10), sodass das Aggregat immer noch verrauscht ist und OOB-Schätzungen unzuverlässig sind.
  • Ignorieren von Klassenungleichgewichten: Bagging bewahrt die Klassenverteilung der Originaldaten in jeder Bootstrap-Stichprobe, sodass schwere Ungleichgewichte über alle Lerner hinweg repliziert werden.
  • Verwechslung von Bagging mit Boosting: Bagging trainiert Modelle parallel auf unabhängigen Stichproben zur Varianzreduktion, während Boosting Modelle sequenziell trainiert, um den Bias zu reduzieren – sie adressieren unterschiedliche Fehlerquellen.
  • Behandlung von OOB-Fehlern als Ersatz für eine ordnungsgemäße zurückgehaltene Evaluierung bei sehr kleinen Datensätzen, da OOB-Schätzungen in diesem Bereich optimistisch sein können.

Häufig gestellte Fragen

Wie viele Bootstrap-Stichproben B sollte ich verwenden?

Breiman (1996) stellte fest, dass sich die Leistung relativ schnell stabilisiert; B = 50 bis 100 ist für Entscheidungsbäume oft ausreichend. Die Erhöhung von B über einige hundert hinaus bringt abnehmende Erträge. Überwachen Sie den OOB-Fehler, während B wächst, und stoppen Sie, wenn er stagniert.

Was ist der Unterschied zwischen Bagging und Random Forest?

Random Forest erweitert Bagging durch Hinzufügen von zufälligem Merkmals-Subsampling bei jeder Teilung jedes Baumes. Diese zusätzliche Randomisierung entkorreliert die Basislerner weiter und reduziert die Varianz über das hinaus, was Bagging allein erreicht. Bagging mit vollständig gewachsenen Bäumen ist daher ein Sonderfall von Random Forest, bei dem alle Merkmale bei jeder Teilung berücksichtigt werden.

Kann Bagging auf andere Lerner als Entscheidungsbäume angewendet werden?

Ja. Jeder Lerner, der instabil ist – dessen Vorhersagen sich bei leichten Änderungen der Trainingsdaten erheblich ändern –, kann von Bagging profitieren. Neuronale Netze, k-nächste Nachbarn und ungekürzte Regressionsbäume qualifizieren sich alle. Stabile Lerner wie lineare Regression mit einem korrekt spezifizierten Modell profitieren wenig, da wenig Varianz zu reduzieren ist.

Ist der OOB-Fehler ein zuverlässiger Ersatz für Kreuzvalidierung?

Für moderate bis große Datensätze ist der OOB-Fehler eine nahezu unverzerrte Schätzung des Generalisierungsfehlers und ist rechnerisch kostenlos, da keine zusätzlichen Modellfits erforderlich sind. Bei sehr kleinen Datensätzen (n unter etwa 50) können OOB-Schätzungen optimistisch sein und Kreuzvalidierung ist vorzuziehen.

Verwandte Methoden

Quellen

  1. Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.

    DOI-Referenz öffnen
    Kopiert.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.

    ISBN: 978-0-387-84857-0
    Kopiert.
  3. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.

    ISBN: 978-1-4614-7138-7
    Kopiert.