Bagging-Ensemble
- Eingeführt von
- Leo Breiman
- Jahr
- 1996
- Typ
- parallel ensemble
- Familie
- Ensemble
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Bagging, kurz für Bootstrap Aggregating, ist eine Ensemble-Methode, die die Varianz reduziert, indem mehrere Kopien eines einzelnen Lernalgorithmus auf verschiedenen zufälligen Teilmengen der Trainingsdaten trainiert werden.
Jede Teilmenge wird durch Bootstrap-Sampling erstellt – zufälliges Ziehen von Stichproben mit Zurücklegen. Vorhersagen werden durch Mehrheitsentscheid (Klassifikation) oder Mittelwertbildung (Regression) kombiniert. Bagging wurde 1996 von Leo Breiman eingeführt, bildet die Grundlage für Random Forests und ist besonders wirksam zur Reduzierung von Überanpassung bei Modellen mit hoher Varianz.
Die Intuition hinter der Methode
Die Kernidee ist, dass durch das Trainieren desselben Modells auf verschiedenen zufälligen Datenteilmengen und die Mittelwertbildung ihrer Vorhersagen die Varianz reduziert wird, ohne die Verzerrung zu erhöhen. Wenn ein Modell sich an spezifische Trainingsstichproben überanpasst, decken verschiedene Bootstrap-Stichproben unterschiedliche Teile dieser Überanpassung auf, und die Mittelwertbildung hebt irreführende Muster auf. Bagging nutzt Zufälligkeit aus: Jede Bootstrap-Stichprobe ist leicht unterschiedlich, daher ist jedes trainierte Modell leicht unterschiedlich, und ihre Aggregation ist stabiler als jedes einzelne Modell.
Geschichte
Bagging wurde 1996 von Leo Breiman eingeführt und baut auf der Bootstrap-Methode aus der Statistik (Efron, 1979) auf. Breiman zeigte, dass Bagging den Vorhersagefehler instabiler Lerner durch Varianzreduktion verringert. Die Methode wurde mit der Einführung von Random Forests (Breiman, 2001), die Bagging mit zufälliger Merkmalsauswahl kombinieren, grundlegend. Bagging bleibt eine Standardtechnik im maschinellen Lernen, insbesondere für Ensemble-Methoden.
Wann wird sie eingesetzt?
Verwende Bagging bei der Arbeit mit Modellen mit hoher Varianz (z. B. Entscheidungsbäume, neuronale Netze), die zur Überanpassung neigen. Es ist am wirksamsten, wenn Basislerner instabil sind – empfindlich gegenüber kleinen Änderungen in den Trainingsdaten. Bagging ist weniger wirksam für Modelle mit geringer Verzerrung und geringer Varianz (z. B. k-NN mit kleinem k, lineare Regression auf stabilen Daten). Es eignet sich auch gut für parallele Berechnungen, da jeder Basislerner unabhängig trainiert werden kann.
Grenzen und Hinweise
- Bietet keine Reduzierung der Verzerrung; nur wirksam für Basislerner mit hoher Varianz.
- Die Rechenkosten skalieren linear mit der Anzahl der Basislerner.
- Bootstrap-Stichproben mangelt es an Diversität im Vergleich zu gezielten Stichprobenstrategien.
- Kann die Leistung nicht verbessern, wenn Basismodelle eine hohe Verzerrung aufweisen (z. B. lineare Modelle auf komplexen Daten).
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Reduziert Varianz ohne Erhöhung der Verzerrung, verbessert die Generalisierung.
- Funktioniert mit jedem Basislernertyp; kann instabile Modelle wie Bäume verwenden.
- Leicht parallelisierbar – jede Bootstrap-Stichprobe kann unabhängig verarbeitet werden.
- Liefert Varianzschätzungen durch Out-of-Bag-Fehlerberechnung.
- Einfach zu implementieren mit minimaler Hyperparameter-Abstimmung.
Anwendungen
- Medizinische Diagnose: Bagging von Entscheidungsbäumen zur Krankheitsklassifikation zur Verbesserung der Robustheit gegenüber verrauschten Patientendaten.
- Finanzrisikomodellierung: Ensemble von Entscheidungsbäumen zur Vorhersage von Kreditausfällen unter verschiedenen Marktbedingungen.
- Fernerkundung: Bagging von Bildklassifikatoren zur Klassifizierung von Satellitenbildern mit reduzierter Überanpassung.
- Genomik: Ensemble-Methoden zur Gen-Auswahl und Krankheitsvorhersage aus hochdimensionalen Mikroarray-Daten.
- Qualitätskontrolle in der Fertigung: Bagging von neuronalen Netzen zur Fehlererkennung in Produktionsprozessen.
So funktioniert es
So funktioniert es
Erzeuge B Bootstrap-Stichproben durch zufälliges Ziehen aus den Trainingsdaten mit Zurücklegen, jede mit einer Größe, die dem ursprünglichen Datensatz entspricht.
Trainiere einen unabhängigen Basislerner (z. B. Entscheidungsbaum, neuronales Netz) auf jeder Bootstrap-Stichprobe.
Für eine neue Eingabe, leite sie durch alle B trainierten Basislerner und sammle ihre Vorhersagen.
Kombiniere Vorhersagen durch Mehrheitsentscheid (Klassifikation) oder Mittelwertbildung (Regression).
Häufige Fallstricke
- Die Verwendung von zu wenigen Basislernern (B < 20) reduziert den Nutzen der Varianzreduktion; abnehmende Erträge treten typischerweise bei B = 100-500 auf.
- Trainieren von Basislernern auf überlappenden Teilmengen (z. B. aufeinanderfolgende Datensplits) anstelle von zufälligen Bootstrap-Stichproben.
- Annahme, dass Bagging Überanpassung eliminiert; es reduziert die Varianz, aber verzerrte Modelle bleiben verzerrt.
- Nichtnutzung von Out-of-Bag-Vorhersagen zur Validierung, Verpassen einer effizienten Alternative zur Kreuzvalidierung.
Häufig gestellte Fragen
Wie viele Bootstrap-Stichproben (B) sollte ich verwenden?
Beginnen Sie mit B = 50-100 und überwachen Sie die Leistung; typischerweise flachen die Vorteile bei B = 100-500 ab. Erhöhen Sie B, wenn die Varianzreduktion stagniert. Für kritische Anwendungen können B > 1000 trotz Rechenaufwand gerechtfertigt sein.
Was ist Out-of-Bag-Fehler und wie verwende ich ihn?
Jede Bootstrap-Stichprobe schließt etwa 1/3 der ursprünglichen Daten aus (durchschnittlich etwa 36,8 %). Diese Out-of-Bag-Stichproben können zur Validierung dieses spezifischen Modells verwendet werden, ohne einen separaten Validierungssatz zu benötigen. Durchschnittliche Out-of-Bag-Fehler über alle Modelle hinweg schätzen den Generalisierungsfehler.
Ist Bagging besser als Kreuzvalidierung?
Sie dienen unterschiedlichen Zwecken. Kreuzvalidierung schätzt die Modellleistung; Bagging verbessert sie. Verwenden Sie Bagging zum Trainieren eines Ensembles und Out-of-Bag-Schätzungen zur Validierung, wodurch der Overhead der k-fachen Kreuzvalidierung vermieden wird.
Kann Bagging Modelle mit geringer Varianz wie k-NN verbessern?
Nicht effektiv. Bagging ist für Modelle mit hoher Varianz konzipiert. Modelle mit geringer Varianz (stabil, einfach) profitieren wenig von der Varianzreduktion. Erwägen Sie andere Ensemble-Methoden oder konzentrieren Sie sich stattdessen auf die Reduzierung der Verzerrung.
Verwandte Methoden
Quellen
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
DOI-Referenz öffnenKopiert.Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.
DOI-Referenz öffnenKopiert.