AdaBoost
- Eingeführt von
- Freund, Y. & Schapire, R.E.
- Jahr
- 1997
- Typ
- Ensemble (sequential boosting of weak learners)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
AdaBoost (Adaptive Boosting) ist der ursprüngliche Boosting-Algorithmus, der 1997 von Yoav Freund und Robert Schapire eingeführt wurde und eine Sequenz einfacher schwacher Lerner kombiniert, indem Beobachtungen, die sie falsch klassifizieren, mehr Gewicht gegeben wird.
Als Vorläufer des Gradient Boosting ist er einfach, interpretierbar und eine starke Basis für die Klassifikation.
Die Intuition hinter der Methode
Ein einzelner flacher Baum ist ein schwacher Lerner: nur wenig besser als Raten. AdaBoost verwandelt viele solcher schwachen Lerner in einen starken Prädiktor, indem er sie nacheinander trainiert. Nach dem Training jedes Lerners erhalten die Beobachtungen, die er falsch klassifiziert hat, mehr Gewicht, sodass sich der nächste Lerner auf die schwierigen Fälle konzentriert, die die anderen immer wieder falsch machen. Die endgültige Vorhersage ist eine gewichtete Abstimmung, bei der genauere Lerner mehr zählen.
Geschichte
AdaBoost wurde 1997 von Yoav Freund und Robert Schapire als eine entscheidungstheoretische Verallgemeinerung des Online-Lernens, angewendet auf Boosting, eingeführt. Es war der erste praktische Boosting-Algorithmus und zeigte, dass viele schwache Lerner zu einem starken kombiniert werden könnten, eine Arbeit, die grundlegend für die gesamte Boosting-Familie wurde. Es ist der direkte Vorläufer des Gradient Boosting und moderner Werkzeuge wie XGBoost.
Wann wird sie eingesetzt?
Gut geeignet für Klassifikation und Vorhersage auf Querschnittsdaten in Tabellenform mit kontinuierlichen, kategorialen oder binären Merkmalen und mindestens etwa 50 Beobachtungen, wenn eine einfache, interpretierbare Boosting-Basis gewünscht wird. AdaBoost macht keine Normalitätsannahme, ist aber empfindlich gegenüber verrauschten Daten und Ausreißern, daher sollten Ausreißer zuerst gescreent werden. Steuern Sie die Anzahl der Schätzer, um das geringe, aber nicht null überanpassungsrisiko zu managen. Bei kleinen Stichproben sind einfachere logistische Regression oder der robustere Random Forest sicherer.
Grenzen und Hinweise
- Empfindlich gegenüber verrauschten Daten und Ausreißern aufgrund seiner exponentiellen Verlustfunktion; Ausreißer-Screening ist erforderlich.
- Das Risiko der Überanpassung ist gering, aber nicht null und muss durch die Anzahl der Schätzer kontrolliert werden.
- Bei kleinen Stichproben (n unter etwa 50) werden verrauschte Beobachtungen überbewichtet und jede Iteration kann die Leistung verschlechtern.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Einfach und interpretierbar, mit wenigen Parametern, die eingestellt werden müssen.
- Verwandelt schwache Lerner der Tiefe 1 in einen starken Klassifikator, eine solide Standardbasis.
- Keine Normalitätsannahme; verarbeitet kontinuierliche, kategoriale und binäre Merkmale.
- Der Vorläufer des Gradient Boosting, mit einem klaren adaptiven Gewichtungsmechanismus.
Anwendungen
- Klassifikationsbaselines auf Querschnittsdaten in Tabellenform.
- Vorhersageaufgaben, bei denen ein einfaches, interpretierbares geboostetes Modell bevorzugt wird.
- Vermittlung und Demonstration der Boosting-Idee vor dem Übergang zum Gradient Boosting.
- Kombination vieler flacher Entscheidungsstümpfe zu einem einzigen starken Klassifikator.
So funktioniert es
So funktioniert es
Jede Trainingsbeobachtung beginnt mit gleichem Gewicht. Diese Gewichte geben jedem aufeinanderfolgenden schwachen Lerner an, wie sehr er darauf achten sollte, diese spezielle Beobachtung richtig zu klassifizieren.
Ein schwacher Lerner – typischerweise ein Entscheidungsstumpf, ein Baum der Tiefe 1 – wird an die gewichteten Daten angepasst. Da er so einfach ist, leistet er für sich allein nur wenig mehr als Zufall.
Die Gesamtgenauigkeit des Lerners bestimmt sein Stimmgewicht in der endgültigen Abstimmung, und die Gewichte der Beobachtungen, die er falsch klassifiziert hat, werden erhöht, damit sich der nächste Lerner auf sie konzentriert. Eine exponentielle Verlustfunktion treibt diese Aktualisierung an: Sie bestraft Fehlklassifikationen mit einer scharf ansteigenden Rate, was AdaBoost auch empfindlich gegenüber verrauschten Punkten und Ausreißern macht.
Formel
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])Nach vielen Runden werden die schwachen Lerner durch eine gewichtete Mehrheitsabstimmung zu einer einzigen Vorhersage zusammengefasst, wobei jeder Lerner nach seiner Genauigkeit gewichtet wird. Diese Summe vieler einfacher, fokussierter Lerner bildet einen starken Klassifikator.
Formel
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)Häufige Fallstricke
- Ausführung von AdaBoost auf Daten voller Ausreißer ohne vorheriges Screening.
- Zulassen, dass die Anzahl der Schätzer unkontrolliert wächst, anstatt sie zu optimieren.
- Verwendung bei einer Stichprobe von weniger als etwa 50 Beobachtungen, wo verrauschte Punkte die Gewichtung dominieren.
- Greifen zu AdaBoost, wenn ein robusteres Ensemble wie Random Forest die verrauschten Daten besser verarbeitet.
Häufig gestellte Fragen
Wie unterscheidet sich AdaBoost von Random Forest?
Random Forest baut viele unabhängige Bäume parallel und mittelt sie (Bagging); AdaBoost baut schwache Lerner sequenziell auf, wobei jeder sich auf die Fälle konzentriert, die die vorherigen falsch gemacht haben (Boosting). Aufgrund seiner exponentiellen Verlustfunktion ist AdaBoost empfindlicher gegenüber Rauschen und Ausreißern, während Random Forest robuster ist.
Warum ist AdaBoost empfindlich gegenüber Ausreißern?
Es verwendet eine exponentielle Verlustfunktion, die Fehlklassifikationen mit einer scharf ansteigenden Rate bestraft. Hartnäckig falsch klassifizierte Punkte – oft Ausreißer oder verrauschte Beobachtungen – gewinnen immer weiter an Gewicht, sodass sie spätere Iterationen dominieren und das Modell verschlechtern können.
Wie viele Schätzer sollte ich verwenden?
Die Anzahl der Schätzer (schwache Lerner) kontrolliert das geringe, aber reale Risiko der Überanpassung von AdaBoost. Erhöhen Sie sie, während sich die Leistung der Validierung verbessert, und stoppen Sie, sobald sie stagniert oder schlechter wird.
Was ist hier ein schwacher Lerner?
Typischerweise ein Entscheidungsstumpf – ein Entscheidungsbaum der Tiefe 1. Für sich allein ist er nur geringfügig besser als Zufall, aber AdaBoost kombiniert viele davon, jeder gewichtet nach seiner Genauigkeit, zu einem einzigen starken Klassifikator.
Verwandte Methoden
Quellen
Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.
DOI-Referenz öffnenKopiert.