Zum Inhalt springen
Zurück zu den Suchergebnissen

Gradient Boosting

Eingeführt von
Friedman, J. H.
Jahr
2001
Typ
Ensemble (sequential boosting of decision trees)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Gradient Boosting ist eine Ensemble-Lernmethode, die 2001 von Jerome H. Friedman formalisiert wurde und eine Sequenz von schwachen Lernern – typischerweise flache Entscheidungsbäume – kombiniert, sodass jeder neue Baum so angepasst wird, dass die Restfehler der vorherigen Bäume minimiert werden.

Es ist der Kernalgorithmus hinter populären Implementierungen wie XGBoost, LightGBM und CatBoost.

Die Intuition hinter der Methode

Anstatt ein starkes Modell auf einmal zu erstellen, baut Gradient Boosting viele kleine Bäume sequenziell auf, wobei jeder neue Baum darauf abzielt, die Fehler zu korrigieren, die der aktuelle Ensemble noch macht. Durch wiederholtes Anpassen der Vorhersage in die Richtung, die den verbleibenden Fehler am stärksten reduziert, summiert sich eine Kette von schwachen Lernern zu einem hochgenauen Prädiktor.

Geschichte

Gradient Boosting wurde von Jerome H. Friedman in seinem Paper Greedy Function Approximation: A Gradient Boosting Machine aus dem Jahr 2001 formalisiert, das Boosting als Gradientenabstieg im Funktionsraum darstellte. Die Idee – das Hinzufügen von schwachen Lernern, die jeweils die Residuen des aktuellen Ensembles anpassen – wurde zur Grundlage der erfolgreichsten Algorithmen für Tabellendaten in der Praxis, einschließlich XGBoost, LightGBM und CatBoost.

Wann wird sie eingesetzt?

Eine starke Wahl für genaue Klassifikation und Vorhersage auf Querschnitts- oder Panel-Tabellendaten mit mindestens etwa 100 Beobachtungen, über kontinuierliche, kategoriale, binäre und ordinale Merkmale hinweg. Merkmalskalierung ist im Allgemeinen nicht erforderlich, aber Hyperparameter-Tuning der Anzahl der Bäume, der Lernrate und der maximalen Tiefe ist entscheidend, und Early Stopping wird empfohlen, um vor Überanpassung zu schützen. Bei weniger als etwa 100 Beobachtungen neigen die sequenziellen Bäume dazu, Rauschen zu memorieren, und Random Forest oder ein einzelner Entscheidungsbaum ist sicherer.

Grenzen und Hinweise

  • Hyperparameter-Tuning der Anzahl der Bäume, der Lernrate und der maximalen Tiefe ist entscheidend und zeitaufwendig.
  • Sequentielles Boosting ist anfällig für Überanpassung, wenn es nicht regularisiert wird, weshalb Early Stopping empfohlen wird.
  • Bei kleinen Stichproben (n unter etwa 100) memorieren die sequenziellen Bäume Rauschen, und selbst Early Stopping ist nicht ausreichend.
  • Bei zu wenigen Daten gibt es nicht genügend Kreuzvalidierungsmaterial, um Hyperparameter zuverlässig zu optimieren.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Sehr hohe prädiktive Genauigkeit auf Tabellendaten sowohl für Klassifikation als auch für Vorhersage.
  • Merkmalskalierung ist im Allgemeinen unnötig, und es verarbeitet kontinuierliche, kategoriale, binäre und ordinale Merkmale.
  • Bildet den Kernalgorithmus hinter weit verbreiteten Bibliotheken wie XGBoost, LightGBM und CatBoost.
  • Early Stopping und eine kleine Lernrate ermöglichen eine feine Kontrolle über den Bias-Varianz-Trade-off.

Anwendungen

  • Hohe Genauigkeit bei Klassifikation und Vorhersage auf Querschnitts- und Panel-Tabellendaten.
  • Risikobewertung und Ergebnisvorhersage, bei denen maximale prädiktive Leistung im Vordergrund steht.
  • Modellierung komplexer nichtlinearer Beziehungen zwischen gemischten Merkmalstypen ohne manuelle Skalierung.
  • Dient als Motor hinter produktionsreifen Gradient-Boosting-Bibliotheken wie XGBoost und LightGBM.

So funktioniert es

So funktioniert es

1

Gradient Boosting trainiert schwache Lerner – normalerweise flache Entscheidungsbäume – nacheinander anstatt unabhängig. Das Ensemble beginnt mit einer einfachen Anfangsschätzung, und jeder nachfolgende Baum wird hinzugefügt, um das zu korrigieren, was das aktuelle Modell noch falsch macht, sodass sich die Genauigkeit schrittweise verbessert.

2

In jeder Runde betrachtet die Methode die Restfehler des aktuellen Ensembles und passt den nächsten Baum an diese Residuen (den negativen Gradienten des Verlusts) an. Der neue Baum wird mit einem kleinen Lernraten-Gewicht hinzugefügt, sodass die Vorhersage vorsichtig aktualisiert wird: F_m(x) = F_{m-1}(x) + nu * h_m(x). Diese sequentielle, gradientengeführte Korrektur verleiht der Methode ihren Namen und ihre Genauigkeit.

Formel
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)
3

Die endgültige Vorhersage ist die Summe der Anfangsschätzung und aller kleinen Baumkorrekturen, die im Laufe der Zeit angesammelt wurden. Da die Bäume gierig hinzugefügt werden, um den verbleibenden Fehler zu verfolgen, ist die Abstimmung der Anzahl der Bäume, der Lernrate und der Baumtiefe – zusammen mit Early Stopping – entscheidend, um Überanpassung zu vermeiden.

Häufige Fallstricke

  • Überspringen von Early Stopping und Zulassen, dass das Boosting zu viele Runden läuft, bis es überangepasst ist.
  • Einstellen der Lernrate zu hoch, sodass jeder Baum überkorrigiert, anstatt die Vorhersage sanft anzupassen.
  • Anwendung auf eine Stichprobe unter etwa 100 Beobachtungen, bei der die sequenziellen Bäume Rauschen memorieren.
  • Akzeptieren von Standardhyperparametern anstelle des Tunings von n_estimators, learning_rate und max_depth.
  • Behandeln als ob Merkmalskalierung wie bei distanzbasierten Modellen erforderlich wäre, obwohl Skalierung im Allgemeinen unnötig ist.

Häufig gestellte Fragen

Wie unterscheidet sich Gradient Boosting von Random Forest?

Random Forest baut viele unabhängige Bäume parallel auf und mittelt sie, während Gradient Boosting Bäume sequenziell aufbaut, wobei jeder Baum so angepasst wird, dass er die Restfehler der vorherigen korrigiert. Boosting erreicht oft eine höhere Genauigkeit, ist aber empfindlicher gegenüber Überanpassung und erfordert sorgfältiges Tuning.

Warum wird Early Stopping empfohlen?

Da jeder neue Baum den verbleibenden Fehler verfolgt, beginnt ein zu langes Boosting-Lauf, Rauschen anzupassen. Early Stopping stoppt das Training, sobald sich die Leistung auf dem Validierungsdatensatz nicht mehr verbessert, was die wichtigste Absicherung gegen Überanpassung ist.

Muss ich meine Merkmale skalieren?

Merkmalskalierung ist für baumbasierte Gradienten-Boosting-Algorithmen im Allgemeinen nicht erforderlich, da Splits auf der Reihenfolge und nicht auf der Größe basieren. Die entscheidenden Stellschrauben sind stattdessen die Anzahl der Bäume, die Lernrate und die Baumtiefe.

Welche Stichprobengröße benötige ich?

Mindestens etwa 100 Beobachtungen. Darunter memorieren die sequenziellen Bäume Rauschen, und selbst Early Stopping ist nicht ausreichend, sodass Random Forest oder ein einzelner Entscheidungsbaum die sicherere Wahl ist.

Verwandte Methoden

Quellen

  1. Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.

    DOI-Referenz öffnen
    Kopiert.