Zum Inhalt springen
Zurück zu den Suchergebnissen

XGBoost

Eingeführt von
Chen, T. & Guestrin, C.
Jahr
2016
Typ
Ensemble (gradient-boosted decision trees)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

XGBoost (Extreme Gradient Boosting) ist ein skalierbarer Baum-Boosting-Algorithmus, der 2016 von Tianqi Chen und Carlos Guestrin vorgestellt wurde.

Er baut einen starken Prädiktor auf, indem er Entscheidungsbäume nacheinander hinzufügt, wobei jeder Baum die Fehler der vorherigen korrigiert. XGBoost ist eine leistungsfähige Vorhersagemethode, die häufig in Wettbewerben eingesetzt wird.

Die Intuition hinter der Methode

Anstatt viele unabhängige Bäume zu wachsen und sie zu mitteln, wachsen bei XGBoost die Bäume sequenziell: Jeder neue Baum konzentriert sich auf die Fälle, bei denen das aktuelle Modell noch Fehler macht. Schritt für Schritt reduziert das Ensemble die verbleibenden Fehler, während eine Regularisierungsstrafe die einzelnen Bäume einfach hält, damit das kombinierte Modell generalisiert und nicht die Trainingsdaten auswendig lernt.

Geschichte

XGBoost wurde von Tianqi Chen und Carlos Guestrin in ihrem Paper 'XGBoost: A Scalable Tree Boosting System' auf der ACM SIGKDD 2016 vorgestellt. Durch die Kombination von regularisiertem Gradient Boosting von Entscheidungsbäumen mit einer skalierbaren, effizienten Implementierung wurde es zu einem der am weitesten verbreiteten Algorithmen für Vorhersagen, insbesondere in Data-Science-Wettbewerben.

Wann wird sie eingesetzt?

Verwenden Sie XGBoost für genaue Klassifizierung oder Vorhersage auf tabellarischen Daten mit kontinuierlichen, kategorialen, binären oder Zählmerkmalen und mindestens etwa 100 Beobachtungen, wenn die Vorhersageleistung Priorität hat. Es erfordert keine normalverteilten Daten; ausreichende Daten und durchdachtes Feature Engineering sind die wichtigsten praktischen Annahmen. Bei weniger als ca. 100 Fällen neigt Gradient Boosting zu Overfitting, und ein einfacheres Modell (wie logistische Regression oder ein einzelner Entscheidungsbaum) ist zuverlässiger.

Grenzen und Hinweise

  • Benötigt genügend Daten – etwa 100+ Beobachtungen – andernfalls kommt es zu Overfitting und Kreuzvalidierungsergebnisse werden unzuverlässig.
  • Bei kleinen Stichproben gibt es nicht genügend Daten, um die vielen Hyperparameter abzustimmen, sodass ein einfacheres Modell besser generalisiert.
  • Viele Hyperparameter und ein Black-Box-Ensemble erschweren die Einrichtung und Interpretation im Vergleich zu einem einzelnen Modell.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Starke Vorhersagegenauigkeit auf tabellarischen Daten, weshalb es in Wettbewerben so verbreitet ist.
  • Integrierte Regularisierung bestraft die Baumkomplexität und hilft bei der Kontrolle von Overfitting.
  • Toleriert fehlende Werte und verarbeitet gemischte Merkmalstypen (kontinuierlich, kategorial, binär, Zählung).
  • Skaliert gut und profitiert direkt von Feature Engineering.

Anwendungen

  • Klassifizierung und Vorhersage auf tabellarischen Daten mit vielen Merkmalen.
  • Wettbewerbsfähige prädiktive Modellierung, bei der die Genauigkeit oberste Priorität hat.
  • Risikobewertung und Vorhersageaufgaben für kontinuierliche, kategoriale, binäre und Zählmerkmale.
  • Modellierungsprobleme, bei denen fehlende Werte und erstellte Merkmale häufig vorkommen.

So funktioniert es

So funktioniert es

1

XGBoost ist eine Gradient-Boosting-Methode: Sie kombiniert viele flache Entscheidungsbäume zu einem Ensemble. Bäume werden nacheinander hinzugefügt, und jeder neue Baum wird so angepasst, dass er den Vorhersagefehler reduziert, der nach den bereits im Modell vorhandenen Bäumen verbleibt.

2

Das Modell minimiert eine Zielfunktion, die einen Verlustterm, der die Anpassung an die Daten misst, plus einen Regularisierungsterm, der die Baumkomplexität bestraft, summiert. Diese explizite Komplexitätsstrafe hilft XGBoost, Overfitting zu kontrollieren und gleichzeitig flexible, nichtlineare Beziehungen anzupassen.

Formel
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)
3

In jeder Boosting-Runde wird die aktuelle Vorhersage durch Hinzufügen der Ausgabe eines neu angepassten Baumes aktualisiert. Jeder Baum wird so gewählt, dass er die Vorhersagen in die Richtung bewegt, die das Ziel am stärksten reduziert, sodass sich die Genauigkeit des Ensembles Runde für Runde verbessert.

Formel
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)
4

Nach allen Runden ist die endgültige Vorhersage die Summe der Beiträge jedes Baumes, die für Klassifizierung oder zur Vorhersage eines Ziels verwendet wird. Da das Modell fehlende Werte toleriert und von Feature Engineering profitiert, erzielt es auf tabellarischen Daten gute Ergebnisse, sobald genügend Beobachtungen verfügbar sind.

Häufige Fallstricke

  • Anwendung auf kleine Stichproben (n < 100), bei denen Gradient Boosting zu Overfitting neigt und CV-Schätzungen nicht vertrauenswürdig sind.
  • Überspringen des Hyperparameter-Tunings mittels Kreuzvalidierung (z. B. Grid Search) und Akzeptieren der Standardwerte.
  • Das Management von fehlenden Werten und die kategoriale Kodierung unentschieden lassen, obwohl XGBoost Lücken toleriert.
  • Versäumnis, eine ordnungsgemäße Aufteilung in Trainings- und Testdaten oder eine k-fache Kreuzvalidierung einzurichten, bevor die Leistung berichtet wird.

Häufig gestellte Fragen

Wie viele Daten benötigt XGBoost?

Etwa 100 Beobachtungen sind ein sinnvolles Minimum. Bei weniger als 100 Fällen neigt Gradient Boosting zu Overfitting und die Ergebnisse der Kreuzvalidierung werden unzuverlässig. Daher ist ein einfacheres Modell wie logistische Regression oder ein einzelner Entscheidungsbaum zuverlässiger.

Benötigt XGBoost normalverteilte Daten?

Nein. Es macht keine Normalitätsannahme und funktioniert mit kontinuierlichen, kategorialen, binären und Zählmerkmalen. Die wichtigsten praktischen Anforderungen sind genügend Daten und durchdachtes Feature Engineering.

Wie unterscheidet sich XGBoost von Random Forest?

Random Forest wächst Bäume unabhängig und mittelt sie, um die Varianz zu reduzieren. XGBoost wächst Bäume sequenziell, wobei jeder die Fehler der vorherigen korrigiert, und fügt eine Regularisierungsstrafe für die Baumkomplexität hinzu, was bei sorgfältiger Abstimmung zu höherer Genauigkeit führen kann.

Wie interpretiere ich ein XGBoost-Modell?

Da das Modell ein Ensemble vieler Bäume ist, werden die Beiträge normalerweise mit Feature-Attribution-Analysen wie SHAP untersucht, zusammen mit Testdatensatzmetriken wie RMSE oder AUC und kreuzvalidierter Hyperparameter-Optimierung.

Verwandte Methoden

Quellen

  1. Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.

    DOI-Referenz öffnen
    Kopiert.