Extra Trees
- Eingeführt von
- Geurts, P.; Ernst, D.; Wehenkel, L.
- Jahr
- 2006
- Typ
- Ensemble (extremely randomized decision trees)
- Familie
- Machine learning
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Extra Trees (Extremely Randomized Trees), eingeführt von Geurts, Ernst und Wehenkel im Jahr 2006, ist ein Ensemble von Entscheidungsbäumen, das die Zufälligkeit weiter treibt als Random Forest.
Sowohl die Kandidatenmerkmale als auch die Schwellenwerte für die Aufteilung werden an jedem Knoten vollständig zufällig gewählt, wodurch die gierige Suche nach Schwellenwerten entfällt. Diese zusätzliche Zufälligkeit reduziert die Varianz, erreicht oft die Genauigkeit von Random Forest oder übertrifft sie und ist zur Trainingszeit erheblich schneller.
Die Intuition hinter der Methode
Random Forest de-korreliert Bäume bereits durch zufälliges Auswählen von Merkmalen bei jeder Aufteilung, sucht aber immer noch nach dem besten Schwellenwert unter diesen Merkmalen. Extra Trees geht einen Schritt weiter: Für jedes Kandidatenmerkmal wählt es einen zufälligen Schwellenwert anstatt ihn zu optimieren. Dies klingt zunächst so, als würde es die Genauigkeit beeinträchtigen, aber da die resultierenden Bäume noch weniger miteinander korreliert sind, gleicht der Ensemble-Durchschnitt mehr Varianz aus. Der Verlust durch eine einzelne schlechte Aufteilung ist winzig, wenn man über viele Bäume mittelt, und der Geschwindigkeitsgewinn durch die Nicht-Suche nach einem optimalen Schwellenwert ist erheblich.
Geschichte
Extra Trees wurde von Pierre Geurts, Damien Ernst und Louis Wehenkel in einem Paper im Journal Machine Learning aus dem Jahr 2006 vorgeschlagen. Die Autoren zeigten, dass die Einführung vollständiger Zufälligkeit von Aufteilungsschwellenwerten – anstatt nach optimalen Schnitten zu suchen – die Varianz erheblich reduziert, während ein geringer Anstieg der Verzerrung (Bias) in Kauf genommen wird. Die Methode ist seitdem zu einer Standardalternative zu Random Forest im scikit-learn-Ökosystem geworden und wird weithin als schneller, hochgenauer Baseline für Benchmarks auf tabellarischen Daten verwendet.
Wann wird sie eingesetzt?
Verwenden Sie Extra Trees, wenn Sie schnelles Training und hohe Genauigkeit auf tabellarischen Daten mit kontinuierlichen oder gemischten Merkmalstypen wünschen. Es ist besonders nützlich, wenn die Trainingszeit eine Einschränkung darstellt – die Entfernung der Schwellenwertoptimierung macht es bei vergleichbarer Genauigkeit erheblich schneller als Random Forest. Es eignet sich für Klassifizierungs- und Regressionsaufgaben mit moderaten bis großen Stichproben (ungefähr 50 oder mehr Beobachtungen). Bevorzugen Sie Random Forest oder Gradient Boosting, wenn Sie integrierte Out-of-Bag-Schätzungen benötigen oder wenn das Rauschen in den Daten sehr hoch ist und Sie vermuten, dass vollständig zufällige Schwellenwerte die Genauigkeit beeinträchtigen. Für sehr kleine Datensätze sind einfachere Modelle wie logistische Regression oder ein einzelner Entscheidungsbaum sicherer und interpretierbarer.
Grenzen und Hinweise
- Keine integrierte Out-of-Bag-Schätzung (im Gegensatz zu Random Forest), daher ist Kreuzvalidierung für eine unverzerrte Fehlerschätzung erforderlich.
- Vollständig zufällige Schwellenwerte können bei sehr verrauschten Daten, bei denen optimale Aufteilungen informativ sind, nachteilig sein.
- Black-Box: liefert keine expliziten Koeffizienten, was die Interpretierbarkeit für Zielgruppen, die Effektgrößen erwarten, einschränkt.
- Der Speicherverbrauch wächst mit der Anzahl der Bäume und der Baumtiefe.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Schnelleres Training als Random Forest, da bei jeder Aufteilung keine Schwellenwertoptimierung durchgeführt wird.
- Hohe Diversität unter den Bäumen führt zu starker Varianzreduktion und erreicht oft die Genauigkeit von Random Forest oder übertrifft sie.
- Verarbeitet gemischte Merkmalstypen und nichtlineare Wechselwirkungen ohne Vorverarbeitungsannahmen.
- Bietet native Merkmalwichtigkeiten für Variablenranking und -auswahl.
- Skaliert gut auf hochdimensionale Daten mit vielen irrelevanten Merkmalen.
Anwendungen
- Schnelle Klassifizierungs- und Regressions-Baselines auf tabellarischen Daten.
- Merkmalsauswahl und Wichtigkeitsranking in hochdimensionalen Datensätzen.
- Prädiktive Modellierung in Bioinformatik, Fernerkundung und Sensor-Datenanalyse.
- Pipeline-Hyperparameter-Suche, bei der die Trainingsgeschwindigkeit entscheidend ist.
- Groß angelegte Datenszenarien, bei denen die Trainingszeit von Random Forest prohibitiv ist.
So funktioniert es
So funktioniert es
Im Gegensatz zu Random Forest trainiert Extra Trees standardmäßig jeden Baum auf dem gesamten Trainingsdatensatz anstatt auf einem Bootstrap-Sample. Dies reduziert die durch das Sampling eingeführte Verzerrung (Bias), bedeutet aber, dass kein integrierter Out-of-Bag-Datensatz vorhanden ist; Kreuzvalidierung ist daher für eine ehrliche Fehlerschätzung erforderlich.
An jedem internen Knoten wird eine zufällige Teilmenge von Merkmalen gezogen. Für jedes Kandidatenmerkmal wird ein Aufteilungsschwellenwert gleichmäßig zufällig aus dem beobachteten Wertebereich dieses Merkmals gezogen – es wird keine Suche nach dem optimalen Trennpunkt durchgeführt. Das Merkmal-Schwellenwert-Paar, das unter diesen zufälligen Kandidaten die beste Punktzahl (z. B. Gini-Reinheitsreduktion) ergibt, wird ausgewählt.
Bäume werden standardmäßig bis zur vollen Tiefe gezüchtet, was bedeutet, dass Blätter so rein wie möglich sind. Die volle Tiefe, kombiniert mit den zufälligen Aufteilungen, ist das, was die Varianz über das Ensemble hinweg reduziert: Einzelne Bäume haben eine hohe Varianz, sind aber sehr divers.
Vorhersagen von allen Bäumen werden kombiniert: Mehrheitsentscheid für Klassifizierung und mittlerer Output für Regression. Die starke Diversität unter den Bäumen bedeutet, dass einzelne Fehler dazu neigen, sich gegenseitig aufzuheben, was das Ensemble stabiler macht als jeden einzelnen Baum.
Formel
\hat{y} = \text{mode/mean of } T \text{ trees}Häufige Fallstricke
- Überspringen der Kreuzvalidierung und Verlassen auf die In-Sample-Genauigkeit, da standardmäßig keine OOB-Schätzung erzeugt wird.
- Ignorieren von Klassenungleichgewichten – verwenden Sie class_weight='balanced' oder Resampling vor dem Anpassen.
- Berichterstattung nur der Genauigkeit ohne ergänzende Metriken wie F1, AUC oder RMSE.
- Behandlung von Merkmalwichtigkeits-Rankings als stabil, ohne die Reproduzierbarkeit über Seeds hinweg zu überprüfen.
Häufig gestellte Fragen
Wie unterscheidet sich Extra Trees von Random Forest?
Beide sind Ensembles von Entscheidungsbäumen mit zufälligen Merkmals-Teilmengen bei jeder Aufteilung. Der Hauptunterschied besteht darin, dass Extra Trees die Aufteilungsschwellenwerte vollständig zufällig wählt, anstatt sie zu optimieren, und standardmäßig auf den vollständigen Trainingsdatensatz anstatt auf Bootstrap-Samples trainiert. Dies macht Extra Trees schneller und erzeugt typischerweise diversere, weniger korrelierte Bäume.
Welches sollte ich bevorzugen – Extra Trees oder Random Forest?
Wenn die Trainingsgeschwindigkeit wichtig ist oder die Daten relativ sauber sind, erreicht Extra Trees oft die Genauigkeit von Random Forest oder übertrifft sie bei geringeren Rechenkosten. Wenn Sie eine integrierte Out-of-Bag-Schätzung wünschen oder Ihre Daten verrauscht sind (wo bessere Aufteilungsschwellenwerte helfen), ist Random Forest sicherer.
Wie viele Bäume brauche ich?
Beginnen Sie mit 100 Bäumen und erhöhen Sie sie, bis sich die Leistung auf einem Validierungsdatensatz oder in der Kreuzvalidierung stabilisiert. Mehr Bäume verbessern die Stabilität, erhöhen aber den Speicherbedarf und die Vorhersagelatenz.
Überanpasst sich Extra Trees?
Einzelne Bäume werden bis zur vollen Tiefe gezüchtet und können isoliert überanpassen, aber der Ensemble-Durchschnitt reduziert die Varianz stark. Eine Überanpassung des vollständigen Ensembles ist im Allgemeinen selten, kann aber auf sehr kleinen Datensätzen mit vielen Merkmalen immer noch auftreten.
Wie bewerte ich die Modellleistung ohne OOB-Datensatz?
Verwenden Sie k-fache Kreuzvalidierung – typischerweise 5 oder 10 Folds. Bewerten Sie Klassifizierungsaufgaben mit Genauigkeit, F1 und AUC; bewerten Sie Regressionsaufgaben mit RMSE und R-squared.
Verwandte Methoden
Quellen
Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.
DOI-Referenz öffnenKopiert.Extra-Trees. Wikipedia.
Publikationsreferenz öffnenKopiert.