Random Forest
- Eingeführt von
- Breiman, L.
- Jahr
- 2001
- Typ
- Ensemble (bagging of decision trees)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Random Forest ist eine von Leo Breiman im Jahr 2001 eingeführte Ensemble-Lernmethode, die viele Entscheidungsbäume auf Bootstrap-Stichproben der Daten wachsen lässt und deren Voten kombiniert, um robuste Klassifikationen und Regressionen zu erzeugen.
Durch die Zusammenfassung vieler leicht unterschiedlicher Bäume liefert sie genauere und stabilere Vorhersagen als jeder einzelne Baum.
Die Intuition hinter der Methode
Ein einzelner, tief gewachsener Entscheidungsbaum passt sich den Trainingsdaten eng an, ist aber instabil: Eine kleine Änderung in den Daten kann zu einem sehr unterschiedlichen Baum führen. Random Forest begegnet diesem Problem, indem es viele Bäume auf jeweils einer leicht unterschiedlichen Zufallsansicht der Daten aufbaut und diese abstimmen lässt. Die Fehler einzelner Bäume heben sich tendenziell gegenseitig auf, sodass die kombinierte Vorhersage weitaus zuverlässiger ist als die eines einzelnen Baumes.
Geschichte
Random Forest wurde 2001 von Leo Breiman vorgeschlagen und kombiniert Bootstrap-Aggregation mit zufälliger Merkmalsauswahl bei jeder Aufteilung. Es wurde zu einer der am weitesten verbreiteten und zuverlässigsten Out-of-the-box-Methoden des maschinellen Lernens für tabellarische Daten und ist eine Standardreferenz in Texten wie An Introduction to Statistical Learning (Kapitel 8). In jüngerer Zeit haben Tools wie SHAP-Werte seine Interpretierbarkeit der der logistischen Regression angenähert, was seine Akzeptanz in den Sozialwissenschaften erhöht hat.
Wann wird sie eingesetzt?
Eine gute Wahl für genaue, robuste Klassifikation, Regression oder Vorhersage auf tabellarischen Daten mit vielen – möglicherweise nichtlinearen und interagierenden – Merkmalen und mindestens etwa 50 Beobachtungen, wenn die Vorhersageleistung wichtiger ist als die Angabe expliziter Koeffizienten. Random Forest ist annahmenarm: Es erfordert keine normalverteilten Daten und verarbeitet kontinuierliche, kategoriale, binäre, ordinale und Zählmerkmale. Eine Hyperparameter-Optimierung wird empfohlen. Wenn die Stichprobengrößen unter etwa 50 fallen, sind einfachere Modelle wie die logistische oder lineare Regression sicherer.
Grenzen und Hinweise
- Keine Koeffizienten zur Interpretation; seine Black-Box-Natur kann mit Gutachtern kollidieren, die explizite Effekte erwarten.
- Die Hyperparameter-Optimierung wird empfohlen, und große Wälder kosten Speicher und Rechenleistung.
- Bei kleinen Stichproben (n unter etwa 50) überanpassen viele Bäume, und Kreuzvalidierungsergebnisse werden irreführend.
- Merkmalsbedeutungsschätzungen können bei kleinen Stichprobengrößen instabil und nicht reproduzierbar sein.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Hohe Out-of-the-box-Genauigkeit bei tabellarischen Daten sowohl für Klassifikation als auch für Regression.
- Resistent gegen Overfitting dank Bagging plus zufälliger Merkmalsauswahl bei jeder Aufteilung.
- Integrierte Merkmalsbedeutung integriert die Variablenrangfolge direkt in das Modell.
- Der Out-of-Bag-Fehler liefert eine ehrliche Validierungsschätzung ohne einen separaten Kreuzvalidierungsdurchlauf.
- Annahmenarm: keine Normalitätsanforderung, und es verarbeitet gemischte Merkmalstypen und nichtlineare Interaktionen.
Anwendungen
- Klassifikation und Regression auf tabellarischen Daten mit vielen Merkmalen.
- Variablenauswahl und -rangfolge über die native Merkmalsbedeutung.
- Risikobewertung und Vorhersage, wo Robustheit wichtiger ist als explizite Koeffizienten.
- Baseline-Modellierung vor dem Versuch komplexerer Ensembles wie Gradient Boosting.
So funktioniert es
So funktioniert es
Aus dem Trainingsdatensatz werden viele Bootstrap-Stichproben gezogen – jede ist eine zufällige Stichprobe mit Zurücklegen, sodass die Bäume leicht unterschiedliche Daten sehen. Beobachtungen, die aus einer gegebenen Stichprobe ausgeschlossen wurden (der Out-of-Bag-Satz), liefern eine integrierte Validierungsschätzung, ohne dass ein separater Hold-out-Fold erforderlich ist.
An jeder Aufteilung in jedem Baum wird nur eine zufällige Untermenge der verfügbaren Merkmale als Kandidaten betrachtet. Diese zufällige Merkmalsauswahl entkorreliert die Bäume, sodass sie sich nicht alle an dieselben dominanten Prädiktoren klammern, wodurch das Ensemble die Varianz unter die eines einzelnen Baumes senken kann.
Jeder Baum trifft seine eigene Vorhersage, und der Wald kombiniert sie: eine Mehrheitsentscheidung über die Bäume hinweg für die Klassifikation oder der Durchschnitt ihrer Ausgaben für die Regression. Diese Aggregation verwandelt viele verrauschte Bäume in einen robusten Prädiktor.
Formel
\hat{y} = \text{mode/mean of } T \text{ trees}Häufige Fallstricke
- Überspringen einer Train/Test-Aufteilung oder Kreuzvalidierung und Vertrauen auf die In-Sample-Leistung.
- Ignorieren der Klassenungleichheit anstatt Klassen neu zu gewichten (class_weight='balanced') oder neu abzutimmen.
- Nur die Genauigkeit berichten, ohne F1 und AUC daneben.
- Eine Merkmalsbedeutungsrangfolge bei kleinen Stichproben als stabil behandeln.
- Standard-Hyperparameter blind akzeptieren, anstatt die Anzahl der Bäume zu optimieren.
Häufig gestellte Fragen
Wie viele Bäume sollte der Wald haben?
Mehr Bäume reduzieren die Varianz und stabilisieren das Votum auf Kosten von Rechenleistung und Speicher. Ein üblicher Ausgangspunkt sind etwa 100 Bäume, die Anzahl wird erhöht, bis sich der Out-of-Bag-Fehler nicht mehr verbessert.
Überanpasst Random Forest?
Es ist sehr resistent gegen Overfitting, da Bagging und zufällige Merkmalsauswahl die Bäume entkorrelieren und ihre individuellen Fehler mitteln. Das Hauptrisiko besteht darin, viele tiefe Bäume auf einem sehr kleinen Datensatz anzupassen, wobei das Modell überanpasst und die Kreuzvalidierung irreführend wird.
Kann ich der Merkmalsbedeutung vertrauen?
Die Merkmalsbedeutung ist nützlich für die Rangfolge von Prädiktoren, aber bei kleinen Stichprobengrößen kann sie instabil und nicht reproduzierbar sein, daher sollten Rangfolgen bei kleinen Stichproben mit Vorsicht behandelt werden. Die Kombination mit einer SHAP-Analyse bietet eine klarere Sicht auf den Beitrag jedes Merkmals.
Was sollte ich vor und nach dem Anpassen überprüfen?
Vorab sollten fehlende Werte behandelt, kategoriale Variablen kodiert und eine Train/Test-Aufteilung oder k-fache Kreuzvalidierung eingerichtet werden. Anschließend sollte der Out-of-Bag-Fehler evaluiert, eine Kreuzvalidierung durchgeführt und die Merkmalsbeiträge (z. B. mit SHAP) überprüft werden.
Verwandte Methoden
Quellen
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
DOI-Referenz öffnenKopiert.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ISBN: 978-1-4614-7138-7Kopiert.