Entscheidungsbaum
- Eingeführt von
- Breiman, Friedman, Olshen & Stone
- Jahr
- 1984
- Typ
- Recursive partitioning (if-then rules)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Ein Entscheidungsbaum ist eine interpretierbare Klassifikations- und Regressionsmethode, die 1984 von Breiman, Friedman, Olshen und Stone in ihrem CART-Framework formalisiert wurde und die Daten mithilfe hierarchischer Wenn-Dann-Regeln partitioniert.
Jeder Split leitet Beobachtungen über einen oder anderen Zweig, bis eine Vorhersage vom Blatt abgelesen wird.
Die Intuition hinter der Methode
Stellen Sie sich einen Entscheidungsbaum als Flussdiagramm von Ja/Nein-Fragen vor. Ausgehend von allen Daten stellt der Baum wiederholt die einzige Frage zu einem Merkmal, die die Fälle am besten trennt – zum Beispiel „Ist das Alter über 40?“ – und teilt die Daten in zwei Gruppen. Er teilt jede Gruppe weiter auf, bis die Fälle darin einigermaßen homogen sind, und die endgültigen Gruppen (die Blätter) liefern die Vorhersage. Die Kette von Fragen von der Wurzel zu einem Blatt ist eine Regel, der jeder Leser folgen kann.
Geschichte
Entscheidungsbäume wurden von Leo Breiman, Jerome Friedman, Richard Olshen und Charles Stone in ihrer Monographie Classification and Regression Trees von 1984 auf eine rigorose Grundlage gestellt, die den CART-Algorithmus und seine Verwendung von Unreinheitsmaßen wie dem Gini-Index einführte. Die transparente Wenn-Dann-Struktur machte Bäume zu einem Grundpfeiler der angewandten Analyse, und sie wurden später zum Kernbaustein leistungsfähigerer Ensembles – eingebettet in Random Forests und geboostet in Gradient Boosting –, bei denen viele Bäume kombiniert werden, um die Instabilität einzelner Bäume zu überwinden.
Wann wird sie eingesetzt?
Verwenden Sie einen Entscheidungsbaum, wenn Sie ein interpretierbares Modell für Klassifikation, Vorhersage oder Erklärung auf Querschnitts-Tabellendaten mit mindestens etwa 30 Beobachtungen wünschen, die kontinuierliche, kategoriale, binäre und ordinale Merkmale mischen. Es ist keine Merkmalskalierung erforderlich und die Regeln sind leicht zu kommunizieren. Unter etwa 30 Fällen überanpasst sich der Baum leicht – Blätter können eine einzelne Beobachtung enthalten – und ein einfacheres, stabileres Modell wie die logistische Regression oder Naive Bayes ist sicherer.
Grenzen und Hinweise
- Anfällig für Überanpassung, es sei denn, es wird über max_depth oder min_samples_leaf beschnitten.
- Bei kleinen Stichproben (n unter etwa 30) überanpasst sich der Baum leicht, wobei Blätter nur eine einzige Beobachtung enthalten können.
- Nach dem Beschneiden kann ein Baum mit kleinen Stichproben zu wenige Splits behalten, um nützlich zu sein, wobei die logistische Regression stabiler ist.
- Ein einzelner Baum ist instabil – kleine Datenänderungen können eine sehr andere Struktur erzeugen.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Hochgradig interpretierbar: Der Pfad von der Wurzel zu einem Blatt ist eine einfache Wenn-Dann-Regel.
- Keine Merkmalskalierung erforderlich; behandelt kontinuierliche, kategoriale, binäre und ordinale Merkmale direkt.
- Geringe Schwierigkeit – auch für Anfänger geeignet.
- Dient als Baustein für Ensembles wie Random Forest und Gradient Boosting.
Anwendungen
- Interpretierbare Klassifikation von Querschnitts-Tabellendaten.
- Vorhersage und Risikosegmentierung, bei denen transparente Regeln geschätzt werden.
- Erklärende Analyse zur Ermittlung, welche Merkmale und Schwellenwerte ein Ergebnis beeinflussen.
- Ein Basislerner innerhalb von Ensembles wie Random Forest und Gradient Boosting.
So funktioniert es
So funktioniert es
An jedem Knoten durchsucht der Baum jedes Merkmal und jeden möglichen Schwellenwert für den Split, der die Reinheit am meisten verbessert – der CART-Algorithmus verwendet typischerweise den Gini-Index oder den Informationsgewinn für die Klassifikation. Der Split, der die größte Reduktion der Unreinheit ergibt, wird gewählt, sodass jeder Zweig Fälle enthält, die ähnlicher sind als zuvor.
Formel
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
Der gewählte Split wird angewendet und das Verfahren wird für jeden resultierenden Zweig rekursiv ausgeführt, wobei die Daten immer wieder partitioniert werden. Da keine Merkmalskalierung erforderlich ist, können kontinuierliche, kategoriale, binäre und ordinale Merkmale direkt verwendet werden. Wenn der Baum nicht eingeschränkt wird, wächst er weiter, bis die Blätter fast rein sind – genau hier schleichen sich Überanpassungen ein.
Um Überanpassungen zu kontrollieren, wird der Baum eingeschränkt – durch Begrenzung der Tiefe (max_depth), Anforderung einer Mindestanzahl von Fällen pro Blatt (min_samples_leaf) oder Zurückschneiden von Zweigen, die wenig hinzufügen. Das Ergebnis ist eine kompakte Menge lesbarer Regeln: Der Pfad von der Wurzel zu einem Blatt ist eine transparente Entscheidungsregel, weshalb Entscheidungsbäume auch für Anfänger gut geeignet sind.
Häufige Fallstricke
- Wachstum des Baumes bis zur vollen Tiefe ohne Begrenzung von max_depth oder min_samples_leaf.
- Vertrauen auf einen einzelnen tiefen Baum bei weniger als etwa 30 Beobachtungen.
- Lesen eines fragilen Baumes mit kleinen Stichproben als stabile Erklärung der Daten.
- Berichterstattung über In-Sample-Genauigkeit ohne Train/Test-Split oder Kreuzvalidierung.
Häufig gestellte Fragen
Wie wird ein Split gewählt?
Der CART-Algorithmus wertet Kandidaten-Splits über alle Merkmale und Schwellenwerte aus und wählt denjenigen aus, der die Knotenunreinheit am stärksten reduziert, üblicherweise gemessen am Gini-Index oder Informationsgewinn für die Klassifikation.
Warum überanpasst sich ein Entscheidungsbaum und wie kann ich ihn stoppen?
Wenn ein Baum frei wachsen darf, teilt er sich weiter auf, bis die Blätter fast rein sind, und merkt sich Rauschen. Beschränken Sie ihn, indem Sie die Tiefe (max_depth), die Mindestanzahl von Fällen pro Blatt (min_samples_leaf) begrenzen oder Zweige zurückschneiden, die wenig hinzufügen.
Wie viele Daten benötige ich?
Streben Sie mindestens etwa 30 Beobachtungen an. Darunter überanpasst sich der Baum leicht – Blätter können einen einzelnen Fall enthalten – und ein einfacheres Modell wie die logistische Regression oder Naive Bayes ist stabiler.
Wie verhält sich ein Entscheidungsbaum zu Random Forest?
Ein einzelner Entscheidungsbaum ist der Baustein von Ensembles: Random Forest wächst viele Bäume auf neu abgetasteten Daten und kombiniert deren Stimmen, und Gradient Boosting baut Bäume sequenziell auf – beides tauscht die Transparenz des einzelnen Baumes gegen höhere Genauigkeit und Stabilität ein.
Verwandte Methoden
Quellen
Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.
DOI-Referenz öffnenKopiert.