LightGBM
- Eingeführt von
- Ke, G. et al. (Microsoft)
- Jahr
- 2017
- Typ
- Gradient boosting decision tree ensemble
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
LightGBM ist Microsofts Implementierung von Gradient Boosting Decision Trees, die 2017 von Ke und Kollegen eingeführt wurde.
Sie wächst Bäume blattweise und bündelt Merkmale in Histogrammen zur Beschleunigung. Auf großen Datensätzen ist sie deutlich schneller als XGBoost, während sie eine starke prädiktive Genauigkeit beibehält.
Die Intuition hinter der Methode
Gradient Boosting baut ein Ensemble Baum für Baum auf, wobei jeder neue Baum die Fehler der vorherigen Bäume korrigiert. LightGBM behält diese Kernidee bei, macht sie aber schnell: Anstatt jeden möglichen Splitpunkt bei kontinuierlichen Merkmalen zu testen, gruppiert es Merkmalswerte in eine feste Anzahl von Histogramm-Bins und wächst jeden Baum nicht Ebene für Ebene, sondern immer das Blatt, das die größte Verbesserung verspricht. Das Ergebnis ist ein Modell, das schnell konvergiert und auf große tabellarische Daten skaliert.
Geschichte
LightGBM wurde von Guolin Ke und Kollegen bei Microsoft in einem NeurIPS-Paper von 2017, 'LightGBM: A Highly Efficient Gradient Boosting Decision Tree', vorgestellt. Seine beiden unterscheidenden Merkmale – histogrammbasierte Merkmalsbündelung und blattweises (best-first) Baumwachstum – wurden entwickelt, um Gradient Boosting auf großen Datensätzen dramatisch schneller und speichereffizienter zu machen, und es wurde neben XGBoost zu einer der am weitesten verbreiteten Boosting-Bibliotheken für tabellarische Daten.
Wann wird sie eingesetzt?
Eine gute Wahl für Vorhersage, Klassifikation und Prognose auf großen tabellarischen Datensätzen – Querschnitts-, Panel- oder Zeitreihendaten – mit kontinuierlichen, kategorialen, binären oder ordinalen Merkmalen und mindestens etwa 200 Beobachtungen. Am wertvollsten ist es, wenn Trainingsgeschwindigkeit und Skalierbarkeit wichtig sind und Sie die Regularisierung abstimmen können. Unter etwa 200 Beobachtungen neigt das blattweise Wachstum zu starker Überanpassung, und eine ebenenweise Methode wie XGBoost oder ein stabilerer Random Forest ist sicherer.
Grenzen und Hinweise
- Blattweises Wachstum überanpasst bei kleinen Stichproben, es sei denn, es wird sorgfältig regularisiert.
- Erfordert die Abstimmung von num_leaves und min_data_in_leaf zur Steuerung der Komplexität.
- Auf Datensätzen unter etwa 200 Beobachtungen ist eine ebenenweise Methode (XGBoost) oder ein Random Forest zuverlässiger.
- Wie andere geboostete Bäume ist es eine Black Box ohne direkt interpretierbare Koeffizienten.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Viel schneller als XGBoost auf großen Datensätzen dank histogrammbasierter Splits.
- Blattweises Wachstum konvergiert schnell und erreicht oft hohe Genauigkeit.
- Verarbeitet kategoriale Merkmale direkt, ohne manuelles One-Hot-Encoding.
- Funktioniert für Vorhersage, Klassifikation und Prognose über Querschnitts-, Panel- und Zeitreihendaten.
Anwendungen
- Vorhersage und Klassifikation auf großen tabellarischen Datensätzen.
- Prognoseaufgaben auf Querschnitts-, Panel- und Zeitreihendaten.
- Schnelle, skalierbare Alternative zu XGBoost, wenn die Trainingszeit wichtig ist.
- Modellierung von Daten mit vielen kategorialen Merkmalen ohne aufwendige Vorverarbeitung.
So funktioniert es
So funktioniert es
Bäume werden sequenziell hinzugefügt: Jeder neue Baum wird an den Residuenfehlern des aktuellen Ensembles angepasst und mit einer Lernraten-Schrumpfung hinzugefügt, sodass das Modell seinen Verlust schrittweise reduziert. Kategoriale Merkmale können direkt an LightGBM übergeben werden, ohne manuelles One-Hot-Encoding.
Formel
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)Werte kontinuierlicher Merkmale werden vor dem Splitten in eine feste Anzahl diskreter Histogramm-Bins eingeteilt. Der Algorithmus sucht dann nach dem besten Split über diese Bins anstatt über jeden Rohwert, was der Hauptgrund ist, warum LightGBM auf großen Daten so viel schneller ist als ebenenweise Implementierungen wie XGBoost.
Anstatt alle Blätter auf derselben Tiefe (ebenenweise) zu erweitern, wächst LightGBM blattweise: Es teilt immer das Blatt, das die größte Verlustreduktion erzielt. Dies konvergiert schneller, kann aber bei kleinen Stichproben zu Überanpassung führen, sodass die Anzahl der Blätter (num_leaves) und die minimale Datenmenge pro Blatt (min_data_in_leaf) zur Regularisierung der Bäume eingestellt werden müssen.
Häufige Fallstricke
- Verwendung von LightGBM auf einer kleinen Stichprobe, bei der das blattweise Wachstum stark überanpasst.
- Belassen von num_leaves und min_data_in_leaf auf Werten, die für die Datengröße zu permissiv sind.
- Manuelles One-Hot-Encoding kategorialer Variablen anstatt deren direkte Übergabe an LightGBM.
- Vertrauen auf In-Sample-Genauigkeit ohne eine zurückgehaltene oder kreuzvalidierte Auswertung.
Häufig gestellte Fragen
Wie unterscheidet sich LightGBM von XGBoost?
Beide sind Gradient Boosting Decision Tree Bibliotheken. LightGBM verwendet histogrammbasierte Splits und blattweises (best-first) Baumwachstum, was es auf großen Datensätzen deutlich schneller macht. XGBoost wächst ebenenweise, was bei kleineren Stichproben oft sicherer ist.
Warum überanpasst LightGBM bei kleinen Datensätzen?
Sein blattweises Wachstum teilt immer das Blatt mit dem größten Gewinn, was die Daten relativ zu ihrer Größe in zu viele Blätter zerlegen kann. Bei kleinen Stichproben (unter etwa 200 Beobachtungen) führt dies zu ernsthafter Überanpassung, daher wird eine ebenenweise Methode oder ein Random Forest empfohlen.
Muss ich kategoriale Variablen One-Hot-kodieren?
Nein. LightGBM kann kategoriale Merkmale direkt verarbeiten, daher ist manuelles One-Hot-Encoding normalerweise unnötig und kann die Leistung sogar beeinträchtigen.
Welche Einstellungen steuern die Überanpassung?
Die Anzahl der Blätter (num_leaves) und die minimale Datenmenge pro Blatt (min_data_in_leaf) sind die wichtigsten Regularisierungskontrollen; deren Verschärfung begrenzt die Baumkomplexität relativ zur Datensatzgröße.
Verwandte Methoden
Quellen
Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.
Publikationsreferenz öffnenKopiert.