LightGBM
- Autor metody
- Ke, G. et al. (Microsoft)
- Rok
- 2017
- Typ
- Gradient boosting decision tree ensemble
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
LightGBM to implementacja drzew decyzyjnych z gradientowym wzmocnieniem firmy Microsoft, wprowadzona przez Ke i współpracowników w 2017 roku, która buduje drzewa liść po liściu i grupuje cechy w histogramy dla szybkości.
Na dużych zbiorach danych jest znacznie szybsza niż XGBoost, zachowując przy tym silną dokładność predykcyjną.
Intuicja stojąca za metodą
Wzmocnienie gradientowe buduje zespół drzew jedno po drugim, gdzie każde nowe drzewo koryguje błędy pozostawione przez poprzednie drzewa. LightGBM zachowuje tę podstawową ideę, ale czyni ją szybką: zamiast testować każdy możliwy punkt podziału dla cech ciągłych, grupuje wartości cech w ustaloną liczbę przedziałów histogramu, a zamiast budować każde drzewo poziom po poziomie, zawsze buduje liść, który obiecuje największą poprawę. Wynikiem jest model, który szybko się zbiega i skaluje do dużych danych tabelarycznych.
Historia
LightGBM został wprowadzony przez Guolina Ke i współpracowników z Microsoftu w artykule NeurIPS z 2017 roku „LightGBM: A Highly Efficient Gradient Boosting Decision Tree”. Jego dwa wyróżniające wybory — grupowanie cech oparte na histogramach i wzrost drzewa liść po liściu (najpierw najlepszy) — zostały zaprojektowane, aby uczynić wzmocnienie gradientowe znacznie szybszym i bardziej wydajnym pamięciowo na dużych zbiorach danych, i stał się jedną z najszerzej stosowanych bibliotek wzmocnienia dla danych tabelarycznych obok XGBoost.
Kiedy stosować
Silny wybór do prognozowania, klasyfikacji i prognozowania na dużych zbiorach danych tabelarycznych — przekrojowych, panelowych lub szeregów czasowych — z cechami ciągłymi, kategorycznymi, binarnymi lub porządkowymi i co najmniej około 200 obserwacjami. Jest najbardziej wartościowy, gdy szybkość trenowania i skala mają znaczenie, a można dostroić regularyzację. Poniżej około 200 obserwacji wzrost liść po liściu ma tendencję do silnego przeuczenia, a metoda poziomowa, taka jak XGBoost, lub bardziej stabilny las losowy jest bezpieczniejsza.
Ograniczenia i uwagi
- Wzrost liść po liściu prowadzi do przeuczenia na małych próbkach, chyba że jest starannie regularyzowany.
- Wymaga dostrojenia num_leaves i min_data_in_leaf w celu kontrolowania złożoności.
- Na zbiorach danych poniżej około 200 obserwacji metoda poziomowa (XGBoost) lub las losowy jest bardziej niezawodna.
- Podobnie jak inne wzmocnione drzewa, jest to czarna skrzynka bez bezpośrednio interpretowalnych współczynników.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Znacznie szybszy niż XGBoost na dużych zbiorach danych dzięki podziałom opartym na histogramach.
- Wzrost liść po liściu szybko się zbiega i często osiąga wysoką dokładność.
- Obsługuje cechy kategoryczne bezpośrednio, bez ręcznego kodowania one-hot.
- Działa do prognozowania, klasyfikacji i prognozowania w danych przekrojowych, panelowych i szeregach czasowych.
Zastosowania
- Prognozowanie i klasyfikacja na dużych zbiorach danych tabelarycznych.
- Zadania prognozowania na danych przekrojowych, panelowych i szeregach czasowych.
- Szybka, skalowalna alternatywa dla XGBoost, gdy czas trenowania ma znaczenie.
- Modelowanie danych z wieloma cechami kategorycznymi bez intensywnego przetwarzania wstępnego.
Jak to działa
Jak to działa
Drzewa są dodawane sekwencyjnie: każde nowe drzewo jest dopasowywane do błędów resztkowych obecnego zespołu i dodawane ze zmniejszeniem szybkości uczenia, dzięki czemu model stopniowo zmniejsza swoją stratę krok po kroku. Cechy kategoryczne można podawać do LightGBM bezpośrednio, bez ręcznego kodowania one-hot.
Wzór
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)Wartości cech ciągłych są grupowane w ustaloną liczbę dyskretnych przedziałów histogramu przed podziałem. Algorytm następnie wyszukuje najlepszy podział w tych przedziałach, a nie wśród wszystkich surowych wartości, co jest głównym powodem, dla którego LightGBM jest tak znacznie szybszy niż implementacje poziomowe, takie jak XGBoost, na dużych danych.
Zamiast rozszerzać wszystkie liście na tej samej głębokości (poziomowo), LightGBM rośnie liść po liściu: zawsze dzieli liść, który daje największą redukcję straty. Zbiega się to szybciej, ale może prowadzić do przeuczenia na małych próbkach, dlatego liczbę liści (num_leaves) i minimalną liczbę danych na liść (min_data_in_leaf) należy ustawić w celu regularyzacji drzew.
Częste pułapki
- Użycie LightGBM na małej próbce, gdzie wzrost liść po liściu silnie przeucza model.
- Pozostawienie wartości num_leaves i min_data_in_leaf zbyt liberalnych dla rozmiaru danych.
- Ręczne kodowanie zmiennych kategorycznych one-hot zamiast przekazywania ich bezpośrednio do LightGBM.
- Poleganie na dokładności w próbie bez oceny na zbiorze testowym lub oceny krzyżowej.
Najczęściej zadawane pytania
Czym LightGBM różni się od XGBoost?
Obie są bibliotekami drzew decyzyjnych z gradientowym wzmocnieniem. LightGBM wykorzystuje podziały oparte na histogramach i wzrost drzewa liść po liściu (najpierw najlepszy), co czyni go znacznie szybszym na dużych zbiorach danych. XGBoost rośnie poziomowo, co jest często bezpieczniejsze na mniejszych próbkach.
Dlaczego LightGBM przeucza na małych zbiorach danych?
Jego wzrost liść po liściu zawsze dzieli liść z największym zyskiem, co może prowadzić do zbyt wielu liści w stosunku do rozmiaru danych. Na małych próbkach (poniżej około 200 obserwacji) prowadzi to do poważnego przeuczenia, dlatego zaleca się metodę poziomową lub las losowy.
Czy muszę kodować zmienne kategoryczne one-hot?
Nie. LightGBM może przyjmować cechy kategoryczne bezpośrednio, więc ręczne kodowanie one-hot jest zazwyczaj niepotrzebne, a nawet może pogorszyć wydajność.
Które ustawienia kontrolują przeuczenie?
Liczba liści (num_leaves) i minimalna liczba danych na liść (min_data_in_leaf) to kluczowe kontrolki regularyzacji; ich zaostrzenie ogranicza złożoność drzewa w stosunku do rozmiaru zbioru danych.
Pokrewne metody
Źródła
Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.
Otwórz odnośnik do publikacjiSkopiowano.