XGBoost
- Autor metody
- Chen, T. & Guestrin, C.
- Rok
- 2016
- Typ
- Ensemble (gradient-boosted decision trees)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
XGBoost (Extreme Gradient Boosting) to skalowalny algorytm typu drzewo-wzmocnienie (tree-boosting) wprowadzony przez Tianqi Chena i Carlosa Guestrina w 2016 roku.
Buduje on silny predyktor poprzez dodawanie drzew decyzyjnych jedno po drugim, gdzie każde kolejne drzewo koryguje błędy pozostawione przez poprzednie. Jest to potężna metoda predykcyjna szeroko stosowana w konkursach.
Intuicja stojąca za metodą
Zamiast budować wiele niezależnych drzew i uśredniać ich wyniki, XGBoost buduje drzewa sekwencyjnie: każde nowe drzewo skupia się na przypadkach, które obecny model nadal błędnie klasyfikuje. Krok po kroku, zespół modeli redukuje pozostały błąd, podczas gdy kara za regularyzację utrzymuje prostotę poszczególnych drzew, dzięki czemu połączony model generalizuje, zamiast zapamiętywać dane treningowe.
Historia
XGBoost został wprowadzony przez Tianqi Chena i Carlosa Guestrina w ich artykule z 2016 roku „XGBoost: A Scalable Tree Boosting System” opublikowanym w ACM SIGKDD. Łącząc wzmacnianie gradientowe drzew decyzyjnych z regularyzacją z skalowalną, wydajną implementacją, stał się jednym z najszerzej stosowanych algorytmów predykcyjnych, szczególnie popularnym w konkursach data-science.
Kiedy stosować
Użyj XGBoost do dokładnej klasyfikacji lub predykcji na danych tabelarycznych ze cechami ciągłymi, kategorycznymi, binarnymi lub licznikowymi i co najmniej około 100 obserwacjami, gdy priorytetem jest wydajność predykcyjna. Nie wymaga danych o rozkładzie normalnym; wystarczająca ilość danych i przemyślana inżynieria cech są głównymi praktycznymi założeniami. Przy mniej niż ~100 przypadkach, wzmacnianie gradientowe ma tendencję do przeuczania, a prostszy model (taki jak regresja logistyczna lub pojedyncze drzewo decyzyjne) jest bardziej niezawodny.
Ograniczenia i uwagi
- Potrzebuje wystarczającej ilości danych — około 100+ obserwacji — w przeciwnym razie przeucza się, a wyniki walidacji krzyżowej stają się niewiarygodne.
- Na małych próbkach brakuje danych do dostrojenia wielu hiperparametrów, więc prostszy model lepiej generalizuje.
- Wiele hiperparametrów i czarna skrzynka zespołu utrudniają konfigurację i interpretację w porównaniu do pojedynczego modelu.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Silna dokładność predykcyjna na danych tabelarycznych, dlatego jest tak powszechny w konkursach.
- Wbudowana regularyzacja karze złożoność drzewa i pomaga kontrolować przeuczenie.
- Toleruje brakujące wartości i obsługuje mieszane typy cech (ciągłe, kategoryczne, binarne, licznikowe).
- Dobrze skaluje się i bezpośrednio korzysta z inżynierii cech.
Zastosowania
- Klasyfikacja i predykcja na danych tabelarycznych z wieloma cechami.
- Modelowanie predykcyjne klasy konkursowej, gdzie dokładność jest najważniejsza.
- Zadania oceny ryzyka i predykcji na cechach ciągłych, kategorycznych, binarnych i licznikowych.
- Problemy modelowania, w których powszechne są brakujące wartości i cechy inżynieryjne.
Jak to działa
Jak to działa
XGBoost jest metodą wzmacniania gradientowego (gradient-boosting): łączy wiele płytkich drzew decyzyjnych w jeden zespół. Drzewa są dodawane jedno po drugim, a każde nowe drzewo jest dopasowywane tak, aby zredukować błąd predykcji, który pozostał po drzewach już obecnych w modelu.
Model minimalizuje funkcję celu, która sumuje składnik straty mierzący dopasowanie do danych oraz składnik regularyzacji karzący złożoność drzewa. Ta jawna kara za złożoność pomaga XGBoost kontrolować przeuczenie, jednocześnie dopasowując elastyczne, nieliniowe zależności.
Wzór
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)W każdej rundzie wzmacniania bieżąca predykcja jest aktualizowana poprzez dodanie wyniku nowo dopasowanego drzewa. Każde drzewo jest wybierane tak, aby przesunąć predykcje w kierunku, który najbardziej redukuje funkcję celu, dzięki czemu dokładność zespołu poprawia się z rundy na rundę.
Wzór
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)Po wszystkich rundach ostateczna predykcja jest sumą wkładów każdego drzewa, używaną do klasyfikacji lub predykcji zmiennej docelowej. Ponieważ model toleruje brakujące wartości i korzysta z inżynierii cech, działa silnie na danych tabelarycznych, gdy dostępnych jest wystarczająco dużo obserwacji.
Częste pułapki
- Stosowanie go do małych próbek (n < 100), gdzie wzmacnianie gradientowe przeucza się, a szacunki walidacji krzyżowej nie są wiarygodne.
- Pomijanie strojenia hiperparametrów za pomocą walidacji krzyżowej (np. przeszukiwania siatki) i akceptowanie wartości domyślnych.
- Pozostawianie nierozstrzygniętych kwestii obsługi brakujących wartości i kodowania kategorycznego, mimo że XGBoost toleruje luki.
- Niewłaściwe ustawienie podziału na zbiór treningowy i testowy lub walidacji krzyżowej k-krotnej przed zgłoszeniem wyników.
Najczęściej zadawane pytania
Ile danych potrzebuje XGBoost?
Około 100 obserwacji to rozsądne minimum. Przy mniej niż 100 przypadkach wzmacnianie gradientowe ma tendencję do przeuczania, a wyniki walidacji krzyżowej stają się niewiarygodne, dlatego prostszy model, taki jak regresja logistyczna lub pojedyncze drzewo decyzyjne, jest bardziej niezawodny.
Czy XGBoost wymaga danych o rozkładzie normalnym?
Nie. Nie zakłada normalności i działa z cechami ciągłymi, kategorycznymi, binarnymi i licznikowymi. Główne praktyczne wymagania to posiadanie wystarczającej ilości danych i przeprowadzenie przemyślanej inżynierii cech.
Czym XGBoost różni się od Random Forest?
Random Forest buduje drzewa niezależnie i uśrednia je, aby zredukować wariancję. XGBoost buduje drzewa sekwencyjnie, gdzie każde kolejne koryguje błędy poprzednich, i dodaje karę za regularyzację złożoności drzewa, co może prowadzić do wyższej dokładności przy starannym strojeniu.
Jak interpretować model XGBoost?
Ponieważ model jest zespołem wielu drzew, wkłady są zazwyczaj analizowane za pomocą analizy atrybucji cech, takiej jak SHAP, wraz z metrykami zbioru testowego, takimi jak RMSE lub AUC, oraz strojeniem hiperparametrów za pomocą walidacji krzyżowej.
Pokrewne metody
Źródła
Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.
Otwórz odnośnik DOISkopiowano.