Przejdź do treści
Wróć do wyników wyszukiwania

AdaBoost

Autor metody
Freund, Y. & Schapire, R.E.
Rok
1997
Typ
Ensemble (sequential boosting of weak learners)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

AdaBoost (Adaptive Boosting) to oryginalny algorytm boostingowy, wprowadzony przez Yoava Freunda i Roberta Schapire’a w 1997 roku, który łączy sekwencję prostych słabych uczących się modeli poprzez nadawanie większej wagi obserwacjom, które błędnie klasyfikują.

Jest on prekursorem gradient boosting, prostym, interpretowalnym i silnym punktem odniesienia dla klasyfikacji.

Intuicja stojąca za metodą

Pojedyncze płytkie drzewo jest słabym uczącym się modelem: tylko nieznacznie lepszym od zgadywania. AdaBoost przekształca wiele takich słabych modeli w jeden silny predyktor, trenując je jeden po drugim. Po wytrenowaniu każdego modelu, obserwacje, które błędnie sklasyfikował, otrzymują większą wagę, dzięki czemu następny model skupia się na trudnych przypadkach, które inne modele nadal błędnie klasyfikują. Ostateczna predykcja to ważona głosowanie, w którym dokładniejsze modele mają większą wagę.

Historia

AdaBoost został wprowadzony przez Yoava Freunda i Roberta Schapire’a w 1997 roku jako uogólnienie teorii decyzji na uczenie online zastosowane do boosting. Był to pierwszy praktyczny algorytm boostingowy i pokazał, że wiele słabych modeli można połączyć w jeden silny, co stało się podstawą dla całej rodziny algorytmów boostingowych. Jest on bezpośrednim prekursorem gradient boosting i nowoczesnych narzędzi, takich jak XGBoost.

Kiedy stosować

Dobry wybór do klasyfikacji i predykcji na danych tabelarycznych przekrojowych z cechami ciągłymi, kategorycznymi lub binarnymi i co najmniej około 50 obserwacjami, gdy potrzebny jest prosty, interpretowalny model boostingowy jako punkt odniesienia. AdaBoost nie zakłada normalności rozkładu, ale jest wrażliwy na zaszumione dane i wartości odstające, dlatego należy najpierw je przesiewać. Liczbę estymatorów należy kontrolować, aby zarządzać niewielkim, ale niezerowym ryzykiem przeuczenia. Na małych próbkach bezpieczniejsze są prostsza regresja logistyczna lub bardziej odporny las losowy (Random Forest).

Ograniczenia i uwagi

  • Wrażliwy na zaszumione dane i wartości odstające z powodu funkcji straty wykładniczej; wymagane jest przesiewanie wartości odstających.
  • Ryzyko przeuczenia jest niskie, ale niezerowe i musi być kontrolowane poprzez liczbę estymatorów.
  • Na małych próbkach (n poniżej około 50) zaszumione obserwacje są nadmiernie ważone, a każda iteracja może pogorszyć wyniki.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Prosty i interpretowalny, z niewielką liczbą parametrów do ustawienia.
  • Przekształca słabe modele o głębokości 1 w silny klasyfikator, solidny punkt odniesienia gotowy do użycia.
  • Brak założeń o normalności rozkładu; obsługuje cechy ciągłe, kategoryczne i binarne.
  • Prekursor gradient boosting, z jasnym mechanizmem adaptacyjnego ważenia.

Zastosowania

  • Punkty odniesienia dla klasyfikacji na danych tabelarycznych przekrojowych.
  • Zadania predykcyjne, gdzie preferowany jest prosty, interpretowalny model boostingowy.
  • Nauczanie i demonstrowanie idei boosting przed przejściem do gradient boosting.
  • Łączenie wielu płytkich pni decyzyjnych w pojedynczy silny klasyfikator.

Jak to działa

Jak to działa

1

Każda obserwacja treningowa zaczyna z równą wagą. Te wagi informują każdy kolejny słaby model, jak bardzo powinien starać się poprawnie sklasyfikować daną obserwację.

2

Słaby uczący się model — zazwyczaj pień decyzyjny (decision stump), czyli drzewo o głębokości 1 — jest dopasowywany do ważonych danych. Ponieważ jest tak prosty, sam w sobie działa tylko nieznacznie lepiej niż przypadek.

3

Ogólna dokładność modelu określa jego wagę w ostatecznym głosowaniu, a wagi obserwacji, które błędnie sklasyfikował, są zwiększane, aby następny model mógł się na nich skoncentrować. Funkcja straty wykładniczej napędza tę aktualizację: karze ona błędną klasyfikację w tempie gwałtownie rosnącym, co również sprawia, że AdaBoost jest wrażliwy na punkty zaszumione i wartości odstające.

Wzór
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])
4

Po wielu rundach słabe modele są łączone w jedną predykcję poprzez ważone głosowanie większościowe, gdzie każdy model jest ważony swoją dokładnością. Ta suma wielu prostych, skoncentrowanych modeli tworzy jeden silny klasyfikator.

Wzór
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)

Częste pułapki

  • Uruchamianie AdaBoost na danych pełnych wartości odstających bez ich wcześniejszego przesiewania.
  • Pozwalanie na niekontrolowany wzrost liczby estymatorów zamiast jego dostrajania.
  • Używanie go na próbce poniżej około 50 obserwacji, gdzie zaszumione punkty dominują w ważeniu.
  • Sięganie po AdaBoost, gdy bardziej odporny zespół modeli, taki jak las losowy, lepiej pasuje do zaszumionych danych.

Najczęściej zadawane pytania

Czym AdaBoost różni się od lasu losowego (Random Forest)?

Las losowy buduje wiele niezależnych drzew równolegle i uśrednia je (bagging); AdaBoost buduje słabe modele sekwencyjnie, z których każdy skupia się na przypadkach, które poprzednie modele błędnie sklasyfikowały (boosting). Ze względu na swoją funkcję straty wykładniczej, AdaBoost jest bardziej wrażliwy na szum i wartości odstające, podczas gdy las losowy jest bardziej odporny.

Dlaczego AdaBoost jest wrażliwy na wartości odstające?

Wykorzystuje funkcję straty wykładniczej, która karze błędną klasyfikację w tempie gwałtownie rosnącym. Ciągle błędnie klasyfikowane punkty — często wartości odstające lub zaszumione obserwacje — stale zyskują na wadze, mogą więc dominować w późniejszych iteracjach i pogarszać jakość modelu.

Ile estymatorów powinienem użyć?

Liczba estymatorów (słabych modeli) kontroluje niewielkie, ale realne ryzyko przeuczenia AdaBoost. Zwiększaj ją, dopóki wyniki walidacji się poprawiają, i zatrzymaj się, gdy tylko osiągną plateau lub zaczną się pogarszać.

Czym jest słaby uczący się model w tym kontekście?

Zazwyczaj jest to pień decyzyjny (decision stump) — drzewo decyzyjne o głębokości 1. Sam w sobie jest tylko nieznacznie lepszy od przypadku, ale AdaBoost łączy wiele z nich, każdy ważony swoją dokładnością, w pojedynczy silny klasyfikator.

Pokrewne metody

Źródła

  1. Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    Otwórz odnośnik DOI
    Skopiowano.