Przejdź do treści
Wróć do wyników wyszukiwania

Przyrostowe uczenie zespołowe

Autor metody
Oza, N. C. & Russell, S.
Rok
2001
Typ
Online ensemble (incremental boosting)
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Przyrostowe uczenie zespołowe adaptuje klasyczną strukturę uczenia zespołowego do strumieni danych, aktualizując zespół słabych uczących się jeden przykład na raz, bez przechowywania całego zbioru danych.

Formuła Oza-Russell aproksymuje reważenie w AdaBoost przy użyciu liczników instancji próbkowanych z rozkładu Poissona, umożliwiając dokładną, adaptacyjną klasyfikację w czasie rzeczywistym lub w środowiskach o ograniczonych zasobach.

Intuicja stojąca za metodą

Przyrostowe uczenie zespołowe wsadowe reważy przykłady treningowe, aby wymusić na kolejnych uczących się poprawianie błędów popełnionych przez poprzednie, ale wymaga to jednoczesnego dostępu do wszystkich danych. Przyrostowe uczenie zespołowe online zastępuje jawne reważenie sztuczką próbkowania Poissona: każdy przybywający przykład jest przekazywany do łańcucha słabych uczących się, a liczba razy, gdy każdy uczący się go widzi (jego efektywna waga) jest losowana z rozkładu Poissona, którego tempo rośnie, gdy poprzedni uczący się poprawnie przetworzył przykład, i maleje, gdy popełnił błąd. Wynik ściśle naśladuje dynamikę korekcji AdaBoost bez ponownego przetwarzania przeszłych danych.

Historia

Przyrostowe uczenie zespołowe online zostało sformalizowane przez Nikunj Oza i Stuarta Russella w ich artykule z 2001 roku „Online Bagging and Boosting”, w którym pokazano, że sztuczka próbkowania Poissona stanowi statystycznie poprawne przybliżenie wsadowego AdaBoost w kontekście strumieniowym. Praca ta opierała się na AdaBoost Freund i Schapire (1997) oraz baggingu Breimana (1996). Późniejsze badania rozszerzyły podejście o obsługę dryfu koncepcji, problemów wieloklasowych i uczenia wrażliwego na koszty, umacniając przyrostowe uczenie zespołowe online jako standardowe narzędzie w literaturze dotyczącej eksploracji danych strumieniowych.

Kiedy stosować

Używaj przyrostowego uczenia zespołowego online, gdy dane napływają jako ciągły strumień, a model musi być aktualizowany przyrostowo bez powracania do przeszłych przykładów — na przykład w wykrywaniu oszustw w czasie rzeczywistym, monitorowaniu włamań do sieci, klasyfikacji opartej na czujnikach lub w każdym scenariuszu, gdzie przechowywanie całego zbioru danych jest niewykonalne. Przewyższa pojedynczych uczących się online i przyrostowe uczenie zespołowe online, gdy strumień ma dryf koncepcji, który korzysta z adaptacyjnego reważenia. Nie używaj go, gdy zbiór danych jest statyczny i mieści się w pamięci — przyrostowe uczenie zespołowe wsadowe (XGBoost, LightGBM) prawie zawsze zapewni wyższą dokładność. Unikaj go również, gdy strumień ma poważny i nagły dryf koncepcji, który może wymagać mechanizmów resetowania wykrywania dryfu, które nie są wbudowane w podstawowe przyrostowe uczenie zespołowe online.

Ograniczenia i uwagi

  • Wrażliwy na szum etykiet w strumieniu, ponieważ niepoprawne etykiety powodują wzrost tempa Poissona, wzmacniając błędy w kolejnych uczących się.
  • Nie odzyskuje automatycznie po nagłym dryfie koncepcji, chyba że jest połączony z jawnym mechanizmem wykrywania dryfu.
  • Mniejsza różnorodność uczących się niż w przyrostowym uczeniu zespołowym wsadowym, ponieważ przeszłe przykłady nie mogą być odtwarzane w celu korekty.
  • Rozmiar zespołu M jest ustalany przy inicjalizacji; dodawanie lub usuwanie uczących się w trakcie strumienia wymaga ostrożności, aby uniknąć niestabilności.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Przetwarza każdy przykład dokładnie raz, co czyni go odpowiednim dla strumieni danych o dużej prędkości lub ograniczonej pamięci.
  • Dziedziczy silną właściwość redukcji obciążenia uczenia zespołowego, często przewyższając przyrostowe uczenie zespołowe online w trudnych zadaniach klasyfikacji.
  • Adaptacyjne reważenie pozwala późniejszym przykładom korygować błędy wprowadzone przez wcześniejsze części strumienia.
  • Nie jest potrzebne dostrajanie hiperparametrów wag próbek; aproksymacja Poissona jest samoregulująca.
  • Kompatybilny z każdym uczącym się, który można aktualizować przyrostowo, co zapewnia elastyczność w wyborze modelu.

Zastosowania

  • Wykrywanie oszustw i anomalii w czasie rzeczywistym na strumieniach transakcji.
  • Wykrywanie włamań do sieci przy ciągłym napływie danych na poziomie pakietów.
  • Konserwacja predykcyjna na podstawie strumieni danych z czujników o wysokiej częstotliwości w produkcji.
  • Filtrowanie spamu e-mailowego, które przyrostowo dostosowuje się do ewoluujących taktyk spamerów.
  • Predykcja współczynnika klikalności na platformach reklamowych online.
  • Monitorowanie medyczne, gdzie dane pacjenta napływają sekwencyjnie, a aktualizacje modelu muszą być natychmiastowe.

Jak to działa

Jak to działa

1

Inicjalizowana jest uporządkowana sekwencja M słabych uczących się — zazwyczaj płytkich drzew decyzyjnych lub pni — z równymi tempami Poissona. Każdy uczący się jest powiązany z wagą alpha i bieżącym licznikiem poprawnych i błędnych ważonych predykcji, używanym do oszacowania jego wkładu.

2

Przybywa nowy oznakowany przykład ze strumienia. Dane historyczne nie są przechowywane; algorytm przetwarza go raz i przechodzi dalej. To ograniczenie jednokrotnego przejścia jest cechą definiującą, która odróżnia przyrostowe uczenie zespołowe online od jego odpowiednika wsadowego.

3

Dla pierwszego uczącego się, instancja jest powielana k razy, gdzie k jest losowane z rozkładu Poissona(1). Aproksymuje to próbkowanie ze zwracaniem, jak w przyrostowym uczeniu zespołowym wsadowym. Tempo Poissona lambda propaguje się przez łańcuch i działa jako efektywna waga instancji dla każdego kolejnego uczącego się.

Wzór
k \sim \text{Poisson}(\lambda),\; \lambda = 1 \text{ initially}
4

Każdy słaby uczący się aktualizuje swój wewnętrzny model, używając instancji powielonej k razy zgodnie z bieżącym tempem Poissona. Pnie decyzyjne, na przykład, aktualizują progi podziału przyrostowo. Uczący się następnie emituje binarne przewidywanie dla przykładu.

5

Jeśli bieżący słaby uczący się poprawnie sklasyfikował instancję, tempo Poissona przekazywane do następnego uczącego się jest zmniejszane (ponowne ważenie poprawnie przetworzonych przypadków nie jest konieczne). Jeśli popełnił błąd, tempo jest zwiększane, aby następny uczący się skupił się bardziej na tym trudnym przykładzie. Waga wkładu uczącego się alpha jest aktualizowana na podstawie jego skumulowanej dokładności.

Wzór
\lambda_{m+1} = \lambda_m \cdot \frac{e^{\pm \alpha_m}}{Z_m}
6

Do wnioskowania, ostateczna predykcja jest ważonym głosowaniem większościowym spośród wszystkich M słabych uczących się, z każdym głosem skalowanym przez wagę uczącego się alpha. Odzwierciedla to ważoną sumę ze znakiem AdaBoost, zapewniając skalibrowaną pewność wraz z etykietą klasy.

Wzór
\hat{y} = \operatorname{sign}\!\left(\sum_{m=1}^{M} \alpha_m h_m(x)\right)

Częste pułapki

  • Mylenie przyrostowego uczenia zespołowego online z przyrostowym uczeniem zespołowym wsadowym i oczekiwanie identycznej dokładności na statycznych zbiorach danych — używaj metod wsadowych, gdy jest to możliwe.
  • Ignorowanie szumu etykiet: szumiący strumień degraduje przyrostowe uczenie zespołowe online szybciej niż przyrostowe uczenie zespołowe online, ponieważ uczenie zespołowe wzmacnia trudne (potencjalnie błędnie oznakowane) przykłady.
  • Wybieranie zbyt małego M (liczby słabych uczących się) i akceptowanie słabej wydajności bez dostrajania.
  • Niewłaściwe monitorowanie dryfu koncepcji i dalsze poleganie na modelu, którego założenia dotyczące rozkładu uległy zmianie.
  • Raportowanie tylko chwilowej dokładności zamiast ewaluacji prekwencyjnej (testuj-następnie-trenuj), która może maskować degradację.

Najczęściej zadawane pytania

Czym przyrostowe uczenie zespołowe online różni się od wsadowego AdaBoost?

Wsadowy AdaBoost reważy przykłady treningowe, przeskalowując ich prawdopodobieństwa próbkowania w wielu przejściach. Przyrostowe uczenie zespołowe online aproksymuje to, przekazując każdy przybywający przykład przez łańcuch słabych uczących się i dostosowując tempo Poissona, które kontroluje, ile razy każdy uczący się widzi przykład, bez nigdy nie przechowywania ani ponownego przetwarzania danych historycznych.

Jakiego M (liczby słabych uczących się) powinienem użyć?

Wartość M między 10 a 50 jest typowa dla płytkich pni lub małych drzew. Więcej uczących się redukuje obciążenie, ale zwiększa opóźnienie wnioskowania. Dostrój M za pomocą ewaluacji prekwencyjnej na reprezentatywnym fragmencie danych przed wdrożeniem.

Czy przyrostowe uczenie zespołowe online jest odporne na dryf koncepcji?

Podstawowe przyrostowe uczenie zespołowe online nie wykrywa ani nie reaguje jawnie na dryf koncepcji. W przypadku strumieni z dryfem, połącz je z algorytmem wykrywania dryfu, takim jak ADWIN lub DDM, który wyzwala częściowe lub pełne zresetowanie zespołu po wykryciu dryfu.

Kiedy powinienem preferować przyrostowe uczenie zespołowe online nad przyrostowym uczeniem zespołowym online?

Gdy strumień zawiera znaczący szum etykiet, przyrostowe uczenie zespołowe online jest bardziej odporne, ponieważ nie wzmacnia wpływu trudnych (potencjalnie błędnie oznakowanych) przykładów w taki sposób, jak uczenie zespołowe. Przyrostowe uczenie zespołowe online jest preferowane, gdy strumień jest stosunkowo czysty i potrzebujesz maksymalnej dokładności.

Czy mogę ocenić model strumieniowy bez oddzielnego zbioru testowego?

Tak. Użyj ewaluacji prekwencyjnej (testuj-następnie-trenuj): przewiduj każdy przybywający przykład przed aktualizacją modelu i akumuluj te predykcje w bieżącej dokładności lub F1. Daje to nieobciążone oszacowanie wydajności bez potrzeby posiadania danych odłożonych na bok.

Pokrewne metody

Źródła

  1. Oza, N. C., & Russell, S. (2001). Online Bagging and Boosting. In Artificial Intelligence and Statistics 2001 (pp. 105–112). Morgan Kaufmann.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Online machine learning. Wikipedia.

    Otwórz odnośnik do publikacji
    Skopiowano.