Przejdź do treści
Wróć do wyników wyszukiwania

Bagging Ensemble

Autor metody
Leo Breiman
Rok
1996
Typ
parallel ensemble
Rodzina
Ensemble

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Bagging, skrót od bootstrap aggregating, to metoda zespołowa (ang. ensemble method), która redukuje wariancję poprzez trenowanie wielu kopii pojedynczego algorytmu uczącego na różnych losowych podzbiorach danych treningowych.

Każdy podzbiór jest tworzony za pomocą próbkowania bootstrapowego — losowego pobierania próbek ze zwracaniem. Predykcje są łączone poprzez głosowanie większościowe (klasyfikacja) lub uśrednianie (regresja). Wprowadzony przez Leo Breimana w 1996 roku, bagging stanowi podstawę dla lasów losowych i jest szczególnie skuteczny w redukowaniu przeuczenia w modelach o wysokiej wariancji.

Intuicja stojąca za metodą

Kluczowa idea polega na tym, że trenując ten sam model na różnych losowych podzbiorach danych i uśredniając ich predykcje, redukuje się wariancję bez zwiększania obciążenia. Jeśli model przeucza się na konkretnych próbkach treningowych, różne próbki bootstrapowe ujawniają różne podzbiory tego przeuczenia, a uśrednianie niweluje fałszywe wzorce. Bagging działa poprzez wykorzystanie losowości: każda próbka bootstrapowa jest nieco inna, więc każdy wytrenowany model jest nieco inny, a ich agregat jest bardziej stabilny niż jakikolwiek pojedynczy model.

Historia

Bagging został wprowadzony przez Leo Breimana w 1996 roku, bazując na metodzie bootstrapowej ze statystyki (Efron, 1979). Breiman wykazał, że bagging redukuje błąd predykcji niestabilnych uczących się poprzez redukcję wariancji. Metoda stała się fundamentalna wraz z wprowadzeniem lasów losowych (Breiman, 2001), które łączą bagging z losowym wyborem cech. Bagging pozostaje standardową techniką w uczeniu maszynowym, zwłaszcza w metodach zespołowych.

Kiedy stosować

Stosuj bagging, gdy pracujesz z modelami o wysokiej wariancji (np. drzewa decyzyjne, sieci neuronowe), które mają tendencję do przeuczenia. Jest on najbardziej skuteczny, gdy uczący się bazowi są niestabilni — wrażliwi na małe zmiany w danych treningowych. Bagging jest mniej skuteczny dla modeli o niskim obciążeniu i niskiej wariancji (np. k-NN z małym k, regresja liniowa na stabilnych danych). Nadaje się również do obliczeń równoległych, ponieważ każdy uczący się bazowy może być trenowany niezależnie.

Ograniczenia i uwagi

  • Nie zapewnia redukcji obciążenia; skuteczny tylko dla uczących się bazowych o wysokiej wariancji.
  • Koszt obliczeniowy skaluje się liniowo z liczbą uczących się bazowych.
  • Próbki bootstrapowe mają mniejszą różnorodność w porównaniu do celowych strategii próbkowania.
  • Może nie poprawić wydajności, gdy modele bazowe mają wysokie obciążenie (np. modele liniowe na złożonych danych).

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Redukuje wariancję bez zwiększania obciążenia, poprawiając generalizację.
  • Działa z dowolnym typem uczącego się bazowego; może używać niestabilnych modeli, takich jak drzewa.
  • Łatwo paralelizowalny — każda próbka bootstrapowa może być przetwarzana niezależnie.
  • Dostarcza estymacji wariancji poprzez obliczanie błędu out-of-bag.
  • Prosty w implementacji z minimalnym dostrajaniem hiperparametrów.

Zastosowania

  • Diagnostyka medyczna: bagging drzew decyzyjnych do klasyfikacji chorób w celu poprawy odporności na zaszumione dane pacjentów.
  • Modelowanie ryzyka finansowego: zespół drzew decyzyjnych do przewidywania niewypłacalności kredytowej w różnych warunkach rynkowych.
  • Teledetekcja: bagging klasyfikatorów obrazów do klasyfikacji zdjęć satelitarnych z redukcją przeuczenia.
  • Genomika: metody zespołowe do selekcji genów i przewidywania chorób na podstawie wysokowymiarowych danych mikromacierzowych.
  • Kontrola jakości produkcji: bagging sieci neuronowych do wykrywania defektów w procesach produkcyjnych.

Jak to działa

Jak to działa

1

Utwórz B próbek bootstrapowych, losowo próbując z danych treningowych ze zwracaniem, każda o rozmiarze równym oryginalnemu zbiorowi danych.

2

Wytrenuj niezależny uczący się bazowy (np. drzewo decyzyjne, sieć neuronową) na każdej próbce bootstrapowej.

3

Dla nowego wejścia, przepuść je przez wszystkie B wytrenowanych uczących się bazowych i zbierz ich predykcje.

4

Połącz predykcje poprzez głosowanie większościowe (klasyfikacja) lub uśrednianie (regresja).

Częste pułapki

  • Użycie zbyt małej liczby uczących się bazowych (B < 20) zmniejsza korzyści z redukcji wariancji; malejące korzyści zazwyczaj występują w okolicach B = 100-500.
  • Trenowanie uczących się bazowych na nakładających się podzbiorach (np. kolejnych podziałach danych) zamiast na losowych próbkach bootstrapowych.
  • Zakładanie, że bagging eliminuje przeuczenie; redukuje on wariancję, ale modele obciążone pozostają obciążone.
  • Niewykorzystywanie predykcji out-of-bag do walidacji, co pomija efektywną alternatywę dla walidacji krzyżowej.

Najczęściej zadawane pytania

Ile próbek bootstrapowych (B) powinienem użyć?

Zacznij od B = 50-100 i monitoruj wydajność; zazwyczaj korzyści stabilizują się w okolicach B = 100-500. Zwiększ B, jeśli redukcja wariancji zatrzymuje się. W przypadku krytycznych zastosowań, B > 1000 może być uzasadnione pomimo kosztów obliczeniowych.

Czym jest błąd out-of-bag i jak go używać?

Każda próbka bootstrapowa wyklucza około 1/3 oryginalnych danych (średnio około 36,8%). Te próbki out-of-bag mogą być użyte do walidacji konkretnego modelu bez potrzeby oddzielnego zbioru walidacyjnego. Uśrednione błędy out-of-bag dla wszystkich modeli szacują błąd generalizacji.

Czy bagging jest lepszy niż walidacja krzyżowa?

Służą one różnym celom. Walidacja krzyżowa szacuje wydajność modelu; bagging ją poprawia. Użyj baggingu do trenowania zespołu i estymacji out-of-bag do walidacji, unikając narzutu walidacji krzyżowej k-krotnej.

Czy bagging może poprawić modele o niskiej wariancji, takie jak k-NN?

Nieskutecznie. Bagging jest przeznaczony dla modeli o wysokiej wariancji. Modele o niskiej wariancji (stabilne, proste) niewiele zyskują na redukcji wariancji. Rozważ inne metody zespołowe lub skup się na redukcji obciążenia.

Pokrewne metody

Źródła

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.

    Otwórz odnośnik DOI
    Skopiowano.