Przejdź do treści
Wróć do wyników wyszukiwania

Stacking

Autor metody
Wolpert, D.H.
Rok
1992
Typ
Ensemble (heterogeneous meta-learning)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Stacking, czyli uogólnienie stosowe (stacked generalization), to metoda zespołowa wprowadzona przez Davida Wolperta w 1992 roku, która łączy wyniki kilku różnych modeli bazowych (poziom 0) za pomocą odrębnego meta-modelu (poziom 1).

W przeciwieństwie do baggingu i boostingu, celowo wykorzystuje heterogeniczne typy modeli i stanowi standardową strategię końcowego etapu w konkursach Kaggle.

Intuicja stojąca za metodą

Różne rodziny modeli popełniają różne błędy: zespół drzew, maszyna wektorów nośnych i model liniowy każdy ujmuje dane na swój sposób. Stacking traktuje ich predykcje jako nowe cechy i trenuje kolejny model, aby nauczyć się, jak najlepiej je połączyć, dzięki czemu meta-model może polegać na każdym modelu bazowym tam, gdzie jest on najsilniejszy, i go dyskontować tam, gdzie jest słaby — generując połączoną predykcję, która zazwyczaj przewyższa każdy pojedynczy model.

Historia

Uogólnienie stosowe (stacked generalization) zostało wprowadzone przez Davida Wolperta w 1992 roku jako sposób łączenia wielu uogólniaczy za pomocą modelu wyższego poziomu. Pomysł ten został później sformalizowany i uzyskał silne podstawy teoretyczne przez van der Laana, Polleya i Hubbarda w 2007 roku pod nazwą Super Learner, który wykorzystuje walidację krzyżową do łączenia biblioteki uczących bazowych. Stacking od tego czasu stał się standardową strategią ostatniego etapu w konkursach uczenia maszynowego, gdzie zespoły heterogenicznych modeli regularnie zajmują czołowe miejsca na tablicach wyników.

Kiedy stosować

Stosuj stacking, gdy priorytetem jest dokładność predykcyjna, a masz kilka rozsądnie silnych, zróżnicowanych modeli bazowych do połączenia, na danych przekrojowych ze zmiennymi ciągłymi, kategorycznymi lub binarnymi i co najmniej około 100 obserwacji. Nie wymaga danych o rozkładzie normalnym. Poniżej około 100 obserwacji k-krotna walidacja krzyżowa nie może wygenerować wystarczająco wiarygodnych predykcji poziomu 0, a meta-model nadmiernie dopasowuje się, więc pojedynczy, dostrojony model, taki jak las losowy lub XGBoost, jest bezpieczniejszy.

Ograniczenia i uwagi

  • Wymaga dość dużej próby (około 100+) , aby k-krotna walidacja krzyżowa mogła wygenerować wiarygodne predykcje poziomu 0.
  • Korzyści maleją, gdy modele bazowe są silnie skorelowane, a nie zróżnicowane.
  • Bardziej złożony i wymagający obliczeniowo niż pojedynczy model, oraz trudniejszy do interpretacji jako całość.
  • Na małych próbach nie można osiągnąć zróżnicowania modeli bazowych, a pojedynczy model jest zazwyczaj wystarczający.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Często osiąga najwyższą dokładność predykcyjną dzięki wykorzystaniu heterogenicznych modeli bazowych, które popełniają różne błędy.
  • Elastyczny: dowolna mieszanka rodzin modeli może służyć jako uczący bazowy, z prostym meta-modelem na górze.
  • Mało wymagający co do założeń — brak wymogu normalności i obsługuje zmienne ciągłe, kategoryczne i binarne.
  • Sprawdzona strategia końcowego etapu w konkurencyjnych ustawieniach predykcyjnych, takich jak Kaggle.

Zastosowania

  • Ensemblowanie końcowego etapu w konkursach modelowania predykcyjnego, takich jak Kaggle.
  • Łączenie heterogenicznych modeli dla wysokiej dokładności klasyfikacji i predykcji.
  • Zespoły Super Learner w bio-statystyce i epidemiologii.
  • Łączenie silnych, ale zróżnicowanych modeli, gdy liczy się uzyskanie dodatkowej dokładności.

Jak to działa

Jak to działa

1

Na danych trenuje się zróżnicowany zbiór uczących bazowych (poziom 0) — na przykład las losowy, model gradient boosting i SVM. Im bardziej zróżnicowane i wzajemnie niezależne są te modele, tym większe korzyści może przynieść stosowanie, a gdy modele bazowe są silnie skorelowane ze sobą, korzyść ze stosowania maleje.

2

Predykcje poziomu 0 są generowane za pomocą k-krotnej walidacji krzyżowej, a nie na tych samych danych, na których dopasowano modele bazowe. Ten schemat poza próbą (out-of-fold) jest niezbędny do zapobiegania wyciekowi danych: cechy meta dla każdej obserwacji pochodzą z modeli, które nie widziały jej podczas trenowania.

3

Meta-model (poziom 1) jest trenowany na wywalidowanych krzyżowo wynikach modeli bazowych w celu wygenerowania ostatecznej predykcji. Meta-uczący zazwyczaj pozostaje prosty — regresja logistyczna, regresja grzbietowa lub mały XGBoost — tak aby nauczył się sensownych wag do łączenia modeli bazowych bez nadmiernego dopasowania samego siebie.

Wzór
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

Częste pułapki

  • Generowanie predykcji poziomu 0 na tych samych danych, na których trenowano modele bazowe, powodujące wyciek danych do meta-modelu.
  • Stosowanie wielu silnie skorelowanych modeli bazowych i oczekiwanie dużego zysku.
  • Używanie nadmiernie złożonego meta-modelu, który nadmiernie dopasowuje wyniki modeli bazowych, zamiast prostego regresora.
  • Stosowanie stackingu do małego zbioru danych, gdzie zróżnicowanie modeli bazowych i wiarygodna walidacja krzyżowa są niemożliwe.

Najczęściej zadawane pytania

Czym stacking różni się od baggingu i boostingu?

Bagging i boosting budują wiele modeli tego samego typu, podczas gdy stacking celowo łączy heterogeniczne rodziny modeli i uczy się je łączyć za pomocą odrębnego meta-modelu. To zróżnicowanie jest źródłem przewagi stackingu.

Dlaczego używać walidacji krzyżowej do budowania cech meta?

Jeśli meta-model jest trenowany na predykcjach, które modele bazowe wykonały na własnych danych treningowych, następuje wyciek informacji i stos nadmiernie dopasowuje się. Generowanie predykcji poziomu 0 poza próbą (out-of-fold) za pomocą k-krotnej walidacji krzyżowej dostarcza meta-modelowi uczciwych danych wejściowych.

Jaki powinien być meta-model?

Niech będzie prosty — regresja logistyczna, regresja grzbietowa lub mały XGBoost. Prosty meta-uczący uczy się sensownych wag łączenia bez nadmiernego dopasowywania wyników modeli bazowych.

Kiedy nie powinienem używać stackingu?

Gdy masz mniej niż około 100 obserwacji, walidacja krzyżowa nie może wygenerować wystarczająco wiarygodnych predykcji poziomu 0, a zróżnicowanie modeli bazowych jest trudne do osiągnięcia, więc bezpieczniejszym wyborem jest pojedynczy, dostrojony las losowy lub XGBoost.

Pokrewne metody

Źródła

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    Otwórz odnośnik DOI
    Skopiowano.
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    Otwórz odnośnik DOI
    Skopiowano.