Ensemble głosujący
- Autor metody
- Lam & Suen; Kuncheva, L. I. (systematic treatment)
- Rok
- 1990s–2004
- Typ
- Ensemble (combination of multiple classifiers by vote)
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Ensemble głosujący trenuje niezależnie kilka zróżnicowanych klasyfikatorów i łączy ich predykcje za pomocą głosowania: głosowanie twarde wybiera klasę wskazaną przez większość modeli, podczas gdy głosowanie miękkie uśrednia ich estymaty prawdopodobieństwa klas, opcjonalnie z wagami dla poszczególnych modeli.
Połączenie zazwyczaj przewyższa jakością każdego indywidualnego członka i nie wymaga dodatkowego trenowania po dopasowaniu modeli bazowych.
Intuicja stojąca za metodą
Wyobraźmy sobie, że pytamy pięciu lekarzy o diagnozę i kierujemy się opinią większości. Każdy lekarz może popełnić inny błąd, ale połączenie ich werdyktów niweluje specyficzne dla nich pomyłki. Ensemble głosujący działa w ten sam sposób: zróżnicowane modele zawodzą na różnych przykładach, więc ich połączony głos jest bardziej niezawodny niż głos pojedynczego modelu. Głosowanie miękkie wyostrza ten efekt, pozwalając bardziej pewnym siebie modelom proporcjonalnie bardziej przyczyniać się do ostatecznej decyzji poprzez ich oceny prawdopodobieństwa.
Historia
Łączenie klasyfikatorów przez głosowanie większościowe było systematycznie badane od wczesnych lat 90. XX wieku, z notable podstawami teoretycznymi autorstwa Lam i Suen (1994) oraz Kittler et al. (1998). Monografia Ludmiły Kunchevy z 2004 roku stanowiła definitywne opracowanie łączenia klasyfikatorów wzorców, obejmujące głosowanie twarde i miękkie, głosowanie ważone oraz rolę różnorodności. Głosowanie miękkie zyskało praktyczną popularność dzięki VotingClassifier w scikit-learn, który umożliwił łatwe łączenie dowolnych estymatorów w jednym wywołaniu API.
Kiedy stosować
Użyj ensemble głosującego, gdy masz dwa lub więcej już wytrenowanych, zróżnicowanych klasyfikatorów i chcesz szybkiego, interpretowalnego połączenia bez dodatkowych kosztów trenowania. Jest to szczególnie cenne, gdy poszczególne modele mają podobną średnią dokładność, ale różne profile błędów — ich połączenie przynosi rzeczywiste korzyści. Głosowanie miękkie jest preferowane, gdy modele bazowe emitują skalibrowane prawdopodobieństwa. Nie używaj ensemble głosującego jako substytutu właściwego wyboru modelu: jeśli wszystkie bazowe uczące się są słabe lub popełniają skorelowane błędy, ich połączenie nie pomoże. Unikaj, gdy interpretowalność pojedynczego modelu jest wymagana przez interesariuszy lub regulacje.
Ograniczenia i uwagi
- Korzyści są minimalne lub nieobecne, gdy bazowe uczące się popełniają silnie skorelowane błędy.
- Głosowanie miękkie wymaga, aby wszystkie bazowe uczące się emitowały skalibrowane, porównywalne estymaty prawdopodobieństwa.
- Koszt wnioskowania skaluje się liniowo z liczbą bazowych uczących się; duże ensemble mogą być powolne.
- Brak mechanizmu do automatycznego uczenia optymalnych wag połączenia — w przeciwieństwie do stackingu, wagi muszą być ustawione ręcznie.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Prosty w implementacji: nie jest wymagane trenowanie meta-uczącego się poza dopasowaniem modeli bazowych.
- Często poprawia dokładność i odporność w porównaniu z jakimkolwiek pojedynczym bazowym uczącym się, gdy członkowie są zróżnicowani.
- Głosowanie miękkie wykorzystuje kalibrację prawdopodobieństwa, zazwyczaj przewyższając głosowanie twarde.
- Obsługuje heterogeniczne rodziny modeli, pozwalając na dowolną kombinację klasyfikatorów.
- Łatwe dodawanie lub usuwanie bazowych uczących się bez ponownego trenowania infrastruktury ensemble.
Zastosowania
- Łączenie regresji logistycznej, SVM i modeli drzewiastych do predykcji ryzyka klinicznego.
- Odporna klasyfikacja tekstu przez agregowanie predykcji z wielu dostrojonych modeli językowych.
- Konkursowe uczenie maszynowe (styl Kaggle), gdzie połączenie top-k zróżnicowanych modeli poprawia wynik na tablicy wyników.
- Ustawienia produkcyjne, gdzie odporność ensemble jest ważniejsza niż prostota pojedynczego modelu.
- Bazowy ensemble przed zainwestowaniem wysiłku w stacking lub boosting.
Jak to działa
Jak to działa
Zestaw K bazowych uczących się — które mogą należeć do zupełnie różnych rodzin modeli, takich jak regresja logistyczna, klasyfikator k-najbliższych sąsiadów i drzewo decyzyjne — są trenowane niezależnie na pełnym zbiorze treningowym lub na własnej skonfigurowanej wersji. Różnorodność wśród bazowych uczących się jest kluczowa: modele, które popełniają podobne błędy, niewiele zyskują na połączeniu.
W czasie wnioskowania każdy bazowy uczący się generuje predykcję dla nowego wejścia. W przypadku głosowania twardego jest to po prostu etykieta klasy; w przypadku głosowania miękkiego każdy uczący się musi wyemitować wektor prawdopodobieństw klas, co narzuca ograniczenie, że wszystkie wybrane bazowe uczące się muszą być skalibrowane tak, aby emitować znaczące estymaty prawdopodobieństwa.
W głosowaniu twardym ensemble zlicza, ile modeli przewidziało każdą klasę, i przypisuje etykietę, która otrzymała najwięcej głosów. Remisy są rozstrzygane według ustalonej reguły (np. najniższy indeks klasy). Ten tryb działa nawet wtedy, gdy bazowe uczące się nie mogą generować wiarygodnych prawdopodobieństw.
Wzór
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]W głosowaniu miękkim ensemble uśrednia (lub bierze średnią ważoną z wagami w_k) wektory prawdopodobieństw klas od wszystkich bazowych uczących się i przewiduje klasę z najwyższym uśrednionym prawdopodobieństwem. Ponieważ głosowanie miękkie wykorzystuje wielkości prawdopodobieństwa, a nie tylko zwycięzców, zazwyczaj przewyższa głosowanie twarde, gdy bazowe uczące się są dobrze skalibrowane.
Wzór
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)Ensemble zwraca zwycięską etykietę klasy, a w trybie głosowania miękkiego, uśredniony wektor prawdopodobieństwa, który może być użyty do dostosowania progu, rankingu lub diagnostyki kalibracji w dalszych etapach. Po dopasowaniu modeli bazowych nie jest wymagany żaden dodatkowy krok trenowania.
Częste pułapki
- Łączenie bazowych uczących się, które były dostrajane na tych samych danych bez walidacji krzyżowej, prowadzi do optymistycznych estymat błędów.
- Używanie głosowania miękkiego z niedostatecznie skalibrowanymi wyjściami prawdopodobieństwa (np. surowymi wartościami decyzyjnymi SVM) może zaszkodzić, a nie pomóc.
- Wybieranie bazowych uczących się, które są zbyt podobne — wszystkie warianty tej samej rodziny modeli — eliminuje różnorodność i marnuje moc obliczeniową.
- Ignorowanie niezbalansowania klas: jeśli bazowe uczące się nie są indywidualnie zbalansowane, ich głosy zbiorowo wzmocnią stronniczość klasy większościowej.
- Traktowanie dokładności ensemble głosującego jako ostatecznej bez sprawdzenia, czy prostszy pojedynczy model osiąga ten sam wynik.
Najczęściej zadawane pytania
Ile bazowych uczących się należy uwzględnić?
Nie ma ustalonej reguły, ale od trzech do siedmiu zróżnicowanych klasyfikatorów to powszechny praktyczny zakres. Dodawanie większej liczby uczących się poza punktem malejących korzyści zwiększa latencję wnioskowania bez znaczącej poprawy dokładności.
Kiedy powinienem preferować głosowanie miękkie nad twardym?
Użyj głosowania miękkiego, gdy wszystkie bazowe uczące się generują dobrze skalibrowane wyjścia prawdopodobieństwa — zazwyczaj daje to wyższą dokładność, ponieważ wykorzystuje pełny rozkład prawdopodobieństwa, a nie tylko klasę zwycięską. Jeśli prawdopodobieństwa są słabo skalibrowane lub niedostępne, głosowanie twarde jest bezpieczniejsze.
Jak wybrać wagi w ważonym głosowaniu miękkim?
Proste podejście polega na ważeniu każdego modelu jego dokładnością lub AUC z walidacji krzyżowej na zbiorze treningowym. Bardziej zasadnicze podejścia optymalizują wagi za pomocą wydzielonego zbioru walidacyjnego, ale ryzykują przeuczenie, jeśli zbiór walidacyjny jest mały.
Czym ensemble głosujący różni się od stackingu?
Ensemble głosujące łączą wyjścia modeli bazowych za pomocą ustalonych reguł (większość lub średnia). Stacking trenuje meta-uczący się na wyjściach modeli bazowych, aby nauczyć się optymalnego połączenia — jest to potężniejsze, ale bardziej złożone i podatne na wyciek danych, jeśli walidacja krzyżowa nie jest używana poprawnie.
Czy różnorodność zawsze poprawia ensemble?
Różnorodność jest konieczna, ale nie wystarczająca. Bazowe uczące się muszą być również indywidualnie dokładne; ensemble słabych, zróżnicowanych klasyfikatorów nadal może działać słabo. Celem są zróżnicowane błędy wśród dokładnych modeli.
Pokrewne metody
Źródła
Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
ISBN: 978-0-471-21078-8Skopiowano.Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.
Otwórz odnośnik DOISkopiowano.