Głosowanie większościowe
- Autor metody
- Leo Breiman
- Rok
- 1996
- Typ
- voting aggregation
- Rodzina
- Ensemble
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Głosowanie większościowe to metoda zespołowa, która łączy predykcje wielu klasyfikatorów bazowych poprzez wybór klasy otrzymującej najwięcej głosów.
Każdy klasyfikator bazowy oddaje jeden głos na przewidywaną klasę, a ostateczna predykcja to klasa z większością (plurality). Podejście to zostało sformalizowane przez Leo Breimana i współpracowników w latach 90. XX wieku jako prosty, lecz skuteczny sposób poprawy dokładności klasyfikacji.
Intuicja stojąca za metodą
Podstawowa idea polega na tym, że łączenie zróżnicowanych słabych klasyfikatorów może prowadzić do silniejszej zbiorowej decyzji poprzez głosowanie demokratyczne. Jeśli poszczególne modele są niedoskonałe, ale popełniają różne błędy, głosowanie większościowe filtruje izolowane błędne klasyfikacje. Działa to najlepiej, gdy klasyfikatory bazowe są niezależne i mają umiarkowaną dokładność – lepszą niż losowe zgadywanie, ale nie doskonałą. Siła wynika z niezgody: gdy modele się nie zgadzają, decyzja tłumu jest bardziej wiarygodna niż decyzja któregokolwiek pojedynczego modelu.
Historia
Głosowanie większościowe wyłoniło się na początku lat 90. XX wieku wraz ze wzrostem znaczenia uczenia zespołowego. Praca Breimana nad baggingiem (1996) spopularyzowała ideę łączenia wielu modeli. Kuncheva (2004) dostarczyła kompleksowej teorii na temat metod łączenia zespołów. Głosowanie twarde (hard voting) pozostaje jedną z najprostszych i najbardziej intuicyjnych strategii zespołowych, często służąc jako punkt odniesienia dla bardziej zaawansowanych metod, takich jak stacking i boosting.
Kiedy stosować
Używaj głosowania większościowego, gdy masz dostępnych wiele klasyfikatorów bazowych i potrzebujesz prostych, interpretowalnych predykcji zespołowych. Dobrze sprawdza się w klasyfikacji wieloklasowej i zakłada, że klasyfikatory bazowe są względnie niezależne. Jest mniej skuteczny, jeśli wszystkie modele bazowe mają tendencję do popełniania tych samych błędów lub są silnie skorelowane. Preferuj inne metody zespołowe (boosting, stacking), jeśli potrzebujesz ważyć uczących się modeli według ich indywidualnej dokładności.
Ograniczenia i uwagi
- Ignoruje wiarygodność klasyfikatora – każdy model otrzymuje równy głos, niezależnie od dokładności.
- Nieskuteczny, jeśli klasyfikatory bazowe są silnie skorelowane lub wszystkie popełniają systematyczne błędy.
- Remisy mogą wystąpić w ustawieniach wieloklasowych, wymagając arbitralnych reguł rozstrzygania remisów.
- Wydajność krytycznie zależy od zróżnicowania klasyfikatorów bazowych i ich indywidualnej jakości.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Prosty w implementacji i zrozumieniu – prosta reguła głosowania nie wymaga dostrajania.
- Wydajny obliczeniowo – czas predykcji skaluje się liniowo wraz z liczbą klasyfikatorów bazowych.
- Odporny na błędne predykcje, gdy większość jest wyraźna.
- Działa z każdym typem klasyfikatora bazowego (możliwe są heterogeniczne zespoły).
Zastosowania
- Diagnostyka medyczna: łączenie predykcji z wielu modeli wspomagania decyzji klinicznych w celu zmniejszenia obciążenia poszczególnych modeli.
- Wykrywanie spamu: agregacja decyzji z filtrów opartych na regułach, klasyfikatorów Naive Bayes i SVM.
- Ocena ryzyka kredytowego: zespół drzew decyzyjnych i modeli regresji logistycznej głosujących w sprawie zatwierdzenia pożyczki.
- Klasyfikacja obrazów: wiele konwolucyjnych sieci neuronowych głosujących na kategorię obiektu w wizji komputerowej.
- Analiza sentymentu: łączenie wyników modeli LSTM, transformer i modeli z ręcznie tworzonymi cechami dla recenzji tekstowych.
Jak to działa
Jak to działa
Wytrenuj K niezależnych klasyfikatorów bazowych (np. drzewa decyzyjne, regresja logistyczna, sieci neuronowe) na tych samych lub próbkach bootstrapowych danych treningowych.
Dla nowej próbki, przepuść ją przez każdy z K wytrenowanych klasyfikatorów i zbierz ich indywidualne predykcje.
Policz głosy dla każdej klasy i przypisz nową próbkę do klasy z największą liczbą głosów. W przypadku remisu zastosuj regułę rozstrzygania remisów (np. losowy wybór lub predefiniowany priorytet).
Częste pułapki
- Trenowanie wszystkich klasyfikatorów bazowych na identycznych danych zmniejsza zróżnicowanie, a głosy stają się zbędne.
- Włączenie słabych lub obciążonych klasyfikatorów rozmywa siłę głosowania dokładnych modeli.
- Zakładanie, że głosowanie większościowe zadziała bez sprawdzenia, czy modele bazowe są wystarczająco niezależne.
- Zaniedbywanie strategicznego rozstrzygania remisów – losowe rozstrzyganie remisów może wprowadzić niestabilność.
Najczęściej zadawane pytania
Jak wybrać liczbę klasyfikatorów bazowych?
Zacznij od 5–10 klasyfikatorów; dodawanie kolejnych może poprawić stabilność, ale z malejącymi korzyściami. Zrównoważ wzrost dokładności z kosztem obliczeniowym. Więcej klasyfikatorów pomaga, gdy są zróżnicowane; redundantne modele nie dodają wartości.
Co jeśli liczba klasyfikatorów bazowych jest parzysta i wystąpi remis?
Zdefiniuj regułę rozstrzygania remisów przed treningiem: przypisz do klasy z najwyższą skumulowaną pewnością predykcji, użyj losowego wyboru lub przypisz do predefiniowanej klasy domyślnej. Spójne rozstrzyganie remisów zapewnia powtarzalność wyników.
Czy mogę używać głosowania większościowego w problemach regresji?
Głosowanie twarde jest przeznaczone do klasyfikacji. W przypadku regresji użyj miękkiego uśredniania (średnia predykcji) lub ważonego uśredniania.
Czy zróżnicowanie klasyfikatorów bazowych gwarantuje lepszą wydajność zespołu?
Zróżnicowanie pomaga, ale nie jest wystarczające. Klasyfikatory bazowe muszą być zarówno zróżnicowane pod względem wzorców błędów, jak i indywidualnie lepsze niż losowe zgadywanie. Zmierz zróżnicowanie empirycznie poprzez korelację błędów treningowych.
Pokrewne metody
Źródła
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
Otwórz odnośnik DOISkopiowano.Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
Otwórz odnośnik do publikacjiSkopiowano.