Przejdź do treści
Wróć do wyników wyszukiwania

Naiwny Klasyfikator Bayesowski

Autor metody
Mitchell, T. M. (textbook treatment)
Rok
1997
Typ
Probabilistic classifier (Bayes' theorem with conditional independence)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Naiwny Klasyfikator Bayesowski (Naive Bayes) to szybki probabilistyczny klasyfikator, który stosuje twierdzenie Bayesa, zakładając jednocześnie warunkową niezależność cech od danej klasy — metoda ta jest standardowo omawiana w uczeniu maszynowym w podręczniku Toma Mitchella z 1997 roku pt.

Machine Learning. Pomimo tego upraszczającego (naiwnego) założenia, jest szybki w trenowaniu i często zaskakująco dokładny.

Intuicja stojąca za metodą

Zamiast uczyć się złożonych interakcji między cechami, Naiwny Klasyfikator Bayesowski zadaje prostsze pytanie: jaka jest prawdopodobność każdej wartości cechy z osobna, biorąc pod uwagę daną klasę? Następnie mnoży te prawdopodobieństwa cech z bazowym współczynnikiem klasy i wybiera klasę, która okazuje się najbardziej prawdopodobna. Udawanie, że cechy nie oddziałują na siebie, sprawia, że matematyka jest trywialna, a trenowanie niezwykle szybkie — a w praktyce uzyskany klasyfikator nadal dobrze szereguje klasy, nawet gdy założenie o niezależności nie jest ściśle spełnione.

Historia

Klasyfikatory Naiwnego Klasyfikatora Bayesowskiego wywodzą się z klasycznej teorii decyzji Bayesa i stały się podstawą stosowanego uczenia maszynowego, zwłaszcza w zadaniach klasyfikacji tekstu, takich jak filtrowanie spamu. Metoda ta otrzymuje standardowe ujęcie podręcznikowe w książce Toma Mitchella z 1997 roku pt. Machine Learning, która przedstawia sformułowanie twierdzenia Bayesa i założenie o warunkowej niezależności, które nadają klasyfikatorowi jego nazwę.

Kiedy stosować

Dobry wybór do szybkiej klasyfikacji, gdy masz cechy kategoryczne, binarne, ciągłe lub tekstowe i co najmniej około 30 obserwacji, zwłaszcza jako silna, tania metoda bazowa. Jest mało wymagający co do założeń dotyczących rozkładu, ale każdy wariant niesie ze sobą własne założenie dotyczące wiarygodności (np. normalność wewnątrzklasową dla wariantu Gaussa), i jest wrażliwy na niezbalansowanie klas. Gdy cechy są silnie skorelowane lub potrzebujesz skalibrowanych oszacowań efektów, preferuj regresję logistyczną.

Ograniczenia i uwagi

  • Założenie o warunkowej niezależności rzadko jest spełnione, więc oszacowania prawdopodobieństwa mogą być słabo skalibrowane, nawet gdy szeregowanie jest dobre.
  • Wrażliwy na niezbalansowanie klas: prawdopodobieństwa a priori muszą być dostosowane lub dane przesamplowane.
  • Naiwny Klasyfikator Bayesowski Gaussa pogarsza się, gdy naruszone jest założenie o normalności wewnątrzklasowej.
  • Niezawodny przy bardzo małych próbach, gdzie oszacowania prawdopodobieństwa dla poszczególnych klas nie są wiarygodne.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Niezwykle szybki w trenowaniu i przewidywaniu, nawet na dużych lub wysokowymiarowych danych, takich jak tekst.
  • Dobrze sprawdza się jako prosta, tania metoda bazowa i często działa zaskakująco dobrze, pomimo swojego naiwnego założenia.
  • Obsługuje cechy kategoryczne, binarne, ciągłe i tekstowe poprzez różne warianty.
  • Wymaga stosunkowo niewielu danych treningowych do oszacowania parametrów.

Zastosowania

  • Klasyfikacja tekstu, taka jak filtrowanie spamu i kategoryzacja dokumentów.
  • Szybka klasyfikacja bazowa przed próbą zastosowania bardziej złożonych modeli.
  • Klasyfikacja z cechami kategorycznymi, binarnymi, ciągłymi lub liczbowymi.
  • Problemy wysokowymiarowe, gdzie szybkość trenowania ma znaczenie.

Jak to działa

Jak to działa

1

Zgodnie z twierdzeniem Bayesa, prawdopodobieństwo klasy przy zaobserwowanych cechach jest proporcjonalne do prawdopodobieństwa a priori danej klasy pomnożonego przez wiarygodność tych cech w ramach tej klasy. 'Naiwnym' krokiem jest założenie warunkowej niezależności cech od danej klasy, dzięki czemu łączna wiarygodność rozkłada się na prosty iloczyn wiarygodności poszczególnych cech. To założenie rzadko jest dokładnie spełnione w praktyce, a jednak skuteczność klasyfikatora może być zaskakująco wysoka.

Wzór
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)
2

Na podstawie danych treningowych model szacuje prawdopodobieństwa a priori klas (jak częsta jest każda klasa) oraz wiarygodności poszczególnych cech. Forma wiarygodności zależy od wariantu: Naiwny Klasyfikator Bayesowski Gaussa (Gaussian Naive Bayes) zakłada, że cechy ciągłe są rozłożone normalnie w obrębie każdej klasy, podczas gdy Naiwny Klasyfikator Bayesowski Wielomianowy (Multinomial Naive Bayes) nadaje się do zliczania częstości występowania wyrazów w klasyfikacji tekstu i nie akceptuje wartości ujemnych. Ponieważ każda klasa jest szacowana oddzielnie, powinno być wystarczająco dużo obserwacji dla każdej klasy — co najmniej około 30 ogółem.

3

Dla nowej obserwacji model łączy prawdopodobieństwo a priori z iloczynem wiarygodności poszczególnych cech dla każdej kandydującej klasy i przypisuje klasę o najwyższym wynikowym prawdopodobieństwie. Ponieważ klasy są oceniane niezależnie, niezbalansowany zbiór danych może zniekształcić wynik, dlatego prawdopodobieństwa a priori powinny być dostrojone lub dane przesamplowane.

Wzór
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)

Częste pułapki

  • Ufanie surowym wynikowym prawdopodobieństwom jako skalibrowanym, zamiast traktować je jako ranking.
  • Ignorowanie niezbalansowania klas zamiast dostrajania prawdopodobieństw a priori lub przesamplowania.
  • Podawanie wartości ujemnych do Naiwnego Klasyfikatora Bayesowskiego Wielomianowego, którego nie akceptuje.
  • Stosowanie Naiwnego Klasyfikatora Bayesowskiego Gaussa do wyraźnie nie-normalnych cech ciągłych bez sprawdzenia.
  • Uruchamianie go na zbiorze danych ze zbyt małą liczbą obserwacji na klasę (poniżej ~30 ogółem).

Najczęściej zadawane pytania

Dlaczego nazywa się go 'naiwnym'?

Ponieważ zakłada, że cechy są warunkowo niezależne od danej klasy — to znaczy, że znajomość jednej cechy nic nie mówi o innej w obrębie klasy. Rzadko jest to dosłownie prawdą, ale uproszczenie sprawia, że model jest trywialny do oszacowania i szybki w uruchomieniu, a klasyfikator często nadal dokładnie szereguje klasy.

Którego wariantu powinienem użyć?

Naiwny Klasyfikator Bayesowski Gaussa jest przeznaczony do cech ciągłych, zakładając rozkład normalny w obrębie każdej klasy. Naiwny Klasyfikator Bayesowski Wielomianowy nadaje się do danych liczbowych lub częstości występowania wyrazów, jak w klasyfikacji tekstu, i nie akceptuje wartości ujemnych. Dopasuj wariant do typu swoich cech.

Czy mogę ufać przewidywanym prawdopodobieństwom?

Używaj przewidywanej klasy z ostrożnością jako rankingu. Ponieważ założenie o niezależności jest zazwyczaj naruszone, surowe prawdopodobieństwa mają tendencję do zbliżania się do 0 lub 1 i są często słabo skalibrowane, nawet gdy wybrana klasa jest poprawna.

Ile danych potrzebuje?

Jest oszczędny w kwestii danych, ale nadal potrzebujesz wystarczającej liczby obserwacji na klasę — co najmniej około 30 ogółem — aby prawdopodobieństwa a priori klas i wiarygodności poszczególnych cech mogły być wiarygodnie oszacowane. Poniżej tego progu regresja logistyczna jest bezpieczniejszym wyborem.

Pokrewne metody

Źródła

  1. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.

    ISBN: 978-0070428072
    Skopiowano.