Przejdź do treści
Wróć do wyników wyszukiwania

Półnadzorowany naiwny klasyfikator Bayesa

Autor metody
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
Rok
2000
Typ
Semi-supervised generative classifier
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Półnadzorowany naiwny klasyfikator Bayesa rozszerza klasyczny generatywny model naiwnego klasyfikatora Bayesa, aby wykorzystać duże zbiory danych nieoznakowanych wraz z małym zbiorem danych oznakowanych.

Wykorzystując algorytm Expectation-Maximization, iteracyjnie wnioskuje miękkie przypisania klas dla przykładów nieoznakowanych i ponownie szacuje parametry klas oraz cech, co prowadzi do znacznie lepszych klasyfikatorów, gdy przykłady oznakowane są nieliczne.

Intuicja stojąca za metodą

Klasyczny naiwny klasyfikator Bayesa wymaga przykładów oznakowanych do oszacowania prawdopodobieństw klas i wiarygodności cech. Gdy etykiety są kosztowne, ale surowe dane są obfite, większość informacji w danych pozostaje niewykorzystana. Półnadzorowany naiwny klasyfikator Bayesa rozwiązuje ten problem, traktując nieznane etykiety przykładów nieoznakowanych jako zmienne ukryte: naprzemiennie zgaduje te etykiety na podstawie bieżącego modelu (krok E) i udoskonala model, wykorzystując te przypuszczenia (krok M). W ciągu kilku iteracji model sam się wzmacnia, prowadząc do znacznie dokładniejszego oszacowania parametrów, niż byłoby to możliwe przy użyciu samych danych oznakowanych.

Historia

Nigam, McCallum, Thrun i Mitchell (2000) spopularyzowali półnadzorowany naiwny klasyfikator Bayesa do klasyfikacji tekstu, demonstrując, że EM z wielomianowym modelem naiwnego klasyfikatora Bayesa może zmniejszyć wskaźniki błędów o połowę na referencyjnych zbiorach danych, gdy nieoznakowane artykuły z grup dyskusyjnych uzupełniały mały zbiór oznakowany. Podejście to opierało się na wcześniejszych pracach nad EM dla modeli mieszanych i stało się kanonicznym przykładem w literaturze dotyczącej uczenia półnadzorowanego, szeroko omawianym w Chapelle i in. (2006).

Kiedy stosować

Idealny, gdy liczba przykładów oznakowanych wynosi od kilkudziesięciu do kilkuset, ale dostępne są duże ilości danych nieoznakowanych z tego samego rozkładu — powszechna sytuacja w klasyfikacji tekstu, filtrowaniu spamu i kategoryzacji dokumentów biomedycznych. Cechy powinny być warunkowo niezależne od klasy (lub w przybliżeniu), co sprawia, że reprezentacje typu „bag-of-words” i oparte na zliczeniach są naturalnie dopasowane. Należy unikać, gdy dane nieoznakowane pochodzą z innego rozkładu niż zbiór oznakowany (przesunięcie kowariancji), ponieważ aktualizacje EM mogą raczej zaszkodzić niż pomóc; w takich przypadkach należy dostroić parametr wagi lambda. Należy również unikać, gdy założenie o warunkowej niezależności jest poważnie naruszone, a model dyskryminacyjny byłby znacznie preferowany niezależnie od niedoboru etykiet.

Ograniczenia i uwagi

  • Dziedziczy założenie o warunkowej niezależności naiwnego klasyfikatora Bayesa; skorelowane cechy pogarszają oszacowania parametrów.
  • EM zbiega się do lokalnego optimum, które zależy od inicjalizacji; może być potrzebnych wiele losowych restartów.
  • Dane nieoznakowane z przesuniętego rozkładu mogą pogorszyć dokładność (negatywny transfer), chyba że zostaną ostrożnie zredukowane.
  • Mniej konkurencyjny niż dyskryminacyjne metody półnadzorowane (np. transdukcyjny SVM, propagacja etykiet) na małych zbiorach cech z silnymi korelacjami cech.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Efektywnie wykorzystuje nieoznakowane dane, które w przeciwnym razie zostałyby odrzucone, często drastycznie zmniejszając potrzebną ilość danych oznakowanych.
  • Szybki obliczeniowo: każda iteracja EM jest liniowa względem rozmiaru danych, co czyni go odpowiednim dla dużych korpusów tekstowych.
  • Ugruntowane ramy probabilistyczne z dobrze zrozumiałymi gwarancjami zbieżności (do lokalnego optimum wiarygodności).
  • Generuje skalibrowane prawdopodobieństwa a posteriori, umożliwiając późniejsze rankingowanie i progowanie.
  • Prosty w implementacji i rozszerzaniu — ważenie lambda zapewnia praktyczne narzędzie do kontrolowania wpływu danych nieoznakowanych.

Zastosowania

  • Klasyfikacja tekstu i dokumentów z ograniczoną liczbą oznakowanych danych treningowych.
  • Wykrywanie spamu i phishingu, gdzie oznakowany spam jest rzadki, ale nieoznakowane e-maile są obfite.
  • Analiza sentymentu uruchomiona na podstawie kilku oznakowanych recenzji.
  • Kategoryzacja literatury biomedycznej (np. sortowanie artykułów PubMed) z małymi, ekspercko oznakowanymi podzbiorami.
  • Klasyfikacja tematów stron internetowych przy użyciu małego, ręcznie oznakowanego ziarna i dużych korpusów przeszukanych w sieci.
  • Routing e-maili lub zgłoszeń, gdzie tylko ułamek historycznych zgłoszeń ma potwierdzone etykiety kategorii.

Jak to działa

Jak to działa

1

Wytrenuj początkowy model naiwnego klasyfikatora Bayesa, używając wyłącznie przykładów oznakowanych. Daje to pierwsze oszacowania prawdopodobieństw a priori klas P(y) i warunkowych wiarygodności cech P(x_j | y) — zazwyczaj z wygładzaniem Laplace'a w celu obsługi niewidzianych wartości cech. Wynikowy model jest punktem wyjścia dla pętli EM, a nie ostatecznym klasyfikatorem.

2

Zastosuj bieżący model do każdego nieoznakowanego przykładu, aby obliczyć miękkie (probabilistyczne) wagi przynależności do klas. Każdy nieoznakowany dokument lub instancja jest ułamkowo przypisywana do wszystkich klas proporcjonalnie do prawdopodobieństwa a posteriori P(y | x, theta). Te ułamkowe zliczenia uzupełniają twarde zliczenia z danych oznakowanych.

Wzór
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}
3

Ponownie oszacuj wszystkie parametry modelu — prawdopodobieństwa a priori klas i wiarygodności cech — łącząc twarde zliczenia z przykładów oznakowanych z ułamkowymi zliczeniami zgromadzonymi w kroku E. Przykłady nieoznakowane przyczyniają się proporcjonalnie do ich wnioskowanych wag klas, więc informatywne dane nieoznakowane znacząco zmieniają parametry.

4

Powtarzaj krok E i krok M, aż log-wiarygodność wszystkich danych (oznakowanych plus nieoznakowanych) zbiegnie się lub zostanie osiągnięta maksymalna liczba iteracji. Hiperparametr wagi lambda może zmniejszyć wpływ danych nieoznakowanych, jeśli rozkład danych nieoznakowanych różni się od rozkładu danych oznakowanych, chroniąc przed negatywnym transferem.

5

Po zbieżności klasyfikuj nowe przykłady, używając standardowej reguły naiwnego klasyfikatora Bayesa: przypisz klasę o najwyższym prawdopodobieństwie a posteriori zgodnie z nauczonymi parametrami. Wnioskowanie w czasie rzeczywistym jest identyczne jak w przypadku zwykłego naiwnego klasyfikatora Bayesa — szybkie, w postaci zamkniętej i odpowiednie dla dużych zbiorów dokumentów.

Wzór
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)

Częste pułapki

  • Ignorowanie niedopasowania rozkładu między zbiorami oznakowanymi i nieoznakowanymi — zawsze weryfikuj, czy obie próbki pochodzą z tego samego zadania i domeny.
  • Pomijanie strojenia lambdy, gdy jakość danych nieoznakowanych jest niepewna; domyślne ustawienie lambda=1 może pogorszyć wydajność.
  • Ocena tylko na oznakowanym zbiorze treningowym bez wydzielonego zbioru testowego, co zawyża pozorną dokładność.
  • Traktowanie zbieżności EM jako gwarantowanej optymalności — zawsze porównuj z bazową linią tylko z danymi oznakowanymi i prostą bazową linią samouczenia.
  • Zapominanie o wygładzaniu Laplace'a, co powoduje błędy zerowego prawdopodobieństwa dla niewidzianych wartości cech podczas kroku E.

Najczęściej zadawane pytania

Ile oznakowanych przykładów potrzebuję, aby uzyskać dobry model początkowy?

Już 10–50 na klasę może wystarczyć dla tekstu z wieloma cechami, pod warunkiem zastosowania wygładzania Laplace'a. Więcej oznakowanych przykładów zawsze pomaga, ale podejście półnadzorowane szczególnie błyszczy, gdy masz mniej niż kilkaset oznakowanych instancji.

Czym jest parametr lambda i jak go dostroić?

Lambda kontroluje, jaką wagę otrzymują przykłady nieoznakowane w stosunku do oznakowanych podczas kroku M (lambda=1 traktuje je jednakowo; lambda=0 ignoruje je). Dostrój go za pomocą walidacji krzyżowej na zbiorze oznakowanym, zaczynając od wartości z zakresu {0.1, 0.3, 0.5, 1.0}. Zmniejsz lambdę, gdy podejrzewasz niedopasowanie rozkładu.

Czy EM zawsze poprawi wyniki w porównaniu z naiwnym klasyfikatorem Bayesa tylko z danymi oznakowanymi?

Nie. Jeśli dane nieoznakowane pochodzą z innego rozkładu, EM może przesunąć parametry w złym kierunku i zwiększyć błąd. Zawsze porównuj z bazową linią tylko z danymi oznakowanymi przed wdrożeniem modelu półnadzorowanego.

Czym to się różni od samouczenia z naiwnym klasyfikatorem Bayesa?

Samouczenie przypisuje twarde etykiety do nieoznakowanych przykładów powyżej progu ufności, a następnie ponownie trenuje. Półnadzorowany naiwny klasyfikator Bayesa za pomocą EM przypisuje miękkie, ułamkowe etykiety do wszystkich nieoznakowanych przykładów w każdej iteracji, co jest statystycznie bardziej zasadne i pozwala uniknąć kaskady pewnych błędów, które mogą wystąpić w samouczeniu.

Czy to nadaje się do nietekstowych danych tabelarycznych?

Tak. Dla cech ciągłych zastąp wiarygodność wielomianową wiarygodnościami Gaussa (lub innymi parametrycznymi) dla każdej klasy. Struktura pętli EM jest identyczna; zmieniają się tylko wzory parametrów kroku M.

Pokrewne metody

Źródła

  1. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Skopiowano.