Online Naive Bayes
- Autor metody
- Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
- Rok
- 2000s
- Typ
- Probabilistic classifier (online/incremental)
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Online Naive Bayes to przyrostowa adaptacja klasycznego klasyfikatora Naive Bayes, która aktualizuje swoje statystyki warunkowe klas po jednej obserwacji (lub jednej mini-wsadowej) na raz, co czyni ją dobrze dopasowaną do strumieni danych, bardzo dużych zbiorów danych, których nie można przechowywać w pamięci, oraz sytuacji, w których model musi być stale dostosowywany w miarę napływania nowych oznakowanych przykładów.
Intuicja stojąca za metodą
Klasyczny Naive Bayes odczytuje wszystkie dane treningowe naraz, oblicza prawdopodobieństwa a priori klas i wiarygodności cech, a następnie zamraża swoje parametry. Online Naive Bayes zamiast tego utrzymuje bieżące liczniki lub statystyki wystarczające (średnie, wariancje, częstości cech), które są przyrostowo aktualizowane z każdym nowym przykładem. Ponieważ założenie o niezależności warunkowej Naive Bayes oznacza, że wiarygodność rozkłada się na czynniki dla poszczególnych cech, statystyki każdej cechy mogą być aktualizowane niezależnie i tanio, co sprawia, że model naturalnie nadaje się do uczenia w jednym przebiegu na strumieniach bez poświęcania mechanizmu predykcji probabilistycznej.
Historia
Naive Bayes ma korzenie w statystyce bayesowskiej sięgające XVIII wieku, ale jego zastosowanie jako klasyfikatora tekstu zostało spopularyzowane w latach 90. (np. McCallum & Nigam, 1998). Wariant online/przyrostowy zyskał systematyczną uwagę w społeczności zajmującej się eksploracją strumieni danych na początku XXI wieku, zwłaszcza dzięki pracy Domingosa i Hultena nad eksploracją strumieni danych o dużej prędkości (KDD 2000). Jest on obecnie standardowym elementem zestawów narzędzi do przetwarzania strumieniowego i jest bezpośrednio dostępny w scikit-learn poprzez API partial_fit.
Kiedy stosować
Używaj Online Naive Bayes, gdy dane napływają jako strumień lub są zbyt duże, aby załadować je do pamięci naraz, gdy potrzebne są szybkie, niskopamięciowe aktualizacje przyrostowe, lub gdy model musi być stale dostosowywany do nowych przykładów (np. klasyfikacja tekstu na żywo, filtrowanie spamu lub klasyfikacja zdarzeń w potokach IoT). Jest to również silna metoda bazowa dla strumieniowych danych tekstowych o dużej wymiarowości (bag-of-words, TF-IDF). Nie używaj go, gdy założenie o niezależności warunkowej jest poważnie naruszone i istnieje wystarczająco dużo danych do wytrenowania bardziej ekspresyjnego modelu w trybie wsadowym, gdy cechy są silnie skorelowane i kluczowe jest wychwytywanie interakcji, lub gdy rozkłady klas są skrajnie niezbalansowane bez korekty.
Ograniczenia i uwagi
- Naiwne założenie o niezależności warunkowej rzadko jest spełnione dokładnie i może obniżyć dokładność, gdy cechy są silnie skorelowane.
- Nie potrafi uczyć się interakcji między cechami; każda cecha przyczynia się niezależnie do prawdopodobieństwa a posteriori.
- Dryf koncepcji wymaga jawnych mechanizmów zapominania (np. okien przesuwnych, współczynników zaniku), ponieważ domyślny model akumuluje wszystkie historyczne dowody.
- Gaussian Naive Bayes zakłada unimodalne, w przybliżeniu Gaussa rozkłady cech w każdej klasie, co może nie być prawdą.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Przetwarza jeden przykład na raz z kosztem aktualizacji O(1) na cechę, co czyni go niezwykle szybkim i pamięciowo wydajnym dla danych strumieniowych.
- Naturalnie probabilistyczny: generuje skalibrowane prawdopodobieństwa a posteriori klas, a nie tylko twarde etykiety.
- Skaluje się do przestrzeni cech o bardzo dużej wymiarowości (np. tekst) bez znaczącego spadku prędkości.
- Brak potrzeby przechowywania danych historycznych; model jest w całości definiowany przez swoje statystyki wystarczające.
- Prosty w implementacji i zrozumieniu; założenie o niezależności warunkowej często działa lepiej niż oczekiwano w praktyce.
Zastosowania
- Wykrywanie spamu i phishingu w czasie rzeczywistym na strumieniach e-maili lub wiadomości.
- Przyrostowa klasyfikacja tekstu na żywo z kanałów informacyjnych lub mediów społecznościowych.
- Klasyfikacja zdarzeń czujnikowych w systemach IoT, gdzie dane napływają w sposób ciągły.
- Klasyfikator bazowy dla przestrzeni cech bag-of-words lub TF-IDF o dużej wymiarowości.
- Analiza sentymentu online na strumieniach recenzji klientów lub postów w mediach społecznościowych.
- Każde zadanie klasyfikacyjne zbyt duże, aby zmieścić się w pamięci, gdzie akceptowalny jest szybki model probabilistyczny.
Jak to działa
Jak to działa
Prawdopodobieństwa a priori klas P(C_k) = N_k / N są inicjalizowane na podstawie dostępnych danych oznakowanych na starcie (lub ustawiane na jednostajne). Statystyki wystarczające dla poszczególnych cech — liczniki dla cech kategorycznych, bieżąca średnia i wariancja dla cech Gaussa — są inicjalizowane w podobny sposób.
Wzór
P(C_k) = N_k / N
Gdy przybywa nowy oznakowany przykład (x, y), licznik klasy N_y jest zwiększany o jeden, a statystyki wystarczające dla każdej cechy x_i w ramach klasy y są aktualizowane: liczniki są zwiększane dla cech Bernoulliego lub wielomianowych, a bieżąca średnia i wariancja są aktualizowane przy użyciu algorytmu Welforda dla cech Gaussa. Nie ma potrzeby ponownego przeglądania starych przykładów.
W czasie predykcji (lub po każdej aktualizacji) wiarygodności poszczególnych cech P(x_i | C_k) są obliczane na podstawie bieżących statystyk wystarczających. Dla Gaussa Naive Bayes oceniana jest funkcja gęstości prawdopodobieństwa Gaussa; dla wariantów wielomianowych lub Bernoulliego używane są wygładzone stosunki częstości.
Wzór
P(x_i | C_k)
Prawdopodobieństwo a posteriori dla każdej klasy jest obliczane jako iloczyn prawdopodobieństwa a priori klasy i wszystkich wiarygodności poszczególnych cech, a następnie zwracana jest klasa z najwyższym prawdopodobieństwem a posteriori. Ponieważ w praktyce używa się logarytmów, staje się to sumą i pozwala uniknąć niedomiaru numerycznego.
Wzór
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)Częste pułapki
- Zapomnienie o zastosowaniu wygładzania Laplace'a (dodaj jeden) dla wariantów wielomianowych/Bernoulliego, co powoduje problemy z zerowym prawdopodobieństwem dla nieznanych wartości cech.
- Ignorowanie dryfu koncepcji: bez strategii zapominania lub okna model powoli staje się nieaktualny na niestacjonarnych strumieniach.
- Używanie Gaussian Naive Bayes dla danych zliczanych (np. liczby słów) zamiast Multinomial Naive Bayes.
- Traktowanie prawdopodobieństw modelu jako doskonale skalibrowanych bez sprawdzania; może być potrzebna regresja izotoniczna lub skalowanie Platt'a.
- Ocenianie tylko pod kątem dokładności, gdy występuje niezbalansowanie klas; używaj precyzji, czułości i F1 dla każdej klasy.
Najczęściej zadawane pytania
Jak Online Naive Bayes radzi sobie z dryfem koncepcji?
Domyślnie akumuluje wszystkie dowody, więc powoli dostosowuje się do dryfu. Aby reagować szybciej, zastosuj okno przesuwne (licząc tylko ostatnie przykłady), wykładnicze zapominanie (przypisując mniejszą wagę starszym obserwacjom) lub zresetuj statystyki wystarczające po wykryciu dryfu.
Którego wariantu powinienem użyć — Gaussa, wielomianowego czy Bernoulliego?
Używaj wariantów wielomianowego lub Bernoulliego Naive Bayes dla tekstu (wektory cech zliczeniowych lub binarnych) i wariantu Gaussa Naive Bayes dla cech ciągłych, które są w przybliżeniu normalnie rozłożone w każdej klasie. Logika aktualizacji online nieznacznie się różni, ale wszystkie warianty obsługują aktualizacje przyrostowe.
Czy Online Naive Bayes jest konkurencyjny w porównaniu z bardziej złożonymi modelami online?
Na tekstach o dużej wymiarowości i rzadkich cechach jest często konkurencyjny w porównaniu z regresją logistyczną online lub SVM online, przy niższych kosztach obliczeniowych. Na gęstych, o niższej wymiarowości lub silnie skorelowanych zestawach cech, regresja logistyczna online lub gradient boosting zazwyczaj przewyższają go.
Jak powinienem ocenić klasyfikator online?
Użyj oceny prekwencyjnej (testuj-następnie-trenuj): przewiduj każdy przykład przed aktualizacją modelu, a następnie zaktualizuj. Daje to nieobciążone oszacowanie wydajności strumieniowej bez oddzielnego zbioru walidacyjnego.
Czy mogę zainicjować Online Naive Bayes z modelu wytrenowanego wsadowo?
Tak. Wytrenuj model Naive Bayes wsadowo na początkowym zbiorze danych, aby uzyskać dobre początkowe statystyki wystarczające, a następnie przełącz się na aktualizacje przyrostowe. To podejście z ciepłym startem pozwala uniknąć niedokładności zimnego startu modelu zainicjalizowanego losowo.
Pokrewne metody
Źródła
Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.
Otwórz odnośnik DOISkopiowano.Online machine learning. Wikipedia.
Otwórz odnośnik do publikacjiSkopiowano.