One-Class SVM
- Autor metody
- Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
- Rok
- 1999–2001
- Typ
- Anomaly / novelty detection (unsupervised)
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
One-class SVM to algorytm nienadzorowanego uczenia do wykrywania anomalii i nowości, który uczy się ścisłej granicy wokół normalnych danych treningowych w przestrzeni cech indukowanej przez jądro, oznaczając nowe obserwacje znajdujące się poza tą granicą jako wartości odstające.
Wprowadzony przez Scholkopfa i wsp. w latach 1999–2001, rozszerza on ramy SVM na przypadek jednoklasowy, gdzie nie są dostępne żadne oznakowane anomalie.
Intuicja stojąca za metodą
Wyobraźmy sobie nadmuchanie balonu, aby objąć wszystkie punkty treningowe w przestrzeni transformowanej przez funkcję jądra. Gdy balon zostanie dopasowany, każdy nowy punkt, który znajdzie się poza nim, jest deklarowany jako anomalia. Parametr nu kontroluje ścisłość balonu: małe nu pozwala na bardzo niewiele punktów treningowych wewnątrz marginesu (ścisła granica), podczas gdy duże nu pozwala na więcej punktów na zewnątrz (luźniejsza granica). Sztuczka jądra pozwala na nieliniową granicę w oryginalnej przestrzeni wejściowej, dzięki czemu One-class SVM może wychwytywać złożone kształty normalności, które prosty próg lub reguła odległości by przeoczyły.
Historia
One-class SVM został wprowadzony przez Scholkopfa, Platta, Smolę i Williamsona w raporcie technicznym z 1999 r. i opublikowany w czasopiśmie Neural Computation w 2001 r. jako „Estimating the support of a high-dimensional distribution”. Pokrewna formuła, Support Vector Data Description (SVDD), została opracowana równocześnie przez Taxa i Duina (2004). Obie metody rozszerzyły nadzorowane ramy SVM na przypadek nienadzorowanego wykrywania anomalii i stały się fundamentalnymi odniesieniami w literaturze dotyczącej wykrywania nowości. Implementacja OneClassSVM w Scikit-learn uczyniła tę metodę szeroko dostępną w badaniach stosowanych.
Kiedy stosować
Używaj One-class SVM, gdy oznakowane przykłady anomalii są niedostępne lub bardzo rzadkie, a chcesz uzyskać nieliniową granicę wokół normalnego zachowania — typowe w wykrywaniu oszustw, wykrywaniu intruzji, monitorowaniu usterek przemysłowych i przesiewaniu nowości medycznych z ciągłymi cechami liczbowymi. Najlepiej działa na zbiorach danych o umiarkowanej wielkości (setki do dziesiątek tysięcy próbek) i rozkładach normalności o wysokiej wymiarowości lub złożonych kształtach, gdzie liniowe detektory lub detektory oparte na odległości zawodzą. Unikaj go, gdy: zbiór treningowy jest bardzo duży (n > ~100 000), ponieważ rozwiązanie kwadratowe słabo skaluje się; dane są wysoce kategoryczne; lub gdy wymagane są szybkie, interpretowalne reguły. W takich przypadkach preferuj Isolation Forest, Local Outlier Factor lub statystyczny model oparty na progu.
Ograniczenia i uwagi
- Rozwiązanie problemu programowania kwadratowego skaluje się jako O(n^2) do O(n^3) w zależności od liczby próbek treningowych, co czyni je niepraktycznym dla bardzo dużych zbiorów danych.
- Wrażliwy na wybór jądra i jego hiperparametrów (np. gamma RBF); złe wybory tworzą granicę albo zbyt ścisłą, albo zbyt luźną.
- Wymaga czystych normalnych danych treningowych — zanieczyszczone zbiory treningowe przesuwają granicę i zwiększają wskaźniki fałszywych negatywów.
- Nie generuje naturalnie skalibrowanych oszacowań prawdopodobieństwa; wynik decyzyjny nie jest prawdopodobieństwem.
- Interpretowalność jest ograniczona; wyjaśnienie, dlaczego konkretny punkt został oznaczony, jest trudne bez dodatkowych narzędzi post-hoc.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Działa bez oznakowanych przykładów anomalii — wymagane są tylko normalne dane treningowe.
- Nieliniowe jądro (zazwyczaj RBF) wychwytuje złożone, zakrzywione granice normalności, które metody oparte na odległościach przeoczą.
- Parametr nu zapewnia bezpośrednią, interpretowalną kontrolę nad oczekiwanym ułamkiem wartości odstających.
- Dzięki sztuczce jądra dobrze skaluje się do przestrzeni cech o wysokiej wymiarowości.
- Ciągły wynik decyzyjny umożliwia elastyczną kalibrację progu w dalszych etapach.
- Sprawdzony w domenach o wysokim ryzyku, takich jak wykrywanie intruzji, monitorowanie usterek i obrazowanie medyczne.
Zastosowania
- Wykrywanie intruzji sieciowych: oznaczanie wzorców ruchu, których nie zaobserwowano podczas normalnego działania.
- Monitorowanie usterek przemysłowych: wykrywanie odczytów z czujników maszyn, które odbiegają od profili stanu normalnego.
- Wykrywanie oszustw: identyfikacja nietypowych wzorców transakcji, gdy przykłady oszustw są zbyt rzadkie, aby wytrenować klasyfikator nadzorowany.
- Wykrywanie nowości medycznych: oznaczanie odczytów obrazów lub biomarkerów spoza rozkładu osób zdrowych.
- Przetwarzanie języka naturalnego: wykrywanie dokumentów lub zapytań spoza domeny przy użyciu osadzeń tekstowych jako cech wejściowych.
Jak to działa
Jak to działa
Wszystkie obserwacje treningowe są mapowane do przestrzeni cech o wysokiej wymiarowości (potencjalnie nieskończonej) za pomocą funkcji jądra, takiej jak radialna funkcja bazowa (RBF). Iloczyny skalarne w tej przestrzeni mogą być oceniane bez jawnego obliczania mapowania, co sprawia, że podejście jest wykonalne nawet dla złożonych granic.
Wzór
\phi: \mathcal{X} \to \mathcal{F}Program kwadratowy znajduje hiperpłaszczyznę w przestrzeni cech, która oddziela odwzorowane dane treningowe od początku układu ze zmaksymalizowanym marginesem. Parametr nu (między 0 a 1) jednocześnie ogranicza ułamek punktów treningowych traktowanych jako wartości odstające oraz ułamek wektorów nośnych, dając praktykowi bezpośrednią kontrolę nad kompromisem między ścisłością modelu a tolerancją na zanieczyszczenie treningowe.
Wzór
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_iNauczona hiperpłaszczyzna definiuje znakowaną funkcję decyzyjną. Punkty po stronie dodatniej są klasyfikowane jako normalne; punkty po stronie ujemnej (poniżej progu rho) są oznaczane jako anomalie lub nowości. Surowy wynik może również służyć jako ciągły wynik anomalii do rankingu.
Wzór
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)Wybór nu jest kluczową decyzją modelową: ustawienie go blisko oczekiwanego ułamka zanieczyszczenia w zbiorze treningowym jest praktyczną zasadą. Walidacja krzyżowa na odłożonym zbiorze normalnych danych walidacyjnych lub wiedza dziedzinowa o oczekiwanym wskaźniku wartości odstających powinny kierować wyborem, zamiast przeszukiwania siatki na danych bez etykiet.
Wdrożenie polega na zastosowaniu progu wyniku anomalii do wyjścia funkcji decyzyjnej. Próg można dostosować post-hoc, aby zrównoważyć precyzję z czułością dla anomalii, dzięki czemu metoda nadaje się do zastosowań, w których koszt fałszywych pozytywów znacznie różni się od kosztu fałszywych negatywów.
Częste pułapki
- Trenowanie na danych zawierających znaczący ułamek niewykrytych anomalii, co zanieczyszcza nauczoną granicę.
- Ustawienie nu bez odniesienia do oczekiwanego wskaźnika zanieczyszczenia, co prowadzi do nadmiernej liczby fałszywych pozytywów lub przeoczenia anomalii.
- Użycie domyślnej wartości gamma RBF bez dostrajania, co może spowodować, że granica będzie albo zbyt ścisła (wszystkie nowe punkty są anomaliami), albo zbyt luźna (nie wykryto żadnych anomalii).
- Stosowanie One-class SVM do bardzo dużych zbiorów danych bez uwzględnienia alternatyw skalowalności, takich jak aproksymacje oparte na SGD (SGDOneClassSVM z biblioteki sklearn).
- Raportowanie tylko binarnego znacznika anomalii bez analizy rozkładu ciągłego wyniku w celu kalibracji progu.
Najczęściej zadawane pytania
Jaka jest różnica między One-class SVM a Isolation Forest w wykrywaniu anomalii?
One-class SVM uczy się granicy opartej na jądrze wokół normalnych danych i dobrze działa na rozkładach o wysokiej wymiarowości i złożonych kształtach, ale słabo skaluje się wraz z rozmiarem zbioru danych. Isolation Forest wykorzystuje losowe partycjonowanie i jest znacznie szybszy na dużych zbiorach danych, ale generalnie jest mniej czuły na subtelne, nieliniowe wzorce anomalii.
Jak powinienem wybrać parametr nu?
Ustaw nu na ułamek obserwacji treningowych, które spodziewasz się, że są zanieczyszczone lub nietypowe. Jeśli uważasz, że mniej niż 5% twoich próbek treningowych to wartości odstające, zacznij od nu=0.05. Użyj odłożonego zbioru znanych normalnych przykładów do oceny ścisłości granicy, zamiast polegać wyłącznie na przeszukiwaniu siatki.
Jakiego jądra powinienem użyć?
Jądro RBF (Gaussowskie) jest standardowym punktem wyjścia i dobrze radzi sobie z większością ciągłych danych liczbowych. Hiperparametr gamma jądra RBF kontroluje promień wpływu; przeprowadź walidację krzyżową na siatce logarytmicznej. Jądra liniowe są szybsze, ale ograniczają granicę do hiperpłaszczyzny.
Czy One-class SVM może obsługiwać cechy kategoryczne?
Nie bezpośrednio. Zmienne kategoryczne muszą zostać zakodowane numerycznie (np. kodowanie binarne lub porządkowe) przed użyciem, co może wprowadzić zniekształcenia metryki odległości. W przypadku zbiorów danych zdominowanych przez cechy kategoryczne rozważ detektory oparte na drzewach, takie jak Isolation Forest.
Mój zbiór treningowy może zawierać pewne anomalie. Czy to psuje model?
Zanieczyszczone dane treningowe przesuwają granicę na zewnątrz i mogą spowodować, że model nauczy się nietypowych wzorców jako normalnych. One-class SVM jest na to bardziej wrażliwy niż Isolation Forest. Jeśli podejrzewasz zanieczyszczenie, rozważ użycie SVDD z wyższym nu lub oczyszczenie zbioru treningowego wstępnym przejściem szybkiego detektora.
Pokrewne metody
Źródła
Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
Otwórz odnośnik DOISkopiowano.Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.
Otwórz odnośnik DOISkopiowano.