Półnadzorowany SVM Jednej Klasy
- Autor metody
- Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
- Rok
- 2001–2004
- Typ
- Semi-supervised anomaly / novelty detection
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Półnadzorowany SVM Jednej Klasy rozszerza klasyczny detektor anomalii SVM Jednej Klasy poprzez włączenie nieoznakowanych obserwacji obok niewielkiego zbioru znanych normalnych przykładów.
Nieoznakowane dane pomagają modelowi nauczyć się ciaśniejszej, bardziej informatywnej granicy decyzyjnej w przestrzeni cech, redukując fałszywe pozytywy i poprawiając wykrywanie anomalii w porównaniu do czysto niekierowanego punktu odniesienia.
Intuicja stojąca za metodą
Standardowy SVM Jednej Klasy rysuje granicę wokół oznakowanych normalnych danych w przestrzeni cech przekształconej jądrem i oznacza wszystko na zewnątrz jako anomalne. Problem polega na tym, że przy niewielu oznakowanych przykładach granica jest luźna i zaszumiona. Półnadzorowany SVM Jednej Klasy wykorzystuje pulę nieoznakowanych przykładów — z których większość jest prawdopodobnie normalna — aby przesunąć tę granicę do wewnątrz, w kierunku gęstszych regionów. Pomyśl o tym jako o nauczaniu modelu, gdzie 'normalność' faktycznie istnieje, pokazując mu więcej przykładów, nawet jeśli te przykłady nie mają potwierdzonych etykiet klas. Rezultatem jest ciaśniejsza, bardziej niezawodna granica anomalii przy niskim koszcie etykietowania.
Historia
SVM Jednej Klasy został wprowadzony przez Scholkopfa i współpracowników w 2001 roku jako metoda estymacji nośnika rozkładu wysokowymiarowego, szybko stając się standardem w detekcji nowości i anomalii. Badacze w połowie lat 2000. zauważyli, że nawet mały, oznakowany zbiór normalnych przykładów może znacząco zaostrzyć granicę decyzyjną, i zaproponowano kilka półnadzorowanych rozszerzeń, czerpiąc z równoczesnych prac nad transdukcyjnymi SVM i propagacją etykiet. Podejście to jest nadal aktywnie badane w dziedzinach, gdzie etykietowanie anomalii jest zaporowo kosztowne.
Kiedy stosować
Wybierz Półnadzorowany SVM Jednej Klasy, gdy anomalie są rzadkie, etykietowanie wszystkich danych jest zbyt kosztowne, ale dostępny jest mały, potwierdzony zbiór normalnych przykładów — na przykład w wykrywaniu intruzji sieciowych, kontroli jakości obrazów medycznych lub przesiewaniu defektów produkcyjnych. Przewyższa niekierowany OC-SVM, gdy początkowy zbiór oznakowany jest czysty, a nieoznakowana pula jest duża i reprezentatywna dla normalnego zachowania. Nie używaj go, gdy początkowy zbiór oznakowany jest zaszumiony lub stronniczy, gdy wskaźnik anomalii w nieoznakowanej puli jest wysoki (powyżej około 10–20%), gdy masz wiele potwierdzonych przykładów anomalii (lepsze są nadzorowane SVM lub metody zespołowe) lub gdy recenzenci wymagają interpretowalności i jawnych współczynników.
Ograniczenia i uwagi
- Wydajność gwałtownie spada, jeśli oznakowany zbiór początkowy jest mały, zaszumiony lub niereprezentatywny dla prawdziwego normalnego zachowania.
- Wysokie wskaźniki zanieczyszczenia w nieoznakowanej puli powodują dryf pseudo-etykiet i zniekształcenie granicy.
- Programowanie kwadratowe słabo się skaluje: standardowe solvery SVM mają problemy z dziesiątkami tysięcy obserwacji.
- Wymaga starannego dostrajania hiperparametrów jądra i nu; wartości domyślne rzadko dają optymalne granice.
- Iteracyjne pseudo-etykietowanie dodaje złożoności implementacji i wymaga zasadniczych kryteriów zatrzymania.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wykorzystuje obfite nieoznakowane dane do poprawy jakości granicy bez kosztownej pełnej adnotacji.
- Dziedziczy elastyczność jądra standardowego SVM Jednej Klasy, wychwytując nieliniowe rozmaitości danych normalnych.
- Lepiej skalibrowane wyniki anomalii niż czysto niekierowany OC-SVM, gdy istnieje czysty, oznakowany zbiór początkowy.
- Dobrze działa w wysokowymiarowych przestrzeniach cech, gdzie dane normalne tworzą zwarte skupiska.
- Wielkość wyniku anomalii zapewnia naturalny ranking ufności do sortowania i priorytetyzacji.
Zastosowania
- Wykrywanie intruzji sieciowych i cyberataków przy użyciu oznakowanego normalnego ruchu plus nieoznakowane logi operacyjne.
- Kontrola jakości obrazów medycznych, gdzie dostępne są potwierdzone dobre skany, ale anomalie są rzadkie.
- Wykrywanie usterek przemysłowych z odczytami czujników w normalnych warunkach pracy jako oznakowanym zbiorem początkowym.
- Wykrywanie oszustw w transakcjach finansowych, gdy potwierdzone są tylko przykłady niebędące oszustwami.
- Filtrowanie anomalii w tekście lub dokumentach przy użyciu znanych, czystych zestawów dokumentów do zakotwiczenia granicy.
Jak to działa
Jak to działa
Podziel dane treningowe na mały, oznakowany zbiór potwierdzonych normalnych instancji i znacznie większą, nieoznakowaną pulę. Nieoznakowana pula zazwyczaj składa się z rzeczywistych danych operacyjnych z docelowej domeny, które nie zostały ręcznie zweryfikowane. Jakość początkowego zbioru oznakowanego silnie wpływa na końcową wydajność.
Przekształć wszystkie obserwacje do wysokowymiarowej przestrzeni Hilberta reprodukującego jądra za pomocą funkcji jądra — najczęściej jądra RBF. W tej przestrzeni skupiska normalnych danych stają się zwarte i separowalne od początku, co jest geometrycznym trikiem leżącym u podstaw SVM Jednej Klasy.
Wzór
\phi: \mathcal{X} \rightarrow \mathcal{F}Dopasuj początkowy SVM Jednej Klasy, używając tylko oznakowanych normalnych przykładów. Daje to wstępną hiperpłaszczyznę zdefiniowaną przez wektor wag w, próg rho i zmienne luzu xi, kontrolowane przez parametr nu, który ogranicza ułamek błędów treningowych.
Wzór
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rhoZastosuj początkowy model do nieoznakowanej puli i przypisz miękkie lub twarde pseudo-etykiety: instancje sklasyfikowane jako normalne są tymczasowo dodawane do zbioru normalnego; te ocenione jako anomalie mogą zostać odrzucone lub zredukowane. Niezawodność pseudo-etykiet można poprawić za pomocą progów ufności lub propagacji etykiet w grafie podobieństwa.
Ponownie wytrenuj SVM Jednej Klasy na rozszerzonym zbiorze oznakowanym (oryginalne etykiety plus zaakceptowane pseudo-etykiety). Powtarzaj pętlę pseudo-etykietowania i ponownego trenowania przez ustaloną liczbę iteracji lub do momentu ustabilizowania się granicy. Wczesne zatrzymanie zapobiega dryfowaniu spowodowanemu kaskadowymi błędami pseudo-etykiet.
Podczas wnioskowania, przekształć każdą nową obserwację przez to samo jądro i oceń funkcję decyzyjną f(x). Instancje z f(x) < 0 są oznaczane jako anomalie; wielkość wyniku odzwierciedla odległość od normalnej granicy i może służyć jako ranking ufności anomalii.
Wzór
f(x) = \text{sign}(w^\top \phi(x) - \rho)Częste pułapki
- Użycie oznakowanego zbioru początkowego pobranego z innej dystrybucji niż nieoznakowana pula, powodujące systematyczne błędy pseudo-etykiet.
- Ustawienie parametru zanieczyszczenia nu bez oszacowania rzeczywistego wskaźnika anomalii, prowadzące do nadmiernego lub niedostatecznego wykrywania.
- Bezwarunkowe ufanie pseudo-etykietom zamiast stosowania progów ufności lub miękkiego ważenia.
- Pomijanie oceny na wydzielonym, oznakowanym zbiorze anomalii i poleganie wyłącznie na niekierowanych metrykach skupień.
- Mylenie tej metody z transdukcyjnym SVM (S3VM), który rozwiązuje inny problem półnadzorowanej klasyfikacji, a nie detekcji jednej klasy.
Najczęściej zadawane pytania
Jak duży musi być oznakowany zbiór początkowy?
W praktyce nawet kilkadziesiąt potwierdzonych normalnych przykładów może zainicjować użyteczną granicę, ale oznakowany zbiór powinien obejmować główne mody normalnego zachowania. Jeśli zbiór początkowy liczy mniej niż około 20–30 obserwacji, początkowa granica będzie zawodna, a błędy pseudo-etykiet będą się nawarstwiać.
Co jeśli nieoznakowana pula jest silnie zanieczyszczona anomaliami?
Wysokie zanieczyszczenie (powyżej około 10–20% anomalii) powoduje, że iteracyjne udoskonalanie stopniowo wchłania anomalie do klasy normalnej, zniekształcając granicę. W takich przypadkach użyj niższego progu akceptacji pseudo-etykiet, zastosuj głosowanie zespołowe w wielu przebiegach lub wróć do czysto nadzorowanego SVM Jednej Klasy, używając tylko oznakowanego zbioru początkowego.
Jak wybrać jądro i parametr nu?
Jądro RBF jest standardową wartością domyślną; dostrój jego szerokość pasma (gamma) wraz z nu za pomocą walidacji krzyżowej na zbiorze oznakowanym. Nu kontroluje górne ograniczenie ułamka błędów treningowych i ułamka wektorów nośnych — ustaw je na około oczekiwany wskaźnik anomalii, jeśli jest znany.
Czy to różni się od transdukcyjnego SVM (S3VM)?
Tak. Transdukcyjny SVM (S3VM) wykonuje półnadzorowaną klasyfikację binarną, gdzie obie klasy są częściowo oznakowane. Półnadzorowany SVM Jednej Klasy zajmuje się detekcją anomalii: używa tylko etykiet klasy normalnej i traktuje nieoznakowane obserwacje jako potencjalnie normalne, a nie jako drugą klasę do sklasyfikowania.
Czy mogę używać tej metody na dużą skalę?
Standardowe solvery SVM mają złożoność od O(n^2) do O(n^3). Dla zbiorów danych powyżej około 50 000 obserwacji, użyj przybliżonych solverów (np. aktualizacje online oparte na SGD, aproksymacje jądra za pomocą cech Nyströma lub losowych cech Fouriera) lub przełącz się na skalowalne alternatywy, takie jak Isolation Forest lub detektory anomalii oparte na głębokich autoenkoderach.
Pokrewne metody
Źródła
Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.
Otwórz odnośnik do publikacjiSkopiowano.Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
Otwórz odnośnik DOISkopiowano.