Aktywne uczenie maszynowe z jednoklasowym SVM
- Autor metody
- Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
- Rok
- 2000s
- Typ
- Semi-supervised anomaly/novelty detection with iterative labeling
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Aktywne uczenie maszynowe z jednoklasowym SVM (Active Learning One-class SVM) łączy jednoklasową maszynę wektorów nośnych (One-class Support Vector Machine) — detektor nowości oparty na jądrze, który uczy się granicy danych normalnych — z pętlą aktywnego uczenia, która wybiera najbardziej informatywne, nieoznaczone instancje do adnotacji eksperckiej.
Rezultatem jest efektywny pod względem danych detektor anomalii, który poprawia swoją granicę decyzyjną przy minimalnym wysiłku związanym z etykietowaniem.
Intuicja stojąca za metodą
Standardowy jednoklasowy SVM wyznacza ścisłą granicę wokół znanego normalnego obszaru przestrzeni cech. Trudność polega na tym, że jakość granicy w dużej mierze zależy od tego, które przykłady są oznaczone. Aktywne uczenie rozwiązuje ten problem, prosząc wyrocznię o oznaczenie tylko tych przykładów, które znajdują się blisko lub tuż poza obecną granicą decyzyjną — punktów, co do których model jest najbardziej niepewny. Dzięki strategicznemu, a nie losowemu, zapytaniu model uzyskuje bardziej informatywny zbiór treningowy z znacznie mniejszą liczbą oznaczonych przykładów, co pozwala zaoszczędzić na kosztach adnotacji, jednocześnie wyostrzając granicę między danymi normalnymi a anomalnymi.
Historia
Jednoklasowy SVM został wprowadzony przez Schölkopfa i współpracowników w latach 1999–2001 jako ugruntowana metoda jądrowa do estymacji nośnika rozkładu i szybko stał się algorytmem referencyjnym do wykrywania nowości i anomalii. Paradygmat aktywnego uczenia — systematyczne odpytywanie wyroczni o informatywne etykiety — został sformalizowany w przeglądzie Settlesa (2009). Badacze w latach 2000. i 2010. połączyli te dwie idee, stosując strategie zapytań oparte na niepewności i marginesie do OCSVM w dziedzinach takich jak wykrywanie intruzji, diagnostyka usterek i badania przesiewowe w medycynie, gdzie oznaczone anomalie są z natury rzadkie.
Kiedy stosować
Stosować, gdy anomalie lub nowości muszą być wykryte, ale oznaczone przykłady są drogie, rzadkie lub początkowo niedostępne — typowe w wykrywaniu oszustw, monitorowaniu usterek sprzętu, wykrywaniu intruzji w cyberbezpieczeństwie i medycznym przesiewowym badaniu rzadkich chorób. Metoda jest dobrze dopasowana, gdy istnieje rozsądna podaż nieoznaczonych danych normalnych wraz z małym zalążkiem potwierdzonych instancji normalnych, oraz gdy wyrocznia (ekspert ludzki lub automatyczny tester) może oznaczyć zapytane punkty. Unikać, gdy wskaźnik anomalii jest tak niski, że nawet aktywne zapytania rzadko trafiają na anomalie, gdy przestrzeń cech jest ekstremalnie wysokowymiarowa bez sensownego mapowania jądra, lub gdy wymagany jest w pełni zautomatyzowany potok bez udziału człowieka w pętli.
Ograniczenia i uwagi
- Wydajność jest wrażliwa na wybór jądra i hiperparametru nu; słabe wartości domyślne mogą prowadzić do granicy, która jest zbyt ciasna lub zbyt luźna.
- Skalowalność jest ograniczona: koszt treningu OCSVM rośnie w przybliżeniu kwadratowo z liczbą wektorów nośnych, co czyni go wolnym na dużych zbiorach danych.
- Jeśli początkowy oznaczony zalążek nie jest reprezentatywny dla prawdziwego obszaru normalnego, wczesne zapytania mogą wprowadzić model w błąd.
- Aktywne uczenie zakłada dostępność i niezawodność wyroczni; szumne lub niespójne etykietowanie pogarsza granicę.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Znacząco zmniejsza liczbę etykiet eksperckich potrzebnych do zbudowania skutecznego detektora anomalii.
- Dobrze radzi sobie z danymi wysokowymiarowymi dzięki mapowaniom jądra, w szczególności jądru RBF.
- Nie wymaga przykładów anomalii podczas inicjalizacji — uruchamia się tylko z danych normalnych.
- Strategia aktywnego zapytania koncentruje wysiłek adnotacyjny na najbardziej istotnym dla decyzji obszarze przestrzeni.
- Granica OCSVM jest odporna na wartości odstające w zbiorze treningowym dzięki hiperparametrowi nu.
Zastosowania
- Wykrywanie intruzji sieciowych i anomalii w cyberbezpieczeństwie z ograniczoną liczbą etykiet ataków.
- Monitorowanie usterek urządzeń przemysłowych za pomocą strumieni czujników z rzadkimi zdarzeniami awarii.
- Wykrywanie oszustw w transakcjach finansowych, gdzie potwierdzone przypadki oszustw są rzadkie i kosztowne w etykietowaniu.
- Medyczne badania przesiewowe rzadkich chorób lub rzadkich zdarzeń, gdzie czas adnotacji eksperckiej jest wiążącym ograniczeniem.
- Wykrywanie nowości w obrazach lub tekście, gdy początkowo dostępny jest tylko korpus przykładów normalnych.
Jak to działa
Jak to działa
Początkowy jednoklasowy SVM jest trenowany na małym zbiorze oznaczonych przykładów normalnych dostępnych na początku. Jądro (zazwyczaj RBF) i hiperparametr nu — który kontroluje ułamek punktów treningowych poza granicą — są ustawiane przed rozpoczęciem iteracji.
Strategia aktywnego uczenia ocenia każdą nieoznaczoną instancję na podstawie jej odległości do granicy decyzyjnej OCSVM. Punkty najbliższe granicy są najbardziej niejednoznaczne; są one szeregowane, a najlepsi kandydaci są wybierani jako zapytania dla wyroczni. Typowe strategie obejmują próbkowanie marginesowe (margin sampling) i warianty ważone gęstością.
Ekspert dziedzinowy (lub tania surogat, taka jak platforma crowdsourcingowa) przypisuje etykietę — normalną lub anomalną — każdej zapytanej instancji. Ten krok jest wąskim gardłem, więc efektywność wyboru zapytań decyduje o ogólnym koszcie.
Nowo oznaczone instancje są dodawane do puli treningowej, a jednoklasowy SVM jest ponownie trenowany. Jeśli dostępne są etykiety anomalii, można je włączyć poprzez dwuklasowe udoskonalenie granicy; jeśli dodawane są tylko etykiety normalne, granica zacieśnia się wokół potwierdzonych danych normalnych.
Pętla powtarza się, aż budżet (maksymalna liczba zapytań) zostanie wyczerpany, wydajność na zbiorze walidacyjnym ustabilizuje się, lub zmiana granicy między iteracjami spadnie poniżej progu. Ostateczny OCSVM jest wdrażany do oceny produkcyjnej.
Częste pułapki
- Dostrajanie nu na zbiorze treningowym bez wydzielonego zbioru walidacyjnego, co prowadzi do zbyt optymistycznej granicy.
- Wybieranie zapytań wyłącznie na podstawie marginesu bez uwzględniania gęstości, co powoduje, że model odpytuje punkty w rzadkich, niereprezentatywnych regionach.
- Traktowanie wszystkich nieoznaczonych danych jako normalnych podczas inicjalizacji bez sprawdzania zanieczyszczeń.
- Zatrzymywanie pętli po zbyt małej liczbie zapytań i raportowanie wydajności na małym zbiorze walidacyjnym, jakby była stabilna.
- Używanie jądra liniowego na danych, gdzie obszar normalny jest niewypukły — jądro musi odpowiadać geometrii klasy normalnej.
Najczęściej zadawane pytania
Jaka jest różnica między tą metodą a standardowym jednoklasowym SVM?
Standardowy jednoklasowy SVM trenuje się raz na wszystkich dostępnych oznaczonych danych. Wariant z aktywnym uczeniem iteruje: trenuje na małym zalążku, odpytuje najbardziej informatywne nieoznaczone punkty, zbiera etykiety i ponownie trenuje. Dzięki temu granica jest dokładniejsza przy znacznie mniejszej liczbie oznaczonych przykładów.
Ile oznaczonych przykładów potrzebuję na początek?
Nawet garstka potwierdzonych przykładów normalnych (już 10–50) może stanowić zalążek dla pierwszego OCSVM. Aktywna pętla następnie strategicznie powiększa zbiór oznaczonych danych. Rozpoczęcie od zbyt małej liczby przykładów grozi niestabilną początkową granicą, która błędnie kieruje wczesne zapytania.
Jakiej strategii zapytań powinienem użyć?
Próbkowanie marginesowe (margin sampling) — odpytywanie instancji najbliższych obecnej granicy decyzyjnej OCSVM — jest najczęstszym wyborem. Warianty ważone gęstością, które preferują również punkty w gęstych regionach przestrzeni wejściowej, zazwyczaj przewyższają czyste próbkowanie marginesowe, gdy dane mają strukturę klastrową.
Jak ocenić wydajność, gdy etykiety anomalii są rzadkie?
Użyj pola pod krzywą ROC (AUC-ROC) lub pola pod krzywą precyzja-odwołanie (AUC-PR) na wydzielonym zbiorze walidacyjnym, który zawiera potwierdzone anomalie. Dokładność jest myląca, gdy anomalie są rzadkie. Jeśli w ogóle nie ma etykiet anomalii, użyj wizualnej inspekcji granicy w niskowymiarowej projekcji.
Kiedy powinienem przełączyć się na inny detektor anomalii?
Jeśli zbiór danych zawiera więcej niż kilka tysięcy instancji, detektory oparte na Isolation Forest lub Autoenkoderach skalują się lepiej. Jeśli masz wystarczająco dużo oznaczonych anomalii do nadzorowanego treningu, standardowy binarny SVM lub klasyfikator oparty na wzmocnieniu gradientowym (gradient boosted classifier) zazwyczaj przewyższy OCSVM.
Pokrewne metody
Źródła
Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.
Otwórz odnośnik DOISkopiowano.Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Otwórz odnośnik do publikacjiSkopiowano.