Przejdź do treści
Wróć do wyników wyszukiwania

Wykrywanie anomalii za pomocą autoenkodera semisuperwzvisowanego

Autor metody
Ruff, L. et al.; Zong, B. et al.
Rok
2018–2020
Typ
Semi-supervised deep anomaly detection
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Wykrywanie anomalii za pomocą autoenkodera semisuperwzvisowanego polega na trenowaniu neuronowego autoenkodera głównie na normalnych (nieetykietowanych) danych, a następnie wykorzystaniu niewielkiego zbioru etykietowanych anomalii do doprecyzowania granic decyzyjnych, wykrywając anomalie jako próbki o wysokim błędzie rekonstrukcji.

Metoda ta wypełnia lukę między czysto nienadzorowanymi autoenkoderami a w pełni nadzorowanymi klasyfikatorami, gdy etykiety są rzadkie, ale istnieją pewne znane anomalie.

Intuicja stojąca za metodą

Standardowy autoenkoder uczy się dobrze kompresować i rekonstruować normalne dane; anomalie, których nigdy nie widział, rekonstruuje słabo, więc błąd rekonstrukcji je oznacza. Czysto nienadzorowane autoenkodery nie mają punktu odniesienia dla tego, co jest anomalne – wiedzą tylko, co jest normalne. Wariant semisuperwzvisowany wykorzystuje niewielki zbiór etykietowanych anomalii jako przykłady negatywne podczas dostrajania, przybliżając granicę decyzyjną modelu do rzeczywistych anomalii bez potrzeby pełnego nadzoru. Wynikiem jest detektor, który jest zarówno wydajny pod względem danych, jak i lepiej skalibrowany niż każdy z ekstremów z osobna.

Historia

Nienadzorowane wykrywanie anomalii za pomocą autoenkoderów zyskało na popularności po rozwoju głębokiego uczenia około 2014 roku. Zong i in. (ICLR 2018) zintegrowali autoenkodery z modelami mieszanymi Gaussa do nienadzorowanego punktowania anomalii. Ruff i in. (ICLR 2020) sformalizowali wariant semisuperwzvisowany, demonstrując, że nawet garść etykietowanych anomalii znacznie poprawia wykrywanie w porównaniu do czysto nienadzorowanych punktów odniesienia, ustanawiając szeroko stosowane dzisiaj ramy.

Kiedy stosować

Zalecane, gdy dysponujesz obfitymi nieetykietowanymi danymi, które są przeważnie normalne, a także niewielkim, ale wiarygodnym zbiorem potwierdzonych anomalii, a standardowe nienadzorowane detektory anomalii generują zbyt wiele fałszywych pozytywów. Szczególnie skuteczne dla danych o wysokiej wymiarowości lub nieliniowych, takich jak sygnały z czujników, ruch sieciowy lub obrazy, gdzie tradycyjne metody (np. one-class SVM) słabo skalują się. Nie używaj, gdy etykietowane anomalie są niedostępne (preferuj nienadzorowane autoenkodery) lub gdy masz wystarczająco dużo etykiet do pełnego nadzorowanego klasyfikatora. Unikaj stosowania przy bardzo małych zbiorach danych (mniej niż kilkaset próbek), gdzie głęboka sieć nie może się generalizować.

Ograniczenia i uwagi

  • Wymaga starannego podziału: jeśli pula nieetykietowanych danych zawiera wiele anomalii, wstępne trenowanie jest zanieczyszczone, a wydajność znacznie spada.
  • Głębokie autoenkodery są kosztowne obliczeniowo w trenowaniu i dostrajaniu w porównaniu do metod płytkich.
  • Interpretowalność jest ograniczona; sygnał błędu rekonstrukcji nie wyjaśnia, które cechy spowodowały anomalię.
  • Wrażliwość na wybór głębokości architektury, wymiaru latentnego i wag straty między celami nienadzorowanymi a nadzorowanymi.
  • Wybór progu nie jest trywialny i musi być walidowany na odłożonym zbiorze etykietowanych danych, aby uniknąć arbitralnych odcięć.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Skutecznie wykorzystuje duże ilości nieetykietowanych normalnych danych wraz z rzadkimi etykietowanymi anomaliami, maksymalizując efektywność danych.
  • Radzi sobie z przestrzeniami cech o wysokiej wymiarowości i nieliniowych znacznie lepiej niż metody oparte na jądrach, takie jak one-class SVM.
  • Wynik anomalii (błąd rekonstrukcji) jest ciągły, co umożliwia precyzyjne dostrajanie progu w celu dopasowania do wymagań operacyjnych.
  • Wstępne trenowanie na normalnych danych zapewnia silny priorytet, zmniejszając liczbę potrzebnych etykietowanych anomalii w porównaniu do podejścia w pełni nadzorowanego.
  • Architektura jest elastyczna i może zawierać warstwy konwolucyjne, rekurencyjne lub transformatorowe dla obrazów, szeregów czasowych lub tekstu.

Zastosowania

  • Wykrywanie awarii i defektów przemysłowych w strumieniach danych z czujników lub telemetrii, gdzie zdarzenia wadliwe są rzadkie, ale udokumentowane.
  • Wykrywanie anomalii w sieciach i cyberbezpieczeństwie z użyciem znanych sygnatur ataków jako etykietowanych punktów wyjścia.
  • Przesiewanie obrazów medycznych lub danych klinicznych, gdzie potwierdzone przypadki patologiczne są rzadkie.
  • Wykrywanie oszustw finansowych łączące obfite normalne transakcje z niewielką liczbą potwierdzonych transakcji oszukańczych.
  • Potokowe utrzymanie predykcyjne, gdzie historyczne zapisy awarii służą jako etykietowane przykłady anomalii.

Jak to działa

Jak to działa

1

Zbiór treningowy jest podzielony na dużą pulę nieetykietowanych danych (zakładanych jako głównie normalne) i mały, starannie dobrany zbiór etykietowanych anomalii. Ten podział odzwierciedla rzeczywisty niedobór potwierdzonych etykiet anomalii, jednocześnie wykorzystując dostępny sygnał prawdy podstawowej.

2

Sieć typu enkoder-dekoder jest wstępnie trenowana na puli nieetykietowanych danych w celu minimalizacji straty rekonstrukcji, ucząc się zwartej reprezentacji latentnej normalnych wzorców. Ta faza buduje podstawowe pojęcie tego, jak wygląda normalność, bez potrzeby używania jakichkolwiek etykiet.

3

W drugiej fazie uwzględniane są etykietowane anomalie – albo poprzez dodanie głowicy klasyfikacyjnej, albo poprzez zastosowanie straty kontrastowej lub hipersferycznej (jak w rozszerzeniach Deep SVDD), albo poprzez karanie niskiego błędu rekonstrukcji dla znanych anomalii. To odsuwa granicę decyzyjną od potwierdzonych punktów nienormalnych.

4

W czasie wnioskowania każda próbka jest przepuszczana przez wytrenowany autoenkoder. Wynik anomalii to zazwyczaj błąd rekonstrukcji (średni błąd kwadratowy między wejściem a wyjściem). Opcjonalnie wykorzystuje się również odległość w przestrzeni latentnej od centroidu klasy normalnej.

Wzór
s(x) = \|x - \hat{x}\|^2
5

Wybierany jest próg wyniku anomalii – przy użyciu etykietowanych anomalii, krzywej precyzji-czułości lub docelowego wskaźnika fałszywych pozytywów – w celu uzyskania binarnej etykiety normalny/anomalny. Wybór progu bezpośrednio wpływa na kompromis między precyzją a czułością.

Częste pułapki

  • Zanieczyszczenie puli nieetykietowanych danych niewykrytymi anomaliami, co podważa reprezentację danych normalnych.
  • Traktowanie błędu rekonstrukcji jako skalibrowanego prawdopodobieństwa bez odpowiedniej kalibracji progu względem przykładów etykietowanych.
  • Użycie pojedynczego podziału na zbiór treningowy/testowy bez walidacji krzyżowej, co prowadzi do nadmiernie optymistycznych oszacowań wydajności dla rzadkich klas anomalii.
  • Wybór wymiaru latentnego bez eksperymentów, albo zbyt mały (utrata informacji), albo zbyt duży (autoenkoder rekonstruuje anomalie tak samo dobrze jak dane normalne).
  • Ignorowanie niezbalansowania klas przy obliczaniu metryk oceny – dokładność jest bezużyteczna przy ekstremalnym niezbalansowaniu; zamiast tego użyj AUROC i średniej precyzji.

Najczęściej zadawane pytania

Ile etykietowanych anomalii jest potrzebnych?

Metoda może działać z zaledwie kilkunastoma potwierdzonymi anomaliami, ale wydajność znacznie poprawia się do kilkuset. Kluczem jest to, że etykietowane anomalie powinny obejmować główne typy nienormalnych zachowań występujących w danej dziedzinie.

Co jeśli moja nieetykietowana pula zawiera ukryte anomalie?

Zanieczyszczenie nieetykietowanych danych jest największym trybem awarii. Zastosuj wstępny filtr nienadzorowany (np. isolation forest), aby usunąć oczywiste wartości odstające z puli do wstępnego trenowania przed dostrajaniem.

Jak wybrać próg błędu rekonstrukcji?

Użyj swojego zbioru etykietowanych anomalii i krzywej precyzji-czułości, aby wybrać próg odpowiadający Twojej tolerancji operacyjnej na fałszywe pozytywy i fałszywe negatywy. Nigdy nie wybieraj progu na tych samych danych, które były używane do trenowania modelu.

Czy to jest lepsze niż one-class SVM lub isolation forest?

Na danych o wysokiej wymiarowości lub nieliniowych z co najmniej kilkoma etykietowanymi anomaliami, autoenkodery semisuperwzvisowane zazwyczaj przewyższają one-class SVM i isolation forest. Na danych tabelarycznych o niskiej wymiarowości z bardzo małymi próbkami, prostsze metody mogą dorównać lub przewyższyć jego wydajność przy niższych kosztach.

Jakie metryki oceny należy raportować?

Raportuj AUROC i średnią precyzję (pole pod krzywą precyzji-czułości) na odłożonym zbiorze testowym, który zachowuje rzeczywistą częstość występowania anomalii. Dokładność i F1 przy ustalonym progu powinny być metrykami drugorzędnymi, z podanym uzasadnieniem progu.

Pokrewne metody

Źródła

  1. Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).

    Otwórz odnośnik do publikacji
    Skopiowano.