Przejdź do treści
Wróć do wyników wyszukiwania

Detekcja anomalii za pomocą autoenkoderów

Autor metody
Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
Rok
2006–2014
Typ
Unsupervised deep learning (reconstruction-based)
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Detekcja anomalii za pomocą autoenkoderów polega na trenowaniu sieci neuronowej do kompresji, a następnie rekonstrukcji normalnych danych.

Ponieważ model nauczył się jedynie, jak wyglądają dane normalne, anomalne dane wejściowe generują zauważalnie wyższe błędy rekonstrukcji – i te błędy stają się wynikiem anomalii. Metoda nie wymaga oznakowanych anomalii i naturalnie skaluje się do danych o wysokiej wymiarowości, takich jak strumienie z czujników, obrazy i logi.

Intuicja stojąca za metodą

Autoenkoder jest zmuszony do opisu danych za pomocą mniejszej liczby liczb niż na początku, a następnie do odtworzenia oryginału. Trenowany wyłącznie na normalnych przykładach, staje się bardzo dobry w rekonstrukcji normalnych wzorców i słaby w rekonstrukcji czegokolwiek nietypowego. Błąd rekonstrukcji działa zatem jako naturalny alarm: niski błąd oznacza, że dane wejściowe wyglądają znajomo; wysoki błąd sygnalizuje coś, czego model nigdy wcześniej nie widział i dlatego nie może wiernie odtworzyć. Ustawiając próg dla tego błędu, przekształcasz ciągły wynik w binarną flagę anomalii.

Historia

Autoenkodery jako narzędzia redukcji wymiarowości zostały spopularyzowane przez artykuł Hintona i Salakhutdinova z 2006 roku w Science na temat głębokich sieci wiary (deep belief networks). Ich zastosowanie do detekcji anomalii rozwijało się w latach 2010., wraz z dojrzewaniem uczenia głębokiego; Vincent i in. (2010) wprowadzili autoenkodery odszumiające (denoising autoencoders), a do połowy lat 2010. autoenkodery stały się standardowym punktem odniesienia dla nienadzorowanej detekcji anomalii w domenach przemysłowych i cyberbezpieczeństwa. Przegląd Chalapathy'ego i Chawli z 2019 roku skonsolidował najlepsze praktyki w tej dziedzinie.

Kiedy stosować

Używaj detekcji anomalii za pomocą autoenkoderów, gdy oznakowane przykłady anomalii są rzadkie lub nieobecne, gdy klasa normalna jest dobrze reprezentowana, a wymiarowość danych jest zbyt wysoka dla klasycznych metod, takich jak SVM jednoklasowy. Doskonale sprawdza się w przypadku szeregów czasowych z czujników, logów ruchu sieciowego, obrazowania medycznego i kontroli jakości produkcji. Unikaj jej, gdy normalny rozkład danych jest niezwykle zróżnicowany lub wielomodalny (autoenkoder może nie znaleźć zwartej reprezentacji), gdy masz tylko bardzo mały zbiór danych (głębokie sieci potrzebują wystarczającej ilości danych do generalizacji) lub gdy wystarcza proste, interpretowalne, oparte na regułach progowanie. Nie stosuj jej, gdy dostępne są faktycznie oznakowane dane anomalii – klasyfikatory nadzorowane lub częściowo nadzorowane prawie zawsze będą ją przewyższać w tym scenariuszu.

Ograniczenia i uwagi

  • Wymaga wystarczająco dużej i reprezentatywnej próbki normalnych danych; rzadkie normalne podwzorce mogą być słabo rekonstruowane nawet bez bycia anomalnymi.
  • Ustawienie progu jest heurystyczne i wrażliwe: źle dobrany tau prowadzi do nadmiernej liczby fałszywych alarmów lub przeoczonych anomalii.
  • Interpretowalność jest niska – błąd rekonstrukcji ujawnia, że anomalia istnieje, ale nie które cechy ją spowodowały bez dodatkowej analizy (np. dekompozycji błędu dla poszczególnych cech).
  • Trenowanie głębokich sieci wymaga dostrojenia architektury, współczynnika uczenia i regularyzacji; metoda nie jest tak gotowa do użycia jak isolation forest czy one-class SVM.
  • Jeśli anomalie zanieczyszczą zbiór treningowy, model częściowo uczy się je rekonstruować, obniżając czułość detekcji.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Nie wymaga oznakowanych przykładów anomalii – do trenowania potrzebne są tylko normalne dane.
  • Naturalnie skaluje się do danych wejściowych o wysokiej wymiarowości, takich jak obrazy, szeregi czasowe i strumienie z wielu czujników.
  • Generuje ciągły wynik anomalii, umożliwiając alarmowanie według rankingu zamiast flagi binarnej.
  • Potrafi wychwytywać złożone, nieliniowe wzorce normalne, których metody liniowe, takie jak PCA, nie potrafią reprezentować.
  • Architektura jest elastyczna: warstwy konwolucyjne dla obrazów, warstwy LSTM dla sekwencji, warstwy feedforward dla danych tabelarycznych.

Zastosowania

  • Przemysłowe utrzymanie predykcyjne: wykrywanie usterek maszyn na podstawie strumieni danych z czujników wibracji i temperatury.
  • Cyberbezpieczeństwo: identyfikacja anomalnego ruchu sieciowego lub prób włamań na podstawie logów na poziomie pakietów.
  • Obrazowanie medyczne: oznaczanie zmian patologicznych w obrazach MRI lub CT, gdy dane o oznakowanych zmianach są rzadkie.
  • Wykrywanie oszustw finansowych: wykrywanie nietypowych wzorców transakcji w danych kart kredytowych lub bankowych.
  • Kontrola jakości produkcji: wykrywanie wadliwych produktów na podstawie obrazów z kamer na linii produkcyjnej.
  • Operacje IT: wykrywanie anomalnych metryk serwerów lub aplikacji w potokach AIOps.

Jak to działa

Jak to działa

1

Sieć autoenkodera jest trenowana wyłącznie na danych reprezentujących normalne warunki pracy. Celem jest minimalizacja błędu rekonstrukcji (zazwyczaj średniego błędu kwadratowego) na tym zbiorze treningowym zawierającym tylko dane normalne, dzięki czemu sieć uczy się zwartych reprezentacji wewnętrznych tego, co stanowi dane normalne. Nie są potrzebne żadne etykiety anomalii.

2

Podczas wnioskowania, każde wejście x jest przepuszczane przez enkoder, który kompresuje je do niskowymiarowego wektora utajonego, a następnie przez dekoder, który rekonstruuje wejście z powrotem do pierwotnej przestrzeni. Para enkoder-dekoder jest parametryzowana przez nauczone wagi i przechwytuje geometrię normalnej rozmaitości danych.

Wzór
\hat{x} = f_{\theta}(g_{\phi}(x))
3

Błąd rekonstrukcji e(x) – kwadratowa (lub absolutna) różnica między wejściem a jego rekonstrukcją – jest obliczany dla każdej obserwacji. Ponieważ autoenkoder nauczył się jedynie normalnej rozmaitości, anomalne dane wejściowe znajdują się daleko od tej rozmaitości, generując wysokie błędy.

Wzór
e(x) = \|x - \hat{x}\|^2
4

Wybierany jest próg decyzyjny tau, zazwyczaj z rozkładu błędów rekonstrukcji na odłożonym zbiorze walidacyjnym danych normalnych (np. 95. lub 99. percentyl). Ten próg przekształca ciągły wynik błędu w binarną granicę decyzyjną. Wybór tau stanowi kompromis między fałszywymi alarmami a przeoczonymi anomaliami.

5

Każda obserwacja, której błąd rekonstrukcji przekracza tau, jest oznaczana jako anomalia. Wielkość nadwyżki może również służyć jako wskaźnik pewności, umożliwiając uszeregowanie alertów według priorytetu, zamiast twardej decyzji binarnej.

Wzór
\text{anomaly if } e(x) > \tau

Częste pułapki

  • Trenowanie na zbiorze danych zawierającym anomalie bez ich wcześniejszego usunięcia, przez co model uczy się rekonstruować właśnie te wzorce, które powinien oznaczać.
  • Ustawienie progu na samym zbiorze treningowym zamiast na odłożonym zbiorze walidacyjnym, co prowadzi do optymistycznego progu, który zawodzi wdrożeniu.
  • Porównywanie błędów rekonstrukcji w różnych skalach cech bez normalizacji danych wejściowych, co powoduje, że błąd jest zdominowany przez cechy o wysokiej wariancji.
  • Użycie zbyt dużego wąskiego gardła (bottleneck), pozwalającego autoenkoderowi na naukę odwzorowania tożsamościowego, które wiernie rekonstruuje wszystko – w tym anomalie.
  • Raportowanie tylko binarnych metryk klasyfikacji (dokładność) zamiast precyzji-zasięgu (precision-recall) i AUROC, które są znacznie bardziej informatywne dla niezbalansowanych zadań detekcji anomalii.

Najczęściej zadawane pytania

Jak wybrać rozmiar wąskiego gardła (bottleneck)?

Wąskie gardło musi być wystarczająco małe, aby wymusić kompresję normalnych wzorców, ale wystarczająco duże, aby nie utracić istotnej struktury. Powszechną praktyką jest rozpoczęcie od około 10–30% wymiarowości wejściowej i dostrajanie poprzez inspekcję jakości rekonstrukcji na odłożonych danych normalnych.

Co jeśli moje normalne dane mają wiele modów (np. różne stany pracy maszyny)?

Pojedynczy autoenkoder może nie uczyć się wszystkich modów równie dobrze, generując fałszywe alarmy w niedostatecznie reprezentowanych, ale normalnych stanach. Opcje obejmują trenowanie oddzielnego autoenkodera dla każdego modu, użycie podejścia mieszanego autoenkoderów lub warunkowanie na dostępnym etykiecie modu.

Jak ustawić próg anomalii?

Oblicz błędy rekonstrukcji na czystym, odłożonym zbiorze walidacyjnym danych normalnych i ustaw tau na wysokim percentylu (95. lub 99., w zależności od dopuszczalnego wskaźnika fałszywych alarmów). Jeśli istnieją oznakowane anomalie, dostrój tau, aby zmaksymalizować F1 lub pożądany kompromis między precyzją a zasięgiem.

Jak to się ma do isolation forest lub one-class SVM?

Isolation forest i one-class SVM są generalnie łatwiejsze do dostrojenia i bardziej interpretowalne dla danych tabelarycznych o niskiej lub średniej wymiarowości. Autoenkodery stają się korzystne, gdy wymiarowość jest bardzo wysoka, gdy ważna jest struktura czasowa lub przestrzenna, lub gdy dane wejściowe to surowe piksele lub przebiegi.

Czy mogę zamiast tego użyć wariacyjnego autoenkodera (VAE)?

Tak. VAE uczą się probabilistycznej przestrzeni utajonej i pozwalają na ocenę anomalii poprzez prawdopodobieństwo rekonstrukcji zamiast surowego MSE, co często poprawia kalibrację. Są naturalnym rozszerzeniem, gdy normalny rozkład jest złożony lub gdy potrzebne są dobrze skalibrowane oszacowania niepewności.

Pokrewne metody

Źródła

  1. Chalapathy, R. & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Hinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.

    Otwórz odnośnik DOI
    Skopiowano.