Przejdź do treści
Wróć do wyników wyszukiwania

Wykrywanie anomalii metodą autoenkoderów zespołowych

Autor metody
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
Rok
2017
Typ
Ensemble unsupervised anomaly detection
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Wykrywanie anomalii metodą autoenkoderów zespołowych polega na trenowaniu wielu sieci neuronowych typu autoenkoder na danych należących do klasy normalnej i agregowaniu ich błędów rekonstrukcji w celu uzyskania solidnego wyniku anomalii.

Łącząc różnorodne autoenkodery, zamiast polegać na jednym, metoda stabilizuje rankingi wartości odstających i zmniejsza wrażliwość na losową inicjalizację lub nieoptymalne wybory architektury.

Intuicja stojąca za metodą

Pojedynczy autoenkoder uczy się kompresować, a następnie rekonstruować obserwacje normalne; anomalie są słabo kompresowane i generują wysoki błąd rekonstrukcji. Problem polega na tym, że wynik anomalii pojedynczego autoenkodera jest niestabilny — zależy od konkretnej losowej inicjalizacji i architektury. Zespół trenuje wiele autoenkoderów na różnych losowych podzbiorach cech lub danych, a następnie uśrednia ich błędy rekonstrukcji. Indywidualne cechy każdej sieci wzajemnie się znoszą, co prowadzi do stabilniejszego, bardziej wiarygodnego sygnału anomalii, który jest trudniejszy do oszukania i łatwiejszy do progowania.

Historia

Wykrywanie anomalii oparte na autoenkoderach zyskało popularność po pracy Hintona i Salakhutdinova z 2006 roku nad głębokimi autoenkoderami, gdzie wysoki błąd rekonstrukcji pojawił się jako naturalny sygnał wartości odstającej. Rozszerzenie zespołowe zostało sformalizowane przez Chena, Sathe'a, Aggarwala i Turagę na konferencji SIAM Data Mining w 2017 roku, którzy wykazali, że dywersyfikacja autoenkoderów poprzez bagging cech niezawodnie przewyższa każdy pojedynczy model. Podejście to pojawia się obecnie rutynowo w przemysłowych potokach wykrywania anomalii dla intruzji sieciowych, konserwacji predykcyjnej i monitorowania medycznego.

Kiedy stosować

Stosuj, gdy masz przeważnie nieoznakowane dane i chcesz wykryć rzadkie anomalie w wysokowymiarowych cechach ciągłych — na przykład strumieniach z czujników, logach transakcji lub sygnałach medycznych — a pojedynczy autoenkoder wykazał niestabilność w kolejnych uruchomieniach. Skuteczne również, gdy brak jest etykiet anomalii i potrzebujesz nienadzorowanej podstawy o lepszej stabilności niż pojedyncza sieć. Unikaj, gdy zbiór danych jest bardzo mały (mniej niż kilkaset normalnych obserwacji na cechę), ponieważ autoenkodery nie nauczą się sensownej rozmaitości. Nie używaj do danych kategorycznych lub rzadkich danych tekstowych bez odpowiedniego wstępnego przetwarzania osadzania, i nie używaj, gdy wystarczający jest pojedynczy, dobrze dostrojony las izolacji (isolation forest) lub SVM jednej klasy (one-class SVM), ponieważ zespoły zwiększają czas treningu i złożoność.

Ograniczenia i uwagi

  • Trenowanie K autoenkoderów zwielokrotnia wymagania obliczeniowe i pamięciowe; duże zespoły na głębokich sieciach są kosztowne.
  • Zakłada, że anomalie charakteryzują się wysokim błędem rekonstrukcji — anomalie adwersarialne lub strukturalne, które leżą na nauczonej rozmaitości, mogą zostać pominięte.
  • Wrażliwe na proporcję anomalii w danych treningowych; silne zanieczyszczenie degraduje nauczoną rozmaitość normalną.
  • Wybory hiperparametrów (liczba modeli, architektura, funkcja agregacji) wymagają danych walidacyjnych lub wiedzy dziedzinowej.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Zmniejsza wariancję wyników anomalii w porównaniu do pojedynczego autoenkodera, zapewniając stabilniejsze rankingi w różnych losowych ziarnach.
  • Agregacja różnorodnych detektorów wychwytuje różne aspekty normalności, poprawiając kompletność (recall) dla heterogenicznych typów anomalii.
  • W pełni nienadzorowane — nie są wymagane etykiety anomalii, tylko dane normalne lub mieszane nieoznakowane.
  • Skaluje się do wysokowymiarowych danych ciągłych, gdzie metody oparte na odległości, takie jak wykrywanie anomalii k-NN, ulegają degradacji.
  • Kompatybilne z szeroką gamą architektur autoenkoderów (zwykłe, wariacyjne, konwolucyjne) w celu dopasowania do struktury danych.
  • Wynik zespołu jest łatwiejszy do wiarygodnego progowania niż wynik pojedynczej sieci, co zmniejsza wysiłek kalibracji.

Zastosowania

  • Wykrywanie intruzji sieciowych na podstawie wysokowymiarowych cech pakietów lub przepływów.
  • Ocena anomalii w konserwacji predykcyjnej na wielowymiarowych szeregach czasowych z czujników.
  • Wykrywanie oszustw finansowych w transakcjach w nieoznakowanych lub słabo oznakowanych strumieniach.
  • Monitorowanie biosygnałów medycznych (ECG, EEG) pod kątem rzadkich wzorców patologicznych.
  • Kontrola jakości w produkcji, gdzie przykłady defektów są rzadkie.
  • Podstawowa nienadzorowana ocena wartości odstających przed kampaniami etykietowania z aktywnym uczeniem.

Jak to działa

Jak to działa

1

K autoenkoderów jest trenowanych niezależnie na (założonych) normalnych danych treningowych, każdy z inną losową inicjalizacją i opcjonalnie różnymi podzbiorami cech wejściowych lub architekturami sieci. Trening zachęca każdą sieć do minimalizowania strat rekonstrukcji na próbkach normalnych, dzięki czemu uczy się ona rozmaitości normalnego zachowania.

2

Dla każdej obserwacji testowej, każdy autoenkoder koduje ją do reprezentacji ukrytej i dekoduje z powrotem. Kwadratowa odległość L2 między oryginalnym wejściem a rekonstrukcją jest wynikiem anomalii dla danej sieci: wysoki błąd sygnalizuje, że obserwacja odbiega od nauczonej rozmaitości normalnej.

Wzór
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2
3

K indywidualnych wyników jest agregowanych w jeden wynik anomalii dla każdej obserwacji — zazwyczaj poprzez uśrednianie, branie maksimum lub zastosowanie kombinacji znormalizowanej rangą. Uśrednianie zmniejsza wariancję; maksimum jest bardziej wrażliwe na wykrycie anomalii przez co najmniej jeden detektor.

Wzór
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})
4

Próg jest stosowany do zagregowanego wyniku w celu oznaczenia obserwacji jako anomalnych. Próg jest zazwyczaj wybierany na podstawie docelowego współczynnika fałszywie pozytywnych na odłożonych danych normalnych, lub poprzez traktowanie górnych p procent wartości wyników jako anomalii, gdy brakuje etykiet prawdziwych.

Częste pułapki

  • Włączanie anomalii do zbioru treningowego bez świadomości — to zanieczyszcza nauczoną rozmaitość normalną i tłumi wyniki anomalii dla zanieczyszczeń.
  • Ocena tylko na zbiorze treningowym bez odłożonej próbki normalnej do kalibracji progu, co prowadzi do nadmiernie pewnych etykiet anomalii.
  • Używanie samego błędu rekonstrukcji bez sprawdzania wkładów poszczególnych wymiarów, co maskuje, które cechy napędzają wynik anomalii.
  • Traktowanie zespołu jako niewymagającego strojenia — liczba autoenkoderów, ich głębokość i funkcja agregacji wpływają na wydajność i powinny być walidowane.
  • Stosowanie metody do zbiorów danych z bardzo małą liczbą obserwacji w stosunku do liczby cech, gdzie autoenkodery nie mogą uogólniać, a każdy punkt wydaje się anomalny.

Najczęściej zadawane pytania

Ile autoenkoderów powinien zawierać zespół?

Badania sugerują malejące korzyści powyżej około 10–20 różnorodnych sieci. Zacznij od 10 i monitoruj, czy zagregowany wynik stabilizuje się w kolejnych uruchomieniach; jeśli nadal się zmienia, dodaj więcej lub zwiększ różnorodność poprzez podpróbkowanie cech.

Jak wprowadzić różnorodność między autoenkoderami?

Typowe strategie obejmują losową inicjalizację, losowe podzbiory cech wejściowych (feature bagging), różne rozmiary wymiarów ukrytych, współczynniki dropout lub różne architektury (płytkie vs. głębokie). Bagging cech jest najprostszy i najskuteczniejszy dla danych tabelarycznych.

Czy dane treningowe muszą być wolne od anomalii?

Idealnie tak, ale umiarkowane zanieczyszczenie (poniżej około 5%) jest tolerowane. Jeśli proporcja anomalii jest wyższa, autoenkoder uczy się je dobrze rekonstruować, a wyniki anomalii maleją. Wstępne filtrowanie za pomocą prostszego detektora (las izolacji) przed trenowaniem autoenkoderów może pomóc.

Jak należy ustawić próg anomalii?

Jeśli masz docelowy współczynnik fałszywie pozytywnych (np. 1%), ustaw próg na odpowiadającym percentylu rozkładu wyników na odłożonych danych normalnych. Bez żadnych etykiet, traktuj górne p% wyników jako anomalie i waliduj z ekspertami dziedzinowymi lub metrykami oceny dalszych etapów.

Kiedy pojedynczy autoenkoder jest lepszy niż zespół?

Gdy zasoby obliczeniowe są poważnie ograniczone, zbiór danych jest mały lub jeden dobrze dostrojony autoenkoder już wykazuje stabilną wydajność w różnych ziarnach. Zespoły dodają wartość głównie, gdy wariancja pojedynczego modelu jest wysoka lub oczekuje się różnorodności anomalii.

Pokrewne metody

Źródła

  1. Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.

    ISBN: 978-3-319-47578-3
    Skopiowano.