Przejdź do treści
Wróć do wyników wyszukiwania

Wykrywanie anomalii z wykorzystaniem autoenkoderów i aktywnego uczenia

Autor metody
Multiple (Guo et al.; Pimentel et al.)
Rok
2014–2018
Typ
Active learning + unsupervised deep anomaly detection hybrid
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Wykrywanie anomalii z wykorzystaniem autoenkoderów i aktywnego uczenia łączy nienadzorowane punktowanie błędów rekonstrukcji przez autoenkoder z pętlą zapytań w aktywnym uczeniu.

Model oznacza instancje z wysokim błędem jako kandydatów na anomalie, selektywnie prosi ludzkiego orakula o etykietowanie najbardziej informatywnych instancji i iteracyjnie przetrenowuje model — osiągając silne wykrywanie anomalii przy niewielkim budżecie na etykietowanie.

Intuicja stojąca za metodą

Prosty autoenkoder uczy się rekonstruować normalne dane i oznacza wysoki błąd rekonstrukcji jako anomalny, ale nie otrzymuje informacji zwrotnej, czy te oznaczenia są poprawne. Aktywne uczenie dodaje inteligentny krok zapytania: po punktowaniu wszystkich nieetykietowanych próbek system wybiera najbardziej niepewne lub najbardziej błędne kandydatów i prosi eksperta o etykietowanie tylko tych. Każda etykietowana instancja natychmiast poprawia rozumienie przez model tego, co stanowi prawdziwą anomalię w porównaniu z szumem zewnętrznym, dzięki czemu granica wykrywania staje się ostrzejsza przy minimalnym wysiłku anotacyjnym.

Historia

Wykrywanie anomalii oparte na autoenkoderach wyłoniło się z literatury dotyczącej wykrywania nowości w latach 2010., kompleksowo omówionej przez Pimentela i in. (2014). Integracja z aktywnym uczeniem była napędzana praktycznymi ograniczeniami etykietowania w domenach takich jak intruzje sieciowe i monitorowanie medyczne. Pod koniec lat 2010. prace Guo, Görnitz i innych sformalizowały strategie zapytań dostosowane do krajobrazów błędów rekonstrukcji, ustanawiając hybrydę jako uznane podejście w literaturze dotyczącej głębokiego wykrywania anomalii.

Kiedy stosować

Użyj tej metody, gdy masz dużą pulę nieetykietowanych danych z rzadkimi anomaliami, etykietowanie jest kosztowne lub wymaga oceny eksperta, a możesz sobie pozwolić tylko na niewielki budżet anotacyjny. Jest ona dobrze dopasowana do przemysłowego wykrywania usterek, przesiewowego badania medycznego pod kątem anomalii, wykrywania oszustw i wykrywania intruzji, gdzie anomalie są zarówno rzadkie, jak i heterogeniczne. Unikaj jej, gdy masz wystarczająco dużo etykietowanych danych — metody nadzorowane będą działać lepiej — lub gdy orakulum jest niedostępne lub niewiarygodne. Jest również nieodpowiednia, gdy koncepcja anomalii zmienia się tak szybko, że iteracyjne przetrenowanie nie nadąża.

Ograniczenia i uwagi

  • Pętla zapytań wprowadza opóźnienie związane z ludzką interwencją; orakulum musi być dostępne przez cały czas treningu.
  • Wydajność zależy od jakości strategii zapytań — słaba funkcja akwizycji może zmarnować budżet etykietowania na zbędne próbki.
  • Autoenkodery mogą nie wykrywać anomalii, które przypadkowo dobrze się rekonstruują (np. anomalie adwersarialne lub wewnątrz rozkładu).
  • Iteracyjne przetrenowanie głębokich sieci może być kosztowne obliczeniowo, zwłaszcza w przypadku dużych modeli lub danych strumieniowych.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Osiąga silną wydajność wykrywania przy niewielkim budżecie etykietowania, co czyni anotację ekspercką opłacalną.
  • Etap autoenkodera nie wymaga żadnych etykiet do początkowego treningu, co umożliwia użyteczny zimny start przed jakimikolwiek zapytaniami.
  • Aktywne zapytania koncentrują wysiłek anotacyjny na najbardziej informatywnych przypadkach granicznych, poprawiając kalibrację progu anomalii.
  • Elastyczna architektura: rdzeń autoenkodera można zamienić na warianty konwolucyjne, rekurencyjne lub wariacyjne, aby dopasować się do różnych modalności danych.
  • Łączy moc reprezentacji głębokiego uczenia z efektywnością etykietowania aktywnego uczenia.

Zastosowania

  • Przemysłowe wykrywanie usterek i defektów, gdzie etykietowane przykłady usterek są rzadkie i kosztowne do uzyskania.
  • Przesiewowe badanie obrazów medycznych pod kątem anomalii z iteracyjnym anotowaniem przez radiologów.
  • Wykrywanie intruzji sieciowych z etykietowaniem podejrzanego ruchu przez analityków bezpieczeństwa.
  • Wykrywanie oszustw w transakcjach finansowych, gdzie wzorce oszustw ewoluują, a etykietowane przypadki oszustw są nieliczne.
  • Konserwacja predykcyjna dla danych z czujników szeregów czasowych z minimalną liczbą zdarzeń awarii oznaczonych przez inżynierów.

Jak to działa

Jak to działa

1

Autoenkoder jest najpierw trenowany na dostępnych nieetykietowanych danych — idealnie w przeważającej mierze na normalnych próbkach. Koder kompresuje każde wejście do reprezentacji utajonej, a dekoder je rekonstruuje. Sieć uczy się rozmaitości normalnych wzorców, minimalizując błąd rekonstrukcji w całym zbiorze treningowym.

2

Po treningu każda nieetykietowana instancja otrzymuje wynik anomalii równy jej błędowi rekonstrukcji (średni błąd kwadratowy lub średni błąd bezwzględny). Instancje, których autoenkoder nie potrafi dobrze zrekonstruować, odbiegają od nauczonej normalnej rozmaitości i uzyskują najwyższe wyniki.

Wzór
s_i = \|x_i - \hat{x}_i\|^2
3

Funkcja akwizycji aktywnego uczenia — taka jak najwyższy błąd rekonstrukcji, próbkowanie marginesowe lub niepewność z dalszego klasyfikatora — wybiera najbardziej informatywne nieetykietowane instancje i przedstawia je ludzkiemu orakulu do etykietowania. W każdej iteracji wydawany jest tylko niewielki budżet zapytań.

4

Nowo etykietowane instancje są włączane do zbioru treningowego. Autoenkoder (i ewentualna głowica nadzorowana trenowana na etykietowanych parach anomalii/normalnych) jest przetrenowywany lub dostrajany. Wyniki anomalii są przeliczane, a pętla zapytanie-etykieta-przetrenowanie powtarza się, aż do wyczerpania budżetu anotacyjnego.

5

Wybierany jest próg decyzyjny na błędzie rekonstrukcji — często za pomocą walidacji na etykietowanym podzbiorze — a wszystkie nieetykietowane instancje powyżej niego są klasyfikowane jako anomalie. Informacja zwrotna z aktywnego uczenia sprawia, że wybór tego progu jest bardziej zasadny niż poleganie na arbitralnej kwantyli.

Częste pułapki

  • Trenowanie autoenkodera na zbiorze danych, który już zawiera wiele anomalii, zniekształca bazę rekonstrukcji i pogarsza punktowanie.
  • Użycie samego błędu rekonstrukcji jako funkcji zapytania bez uwzględniania różnorodności prowadzi do powtarzalnych zapytań w gęstych obszarach normalnych.
  • Ignorowanie niezbalansowania klas podczas dostrajania na etykietowanych danych; rzadkie etykiety anomalii wymagają podniesienia wagi lub nadpróbkowania.
  • Ustawienie progu anomalii na nieetykietowanych danych bez użycia etykiet dostarczonych przez orakulum niweczy cel aktywnego uczenia.
  • Zbyt wczesne zakończenie pętli zapytań przed ustabilizowaniem się granicy decyzyjnej i traktowanie początkowych wyników rekonstrukcji jako ostatecznych.

Najczęściej zadawane pytania

Ile etykietowanych zapytań jest zazwyczaj potrzebnych?

Wyniki różnią się w zależności od zbioru danych i rzadkości anomalii, ale badania często pokazują znaczące zyski już przy 20–100 etykietowanych zapytaniach. Kluczem jest to, że strategia aktywnego uczenia koncentruje te zapytania na najbardziej niepewnych próbkach na granicy decyzyjnej, a nie na losowych.

Jakiej strategii zapytań należy użyć?

Najwyższy błąd rekonstrukcji jest najprostszym punktem wyjścia i często konkurencyjny. Bardziej zaawansowane opcje obejmują próbkowanie niepewności z dalszego klasyfikatora binarnego wytrenowanego na etykietowanym podzbiorze lub strategie hybrydowe, które równoważą informatywność z różnorodnością, aby uniknąć zapytań o powtarzalne klastry.

Czy potrzebuję wariacyjnego autoenkodera (VAE) zamiast zwykłego autoenkodera?

Standardowy autoenkoder działa w większości zadań tabelarycznych i sekwencyjnych. VAE zapewniają probabilistyczną przestrzeń utajoną, która może dawać lepsze szacunki niepewności do wyboru zapytań, co czyni je preferowanymi dla danych obrazowych lub gdy ważne są skalibrowane wyniki niepewności.

Jak ocenić wydajność, gdy większość danych jest nieetykietowana?

Użyj etykietowanego przez orakulum podzbioru jako odłożonego zbioru walidacyjnego do obliczenia precyzji, czułości i AUC-ROC. Dla puli nieetykietowanej raportuj rozkłady błędów rekonstrukcji przed i po iteracjach aktywnego uczenia, aby zweryfikować, czy model się poprawia.

Czy mogę tego użyć w ustawieniu strumieniowym lub online?

Tak, ale pętla zapytań musi być dostosowana do reżimu okna przesuwnego lub mini-wsadów. Autoenkoder powinien być aktualizowany przyrostowo, a zarządzanie budżetem musi uwzględniać dryf koncepcji — anomalie widziane na początku mogą różnić się od tych pojawiających się później.

Pokrewne metody

Źródła

  1. Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)

    Otwórz odnośnik do publikacji
    Skopiowano.