Bayesowskie autoenkodery do detekcji anomalii
- Autor metody
- Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
- Rok
- 2014–2015
- Typ
- Probabilistic generative model for unsupervised anomaly detection
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Bayesowskie autoenkodery do detekcji anomalii wykorzystują wariacyjny autoenkoder (Variational Autoencoder — VAE) — probabilistyczny model generatywny trenowany na danych normalnych — do wskazywania anomalii na podstawie wysokiego błędu rekonstrukcji lub niskiego prawdopodobieństwa w ramach nauczonego rozkładu.
Traktując przestrzeń utajoną jako rozkład prawdopodobieństwa, a nie stały punkt, dostarcza on wiarygodnych estymacji niepewności wraz z każdą oceną anomalii, co czyni go szczególnie cennym w zadaniach detekcji o wysokiej stawce.
Intuicja stojąca za metodą
Standardowy autoenkoder uczy się kompresować i rekonstruować dane treningowe; obiekty różniące się od zbioru treningowego są słabo rekonstruowane i w ten sposób oceniane jako anomalne. Wersja bayesowska, zazwyczaj implementowana jako wariacyjny autoenkoder, idzie dalej: zamiast kodować każde wejście do pojedynczego punktu w przestrzeni utajonej, koduje je do rozkładu prawdopodobieństwa. Oznacza to, że model wie nie tylko, co jest prawdopodobnie normalne, ale także, jak pewny jest tej oceny. Wyniki anomalii są obliczane jako prawdopodobieństwa rekonstrukcji uśrednione po rozkładzie a posteriori w przestrzeni utajonej, więc niosą ze sobą inherentną niepewność, zamiast być kruchymi estymacjami punktowymi.
Historia
Wariacyjny autoenkoder (Variational Autoencoder) został wprowadzony przez Kingmę i Wellinga w 2014 roku jako zasadnicze ramy dla głębokiego modelowania generatywnego, łączące elastyczność sieci neuronowych z bayesowskim wnioskowaniem o zmiennych utajonych za pomocą sztuczki reparametryzacyjnej. Jego zastosowanie do detekcji anomalii zostało sformalizowane przez Ana i Cho w 2015 roku, którzy pokazali, że prawdopodobieństwo rekonstrukcji — a nie błąd rekonstrukcji — dostarcza bardziej wiarygodnego wyniku anomalii. Od tego czasu bayesowskie autoenkodery stały się standardowym narzędziem w badaniach nad nienadzorowaną detekcją anomalii, z rozszerzeniami na szeregi czasowe, dane grafowe i ustawienia federacyjne.
Kiedy stosować
Użyj Bayesowskich Autoenkoderów do Detekcji Anomalii, gdy dysponujesz obfitymi, nieoznakowanymi danymi normalnymi, ale masz niewiele lub brak potwierdzonych etykiet anomalii, przestrzeń wejściowa jest wysokowymiarowa (np. obrazy, tablice czujników, wielokanałowe szeregi czasowe lub szerokie dane tabelaryczne), a potrzebujesz estymacji niepewności wraz z wynikami anomalii do podejmowania dalszych decyzji (np. obrazowanie medyczne, wykrywanie oszustw, przemysłowa kontrola jakości). Metoda ta przewyższa prostsze metody, takie jak Isolation Forest czy One-Class SVM, gdy rozmaitość danych normalnych jest złożona i nieliniowa. Nie używaj jej, gdy Twój zbiór danych jest mały (mniej niż kilkaset próbek), Twoje dane wejściowe są niskowymiarowe o liniowej strukturze (klasyczne metody statystyczne są prostsze i bardziej interpretowalne), potrzebujesz ścisłej przepustowości w czasie rzeczywistym bez akceleracji GPU, lub gdy dostępna jest jawna klasa anomalii i możliwa jest klasyfikacja nadzorowana.
Ograniczenia i uwagi
- Wymaga znacznych danych treningowych przykładów normalnych; rzadkie lub heterogeniczne dane klasy normalnej pogarszają wydajność.
- Trening jest kosztowny obliczeniowo — akceleracja GPU jest zazwyczaj potrzebna dla nietrywialnych rozmiarów wejściowych.
- Wybory hiperparametrów (wymiar utajony, głębokość architektury, waga beta członu KL) silnie wpływają na wyniki i wymagają starannego strojenia.
- Zapadanie się rozkładu a posteriori (posterior collapse) — częsta patologia VAE, w której koder ignoruje wejście — może po cichu pogarszać wyniki anomalii.
- Interpretacja, dlaczego konkretna próbka jest oznaczona jako anomalna, pozostaje trudna bez dodatkowej analizy post-hoc.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Dostarcza skalibrowane estymacje niepewności dla każdego wyniku anomalii, wspierając podejmowanie decyzji uwzględniających ryzyko.
- Obsługuje wysokowymiarowe i nieliniowe rozkłady danych, które są trudne dla metod liniowych lub jądrowych.
- Całkowicie nienadzorowana: do treningu nie są wymagane etykiety anomalii.
- Nauczona przestrzeń utajona może być wizualizowana i interpretowana w celu zrozumienia, jakie wzorce model uważa za normalne.
- Elastyczna architektura pozwala na włączanie dziedzinowych rozkładów a priori i ustrukturyzowanych przestrzeni utajonych.
- Prawdopodobieństwo rekonstrukcji jest bardziej zasadne niż surowy błąd średniokwadratowy, zmniejszając wrażliwość na arbitralne skalowanie.
Zastosowania
- Wykrywanie wad przemysłowych w produkcji za pomocą danych z inspekcji wizualnej.
- Detekcja anomalii w obrazowaniu medycznym (np. wykrywanie zmian w skanach MRI trenowanych wyłącznie na zdrowych osobach).
- Wykrywanie intruzji w sieci, gdzie normalne wzorce ruchu są obfite, ale ataki są rzadkie i różnorodne.
- Wykrywanie oszustw finansowych, gdy oznakowane przypadki oszustw są niedostępne lub szybko się dezaktualizują.
- Konserwacja predykcyjna za pomocą detekcji anomalii w tablicach czujników na maszynach przemysłowych.
- Kontrola jakości danych naukowych, oznaczanie nietypowych obserwacji w eksperymentalnych zbiorach danych.
Jak to działa
Jak to działa
Sieć neuronowa kodera mapuje każde wejście x na parametry (średnią i wariancję) gaussowskiego rozkładu a posteriori dla zmiennej utajonej z, wychwytując niepewność modelu co do skompresowanej reprezentacji, zamiast zobowiązywać się do pojedynczego kodu.
Wzór
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))Kody utajone są losowane za pomocą sztuczki reparametryzacyjnej (reparameterisation trick) — dodawania skalowanego szumu do średniej a posteriori — co sprawia, że krok próbkowania jest różniczkowalny, dzięki czemu cała sieć może być trenowana za pomocą propagacji wstecznej.
Wzór
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)Sieć dekodera mapuje próbkowane kody utajone z powrotem do rozkładów rekonstrukcji w przestrzeni wejściowej, ucząc się procesu generatywnego danych normalnych.
Wzór
p_{\theta}(x|z)Trening maksymalizuje dolną granicę dowodową (Evidence Lower BOund — ELBO): oczekiwaną log-wiarygodność rekonstrukcji minus dywergencję KL, która utrzymuje rozkład a posteriori blisko standardowego rozkładu a priori Gaussa. Podczas treningu wykorzystywane są wyłącznie dane normalne (in-distribution).
Wzór
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))Podczas wnioskowania, wynik anomalii jest obliczany jako ujemna oczekiwana log-wiarygodność wejścia pod dekoderem, uśredniona po wielu próbkach a posteriori. Wysokie wyniki wskazują na wejścia, których model nie jest w stanie dobrze zrekonstruować w ramach swojego nauczonego rozkładu danych normalnych.
Wzór
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]Częste pułapki
- Trenowanie na zanieczyszczonym zbiorze danych, który zawiera anomalie w klasie „normalnej”, powodując, że model uczy się anomalnych wzorców jako normalnych.
- Arbitralne wybieranie progu wyniku anomalii zamiast używania odłożonego zbioru walidacyjnego znanych przykładów normalnych.
- Ignorowanie zapadania się rozkładu a posteriori podczas treningu, co może sprawić, że błąd rekonstrukcji będzie jednolicie nieinformacyjny.
- Porównywanie surowych błędów rekonstrukcji między zbiorami danych o różnych skalach wejściowych bez normalizacji.
- Ocena wyłącznie na podstawie dokładności na bardzo niezbalansowanych zbiorach testowych zamiast używania AUROC lub średniej precyzji.
Najczęściej zadawane pytania
Czym różni się to od standardowego (deterministycznego) autoenkodera do detekcji anomalii?
Standardowy autoenkoder mapuje wejścia na stałe kody utajone i ocenia anomalie na podstawie błędu rekonstrukcji. Bayesowski (wariacyjny) autoenkoder mapuje wejścia na rozkłady utajone i ocenia anomalie na podstawie prawdopodobieństwa rekonstrukcji uśrednionego po próbkach a posteriori. Probabilistyczna formuła daje bardziej wiarygodne wyniki i jawną niepewność, kosztem większej złożoności treningu.
Jaki wymiar utajony powinienem wybrać?
Wymiar utajony powinien być wystarczająco duży, aby uchwycić strukturę danych normalnych, ale wystarczająco mały, aby zapobiec zapamiętywaniu przez model pojedynczych próbek. Zacznij od wymiaru około 5–20% wymiaru wejściowego i dostrój go za pomocą jakości rekonstrukcji na odłożonym zbiorze normalnym.
Czy potrzebuję sprzętu GPU do uruchomienia tej metody?
Dla danych tabelarycznych o umiarkowanej szerokości (mniej niż kilkaset cech) procesor CPU jest wykonalny, ale trening będzie powolny. Dla danych obrazowych lub wysokowymiarowych danych z czujników zdecydowanie zalecane jest GPU. Wnioskowanie (ocenianie) jest zazwyczaj znacznie szybsze niż trening.
Jak ustawić próg anomalii?
Próg nie jest uczony podczas treningu. Użyj odłożonego zbioru potwierdzonych próbek normalnych i wybierz percentyl wyniku (np. 95. lub 99.), który daje akceptowalny w Twojej dziedzinie wskaźnik fałszywie pozytywnych. Unikaj wybierania progu na tych samych danych, które są używane do oceny końcowej wydajności.
Czy ta metoda może działać, gdy w zbiorze treningowym pojawiają się pewne anomalie?
Niewielkie zanieczyszczenie (kilka procent) jest często tolerowane, ponieważ model jest optymalizowany pod kątem klasy większościowej. Jednak silne zanieczyszczenie zmienia to, czego model uczy się jako „normalne” i powinno być zminimalizowane poprzez jak najdokładniejsze oczyszczenie danych treningowych.
Pokrewne metody
Źródła
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).
Otwórz odnośnik do publikacjiSkopiowano.An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.
Otwórz odnośnik do publikacjiSkopiowano.