Półnadzorowany Isolation Forest
- Autor metody
- Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
- Rok
- 2013–2020
- Typ
- Ensemble anomaly detection (semi-supervised extension)
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Półnadzorowany Isolation Forest rozszerza klasyczny detektor anomalii Isolation Forest poprzez włączenie niewielkiego zbioru oznakowanych anomalii (i ewentualnie normalnych przykładów) obok dużej nieoznakowanej bazy danych.
To ukierunkowanie etykietami dostosowuje wyniki anomalii modelu tak, aby znane anomalie były rozdzielane bardziej niezawodnie, wypełniając lukę między wykrywaniem całkowicie nienadzorowanym a całkowicie nadzorowanym.
Intuicja stojąca za metodą
Standardowy Isolation Forest ocenia anomalie na podstawie szybkości, z jaką losowe drzewo izoluje punkt — anomalie są izolowane w mniejszej liczbie podziałów. Jednakże, bez żadnych etykiet, model nie otrzymuje informacji zwrotnej o tym, co faktycznie stanowi anomalię w danej dziedzinie. Półnadzorowany Isolation Forest wprowadza niewielką liczbę potwierdzonych przykładów (znane anomalie, znane normalne punkty lub oba) i wykorzystuje je do kalibracji lub re-ważenia procesu oceny. Wynikiem jest to, że wrodzona moc rozdzielcza lasu jest kierowana w stronę wzorców anomalii, które faktycznie mają znaczenie, znacznie redukując fałszywe alarmy i pominięte wykrycia, bez konieczności posiadania w pełni oznakowanego zbioru treningowego.
Historia
Isolation Forest został wprowadzony przez Liu, Tinga i Zhou w 2008 roku jako czysto nienadzorowany detektor anomalii oparty na losowym podziale rekursywnym. Uznając, że nawet kilka etykiet może dramatycznie poprawić wykrywanie, badacze od około 2013 roku rozwijali półnadzorowane rozszerzenia, które włączają ukierunkowanie etykietami do procesu oceny lub ważenia drzew. Powiązane podstawy teoretyczne dotyczące nadzorowanego wykrywania anomalii zostały położone przez Görnitz i in. (2013), a praktyczne warianty SSIF pojawiły się w publikacjach stosowanych dotyczących wykrywania oszustw i intruzji sieciowych pod koniec lat 2010.
Kiedy stosować
Użyj Półnadzorowanego Isolation Forest, gdy masz dużą pulę nieoznakowanych danych, koszt pełnego oznakowania jest zaporowy, ale możesz uzyskać etykiety dla co najmniej małego zbioru potwierdzonych anomalii (i opcjonalnie niektórych potwierdzonych normalnych punktów). Jest szczególnie cenny w wykrywaniu rzadkich zdarzeń w cyberbezpieczeństwie, oszustwach, konserwacji predykcyjnej i monitorowaniu medycznym, gdzie eksperci dziedzinowi mogą oznaczyć garstkę znanych incydentów. Nie używaj go, gdy w ogóle nie ma oznakowanych anomalii (preferuj standardowy Isolation Forest lub One-Class SVM), gdy dane są wysokowymiarowe i rzadkie bez wstępnego przetwarzania, lub gdy dostępny jest duży, w pełni oznakowany zbiór (klasyfikator w pełni nadzorowany go przewyższy).
Ograniczenia i uwagi
- Wydajność spada, jeśli oznakowane anomalie nie są reprezentatywne dla rozkładu anomalii w nieoznakowanych danych.
- Optymalny mechanizm integracji etykiet różni się w zależności od implementacji; nie istnieje jeszcze jeden, uniwersalnie dominujący wariant.
- Podobnie jak standardowy iForest, może mieć trudności z anomaliami skupionymi w centrum danych lub z pewnymi rozkładami multimodalnymi.
- Wymaga ostrożności, aby uniknąć wycieku danych podczas oceny: oznakowany zbiór nie może pokrywać się z zestawem testowym.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Osiąga wyższą precyzję i kompletność niż całkowicie nienadzorowany iForest poprzez zakotwiczenie wyników w rzeczywistych oznakowanych anomaliach.
- Wymaga tylko niewielkiej liczby etykiet, co czyni go praktycznym, gdy anotacja jest kosztowna.
- Dziedziczy podliniowy czas treningu i niski ślad pamięciowy iForest, skalując się do dużych zbiorów danych.
- Obsługuje wysokowymiarowe dane tabelaryczne bez założeń dotyczących odległości lub gęstości.
- Redukuje arbitralny wybór progu: oznakowany podzbiór stanowi podstawę do zasadniczej kalibracji.
Zastosowania
- Wykrywanie intruzji sieciowych przy użyciu garstki potwierdzonych próbek ataków obok normalnego ruchu.
- Wykrywanie oszustw finansowych, gdzie dostępny jest tylko niewielki zbiór potwierdzonych oszukańczych transakcji do oznakowania.
- Konserwacja predykcyjna: używanie potwierdzonych zdarzeń awarii do kalibracji wyników anomalii na strumieniach danych z czujników.
- Monitorowanie medyczne: kierowanie oceny anomalii za pomocą potwierdzonych przypadków patologicznych z elektronicznej dokumentacji medycznej.
- Kontrola jakości w produkcji, gdzie tylko podzbiór wadliwych jednostek został niezależnie zweryfikowany.
Jak to działa
Jak to działa
Dostępne dane są dzielone na mały podzbiór oznakowany — zawierający potwierdzone anomalie, potwierdzone normalne punkty lub oba — oraz dużą pulę nieoznakowaną. Podzbiór oznakowany jest celowo mały; uzyskanie pełnych etykiet jest zazwyczaj kosztowne lub niepraktyczne, co jest dokładnie scenariuszem, do którego metoda jest przeznaczona.
Ensemble drzew izolujących jest budowany na losowych podpróbkach pełnego zbioru danych (oznakowanego plus nieoznakowanego), zgodnie ze standardową procedurą iForest: w każdym węźle wewnętrznym losowa cecha i losowa wartość podziału w zakresie tej cechy są wybierane do rekursywnego podziału danych, aż każdy punkt zostanie wyizolowany.
Każda obserwacja otrzymuje wynik anomalii pochodzący z jej średniej długości ścieżki we wszystkich drzewach. Krótsze średnie ścieżki — oznaczające łatwiejszą izolację — dają wyższe wyniki anomalii. Znormalizowany wynik s(x, n) jest mapowany na (0, 1], gdzie wartości bliskie 1 wskazują na silnych kandydatów na anomalie.
Wzór
s(x, n) = 2^{-E[h(x)] / c(n)}Oznakowane przykłady są używane do dostosowania modelu: w zależności od wariantu, może to obejmować re-ważenie drzew lub podziałów, które poprawnie oddzielają znane anomalie od normalnych punktów, dodanie nadzorowanego terminu straty do agregacji wyników, lub wykorzystanie oznakowanego zbioru do nauczenia granicy decyzyjnej na podstawie wyników nienadzorowanych. Ten krok jest decydującą różnicą w stosunku do standardowego iForest.
Próg jest stosowany do dostosowanych wyników anomalii w celu uzyskania binarnych decyzji anomalia / normalność. Podzbiór oznakowany umożliwia wybór progu oparty na danych — na przykład, wybór odcięcia, które maksymalizuje F1 na oznakowanych przykładach — zamiast polegania na arbitralnym percenylu.
Częste pułapki
- Używanie tylko etykiet anomalii i ignorowanie etykiet normalnych, gdy oba są dostępne — uwzględnianie potwierdzonych normalnych punktów może dodatkowo wyostrzyć granicę decyzyjną.
- Ocena na zestawie testowym, który obejmuje oznakowane przykłady treningowe, zawyżając metryki wydajności.
- Wybór progu wyniku anomalii według stałego percenylu zamiast używania oznakowanego zbioru do kalibracji.
- Zakładanie, że metoda jest odporna, gdy oznakowane anomalie obejmują tylko jeden podtyp, podczas gdy pula nieoznakowana zawiera różnorodne wzorce anomalii.
- Zaniedbanie wstępnego przetwarzania cech wysokowymiarowych lub mieszanych typów przed dopasowaniem, co może zniekształcić wybór losowych podziałów.
Najczęściej zadawane pytania
Ile oznakowanych anomalii potrzebuję?
Nawet garstka — czasami zaledwie 10–50 potwierdzonych anomalii — może zapewnić znaczącą kalibrację. Kluczowym wymogiem jest to, aby były one reprezentatywne dla typów anomalii obecnych w puli nieoznakowanej. Bardziej zróżnicowane pokrycie etykietami w różnych podtypach anomalii zazwyczaj przynosi większe korzyści.
Czym to się różni od standardowego Isolation Forest?
Standardowy Isolation Forest jest całkowicie nienadzorowany i ocenia anomalie wyłącznie na podstawie długości ścieżki, bez żadnych informacji zwrotnych z dziedziny. Półnadzorowany Isolation Forest zawiera mały oznakowany zbiór do dostosowania wyników lub wag drzew, kierując model w stronę wzorców anomalii, które są faktycznie istotne w danej dziedzinie i umożliwiają zasadniczą kalibrację progu.
Czy mogę uwzględnić oznakowane normalne punkty, a także anomalie?
Tak, i jest to zazwyczaj korzystne. Oznakowane normalne punkty pomagają modelowi ostrzej rozróżniać przypadki graniczne. Niektóre warianty traktują oznakowany zbiór jako zrównoważony punkt odniesienia do kalibracji funkcji oceny, więc uwzględnienie obu klas, gdy są dostępne, poprawia granicę decyzyjną.
Czy powinienem używać walidacji krzyżowej do oceny modelu?
Tak, ale ostrożnie. Oznakowany podzbiór musi być wykluczony z zestawu testowego lub odpowiednio stratygrafowany, aby uniknąć wycieku danych. Stratygraficzny podział na zbiór treningowy/testowy dla części oznakowanej, w połączeniu z pełną pulą nieoznakowaną do treningu, jest standardową konfiguracją oceny.
Co jeśli moje oznakowane anomalie nie są reprezentatywne?
Dostosowanie kierowane etykietami może przynieść odwrotny skutek, jeśli oznakowane anomalie obejmują tylko wąski wycinek rzeczywistego rozkładu anomalii. W takim przypadku model może przeoczyć nowe typy anomalii, których nigdy nie widział. Zaleca się uzupełnienie półnadzorowanego wykrywania o nienadzorowaną ocenę anomalii i monitorowanie dryfu rozkładu w produkcji.
Pokrewne metody
Źródła
Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.
Otwórz odnośnik do publikacjiSkopiowano.Isolation Forest. Wikipedia.
Otwórz odnośnik do publikacjiSkopiowano.