Przejdź do treści
Wróć do wyników wyszukiwania

Isolation Forest

Autor metody
Liu, F.T., Ting, K.M. & Zhou, Z.-H.
Rok
2008
Typ
Unsupervised ensemble (random partitioning trees)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Isolation Forest to metoda uczenia maszynowego bez nadzoru służąca do wykrywania anomalii i wartości odstających, wprowadzona przez Liu, Ting i Zhou w 2008 roku, która izoluje anomalie poprzez losowe partycjonowanie danych.

Działa bez etykietowanych danych anomalii i skaluje się do zbiorów danych o wysokiej wymiarowości.

Intuicja stojąca za metodą

Podstawowa idea jest prosta: anomalie są nieliczne i odmienne, więc łatwo je oddzielić od reszty danych. Jeśli będziesz stale losowo dzielić dane, normalny punkt znajdzie się w gęstym regionie i będzie wymagał wielu podziałów do izolacji, podczas gdy wartość odstająca znajduje się z boku i zostanie odcięta po kilku podziałach. Zliczenie, ile podziałów potrzeba do wyizolowania każdego punktu, przekształca tę intuicję w wynik anomalii.

Historia

Isolation Forest został zaproponowany przez Fei Tony Liu, Kai Ming Ting i Zhi-Hua Zhou w 2008 roku na konferencji IEEE International Conference on Data Mining. Wprowadził on inną filozofię wykrywania wartości odstających: zamiast profilowania normalnych danych i mierzenia odchyleń, izoluje anomalie bezpośrednio poprzez losowe partycjonowanie, wykorzystując fakt, że anomalie są nieliczne i odmienne. Podejście to stało się szeroko stosowanym, skalowalnym narzędziem do nienadzorowanego wykrywania anomalii w danych o wysokiej wymiarowości.

Kiedy stosować

Używaj Isolation Forest do wykrywania anomalii lub wartości odstających w danych ciągłych, potencjalnie o wysokiej wymiarowości, przekrojowych lub szeregach czasowych z co najmniej około 50 obserwacjami, zwłaszcza gdy nie masz etykietowanych anomalii, na których można się uczyć. Nie potrzebuje etykietowanych danych anomalii i dobrze się skaluje wraz ze wzrostem liczby cech; podajesz parametr zanieczyszczenia wyrażający oczekiwany wskaźnik anomalii. Przy mniej niż około 50 obserwacjach granica między punktami normalnymi a anomalnymi staje się niewiarygodna, a metody statystycznego wykrywania wartości odstających lub PCA są bezpieczniejsze.

Ograniczenia i uwagi

  • Na małych próbkach (n poniżej około 50) granica między punktami normalnymi a anomalnymi jest niejasna, a wskaźnik fałszywie pozytywnych jest wysoki.
  • Bez wystarczającej liczby rzeczywistych anomalii parametr zanieczyszczenia staje się bez znaczenia, a preferowane są statystyczne metody wykrywania wartości odstających.
  • Zwraca wyniki anomalii, a nie interpretowalne współczynniki lub jawne reguły.
  • Wyniki zależą od wybranej wartości zanieczyszczenia, którą należy ustawić na podstawie wiedzy dziedzinowej.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Nienadzorowana: nie wymaga etykietowanych danych anomalii do oznaczania wartości odstających.
  • Dobrze skaluje się do danych o wysokiej wymiarowości.
  • Bezpośrednio izoluje anomalie, zamiast modelować cały normalny rozkład, co zapewnia jej wydajność.
  • Pojedynczy parametr zanieczyszczenia wyraża oczekiwany wskaźnik anomalii i określa próg oznaczania.

Zastosowania

  • Nienadzorowane wykrywanie wartości odstających i anomalii w danych ciągłych.
  • Przesiewanie zbiorów danych o wysokiej wymiarowości, w których nie istnieją etykietowane anomalie.
  • Oznaczanie nietypowych obserwacji w danych przekrojowych lub szeregach czasowych przed modelowaniem.
  • Kontrola jakości danych i eksploracyjne wykrywanie nieregularnych rekordów.

Jak to działa

Jak to działa

1

Isolation Forest odwraca zwykłą logikę wykrywania wartości odstających. Zamiast budować profil normalnych punktów i oznacza cokolwiek, co od niego odbiega, bezpośrednio wykorzystuje fakt, że anomalie są nieliczne i odmienne, a zatem szybsze do wyizolowania. Ponieważ nie potrzebuje etykietowanych anomalii, jest w pełni nienadzorowana i dobrze skaluje się do danych o wysokiej wymiarowości.

2

Metoda buduje wiele losowych drzew partycjonujących. W każdym drzewie dane są rekursywnie dzielone przez losowy wybór cechy i losową wartość podziału, dzieląc przestrzeń na coraz mniejsze regiony, aż każdy punkt znajdzie się sam. Izolacja normalnego punktu — ukrytego w zatłoczonym regionie — wymaga wielu takich podziałów, podczas gdy anomalia znajdująca się na uboczu jest oddzielana po kilku.

3

Długość ścieżki każdego punktu — liczba podziałów potrzebnych do jego izolacji — jest uśredniana w całym lesie i przekształcana w wynik anomalii: krótkie średnie ścieżki oznaczają prawdopodobne anomalie, długie ścieżki oznaczają prawdopodobne normalne punkty. Parametr zanieczyszczenia, czyli oczekiwana proporcja anomalii, określa próg, który decyduje, które punkty zostaną ostatecznie oznaczone jako wartości odstające.

Wzór
s(x) = 2^{-\frac{E(h(x))}{c(n)}}

Częste pułapki

  • Uruchamianie jej na mniej niż około 50 obserwacjach i ufanie oznaczonym anomaliom.
  • Ustawianie parametru zanieczyszczenia bez wystarczającej liczby rzeczywistych anomalii w danych, aby go wesprzeć.
  • Traktowanie wyników anomalii jako dokładnych prawdopodobieństw, a nie względnego rankingu.
  • Ignorowanie skalowania cech i wpływu nieistotnych cech na losowe podziały.

Najczęściej zadawane pytania

Czy potrzebuję etykietowanych anomalii do użycia Isolation Forest?

Nie. Jest to metoda nienadzorowana, która izoluje anomalie poprzez losowe partycjonowanie, więc nie potrzebuje etykietowanych danych anomalii do działania.

Co robi parametr zanieczyszczenia?

Wyraża on oczekiwaną proporcję anomalii w danych i określa próg, który decyduje, które punkty zostaną ostatecznie oznaczone jako wartości odstające. Bez wystarczającej liczby rzeczywistych anomalii w danych parametr ten staje się bez znaczenia.

Dlaczego metoda ma problemy z małymi próbkami?

Przy mniej niż około 50 obserwacjach granica między punktami normalnymi a anomalnymi jest niejasna, a wskaźnik fałszywie pozytywnych jest wysoki. W takim przypadku bezpieczniejszymi alternatywami są statystyczne metody wykrywania wartości odstających lub PCA.

Jak są oceniane anomalie?

Średnia długość ścieżki każdego punktu w losowych drzewach — liczba podziałów potrzebnych do jego izolacji — jest przekształcana w wynik anomalii. Krótkie średnie ścieżki wskazują na prawdopodobne anomalie; długie ścieżki wskazują na prawdopodobne normalne punkty.

Pokrewne metody

Źródła

  1. Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.

    Otwórz odnośnik DOI
    Skopiowano.