Zum Inhalt springen
Zurück zu den Suchergebnissen

Isolation Forest

Eingeführt von
Liu, F.T., Ting, K.M. & Zhou, Z.-H.
Jahr
2008
Typ
Unsupervised ensemble (random partitioning trees)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Isolation Forest ist eine unüberwachte Methode des maschinellen Lernens zur Erkennung von Anomalien und Ausreißern, die 2008 von Liu, Ting und Zhou eingeführt wurde und Anomalien durch zufällige Partitionierung der Daten isoliert.

Sie arbeitet ohne gekennzeichnete Anomaliedaten und skaliert auf hochdimensionale Datensätze.

Die Intuition hinter der Methode

Die Kernidee ist einfach: Anomalien sind selten und unterscheiden sich, daher lassen sie sich leicht vom Rest der Daten trennen. Wenn man die Daten zufällig weiter aufteilt, befindet sich ein normaler Punkt in einer dichten Region und benötigt viele Schnitte zur Isolierung, während ein Ausreißer separat sitzt und nach nur wenigen Schnitten abgeschnitten wird. Die Zählung, wie viele Schnitte zur Isolierung jedes Punktes benötigt werden, wandelt diese Intuition in einen Anomalie-Score um.

Geschichte

Isolation Forest wurde 2008 von Fei Tony Liu, Kai Ming Ting und Zhi-Hua Zhou auf der IEEE International Conference on Data Mining vorgeschlagen. Es führte eine andere Philosophie für die Ausreißererkennung ein: Anstatt normale Daten zu profilieren und Abweichungen zu messen, isoliert es Anomalien direkt durch zufällige Partitionierung und nutzt aus, dass Anomalien selten und unterschiedlich sind. Der Ansatz wurde zu einem weit verbreiteten, skalierbaren Werkzeug für die unüberwachte Anomalieerkennung auf hochdimensionalen Daten.

Wann wird sie eingesetzt?

Verwenden Sie Isolation Forest zur Erkennung von Anomalien oder Ausreißern in kontinuierlichen, möglicherweise hochdimensionalen, Querschnitts- oder Zeitreihendaten mit mindestens etwa 50 Beobachtungen, insbesondere wenn Sie keine gekennzeichneten Anomalien zum Lernen haben. Es werden keine gekennzeichneten Anomaliedaten benötigt und es skaliert gut, wenn die Anzahl der Merkmale wächst; Sie geben einen Kontaminationsparameter an, der die erwartete Anomalierate ausdrückt. Bei weniger als etwa 50 Beobachtungen wird die Grenze zwischen normalen und anomalen Punkten unzuverlässig und statistische Ausreißermethoden oder PCA sind sicherer.

Grenzen und Hinweise

  • Bei kleinen Stichproben (n unter etwa 50) ist die Grenze zwischen normalen und anomalen Punkten unklar und die falsch-positive Rate ist hoch.
  • Ohne genügend echte Anomalien wird der Kontaminationsparameter bedeutungslos, und statistische Ausreißermethoden sind vorzuziehen.
  • Es gibt Anomalie-Scores zurück, anstatt interpretierbare Koeffizienten oder explizite Regeln.
  • Die Ergebnisse hängen vom gewählten Kontaminationswert ab, der anhand von Domänenwissen festgelegt werden muss.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Unüberwacht: Benötigt keine gekennzeichneten Anomaliedaten, um Ausreißer zu kennzeichnen.
  • Skaliert gut auf hochdimensionale Daten.
  • Isoliert Anomalien direkt, anstatt die gesamte normale Verteilung zu modellieren, was es effizient hält.
  • Ein einzelner Kontaminationsparameter drückt die erwartete Anomalierate aus und legt den Schwellenwert für die Kennzeichnung fest.

Anwendungen

  • Unüberwachte Ausreißer- und Anomalieerkennung in kontinuierlichen Daten.
  • Screening hochdimensionaler Datensätze, bei denen keine gekennzeichneten Anomalien vorhanden sind.
  • Kennzeichnung ungewöhnlicher Beobachtungen in Querschnitts- oder Zeitreihendaten vor der Modellierung.
  • Datenqualitätsprüfungen und explorative Erkennung von unregelmäßigen Datensätzen.

So funktioniert es

So funktioniert es

1

Isolation Forest kehrt die übliche Logik der Ausreißererkennung um. Anstatt ein Profil normaler Punkte zu erstellen und alles zu kennzeichnen, was davon abweicht, nutzt es direkt die Tatsache aus, dass Anomalien selten und unterschiedlich sind und daher schneller zu isolieren sind. Da keine gekennzeichneten Anomalien benötigt werden, ist es vollständig unüberwacht und skaliert gut auf hochdimensionale Daten.

2

Die Methode baut viele zufällige Partitionierungsbäume. In jedem Baum werden die Daten rekursiv aufgeteilt, indem ein Merkmal zufällig ausgewählt und ein zufälliger Teilungswert gewählt wird, wodurch der Raum in immer kleinere Regionen zerlegt wird, bis jeder Punkt allein sitzt. Die Isolierung eines normalen Punktes – begraben in einer überfüllten Region – erfordert viele solcher Partitionen, während eine Anomalie, die für sich allein steht, nach nur wenigen isoliert wird.

3

Die Pfadlänge jedes Punktes – die Anzahl der Schnitte, die zur Isolierung benötigt werden – wird über den gesamten Wald gemittelt und in einen Anomalie-Score umgewandelt: kurze durchschnittliche Pfade bedeuten wahrscheinliche Anomalien, lange Pfade bedeuten wahrscheinliche normale Punkte. Ein Kontaminationsparameter, der erwartete Anteil an Anomalien, legt den Schwellenwert fest, der entscheidet, welche Punkte schließlich als Ausreißer gekennzeichnet werden.

Formel
s(x) = 2^{-\frac{E(h(x))}{c(n)}}

Häufige Fallstricke

  • Die Ausführung auf weniger als etwa 50 Beobachtungen und das Vertrauen in die gekennzeichneten Anomalien.
  • Festlegen des Kontaminationsparameters ohne genügend tatsächliche Anomalien in den Daten, um ihn zu unterstützen.
  • Behandlung der Anomalie-Scores als exakte Wahrscheinlichkeiten anstatt als relative Rangfolge.
  • Ignorieren der Merkmalskalierung und des Einflusses irrelevanter Merkmale auf die zufälligen Teilungen.

Häufig gestellte Fragen

Benötige ich gekennzeichnete Anomalien, um Isolation Forest zu verwenden?

Nein. Es ist eine unüberwachte Methode, die Anomalien durch zufällige Partitionierung isoliert, sodass keine gekennzeichneten Anomaliedaten für den Betrieb benötigt werden.

Was macht der Kontaminationsparameter?

Er drückt den erwarteten Anteil an Anomalien in den Daten aus und legt den Schwellenwert fest, der entscheidet, welche Punkte schließlich als Ausreißer gekennzeichnet werden. Ohne genügend echte Anomalien in den Daten wird dieser Parameter bedeutungslos.

Warum hat es Schwierigkeiten bei kleinen Stichproben?

Bei weniger als etwa 50 Beobachtungen ist die Grenze zwischen normalen und anomalen Punkten unklar und die falsch-positive Rate ist hoch. In diesem Fall sind statistische Ausreißermethoden oder PCA sicherere Alternativen.

Wie werden Anomalien bewertet?

Die durchschnittliche Pfadlänge jedes Punktes über die Zufallsbäume – wie viele Schnitte zur Isolierung benötigt wurden – wird in einen Anomalie-Score umgewandelt. Kurze durchschnittliche Pfade deuten auf wahrscheinliche Anomalien hin; lange Pfade deuten auf wahrscheinliche normale Punkte hin.

Verwandte Methoden

Quellen

  1. Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.

    DOI-Referenz öffnen
    Kopiert.