Isolation Forest
- Introduite par
- Liu, F.T., Ting, K.M. & Zhou, Z.-H.
- Année
- 2008
- Type
- Unsupervised ensemble (random partitioning trees)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'Isolation Forest est une méthode d'apprentissage automatique non supervisé pour la détection d'anomalies et de valeurs aberrantes, introduite par Liu, Ting et Zhou en 2008, qui isole les anomalies par partitionnement aléatoire des données.
Elle fonctionne sans données d'anomalies étiquetées et s'adapte aux ensembles de données de grande dimension.
L’intuition derrière la méthode
L'idée centrale est simple : les anomalies sont rares et différentes, il est donc facile de les séparer du reste des données. Si l'on continue à diviser les données au hasard, un point normal se trouve dans une région dense et nécessite de nombreuses coupes pour être isolé, tandis qu'une valeur aberrante est isolée et coupée après seulement quelques divisions. Compter le nombre de divisions nécessaires pour isoler chaque point transforme cette intuition en un score d'anomalie.
Histoire
L'Isolation Forest a été proposée par Fei Tony Liu, Kai Ming Ting et Zhi-Hua Zhou en 2008 lors de la conférence internationale IEEE sur l'exploration de données (IEEE International Conference on Data Mining). Elle a introduit une philosophie différente pour la détection des valeurs aberrantes : plutôt que de profiler les données normales et de mesurer la déviation, elle isole directement les anomalies par partitionnement aléatoire, exploitant le fait que les anomalies sont rares et différentes. L'approche est devenue un outil largement utilisé et évolutif pour la détection non supervisée d'anomalies sur des données de grande dimension.
Quand l’utiliser
Utilisez l'Isolation Forest pour détecter les anomalies ou les valeurs aberrantes dans des données continues, éventuellement de grande dimension, transversales ou de séries chronologiques avec au moins environ 50 observations, surtout lorsque vous n'avez pas d'anomalies étiquetées à partir desquelles apprendre. Elle n'a pas besoin de données d'anomalies étiquetées et s'adapte bien à mesure que le nombre de caractéristiques augmente ; vous fournissez un paramètre de contamination exprimant le taux d'anomalies attendu. Avec moins d'environ 50 observations, la frontière entre les points normaux et anormaux devient peu fiable et les méthodes statistiques de détection des valeurs aberrantes ou l'analyse en composantes principales (ACP) sont plus sûres.
Limites et points d’attention
- Sur de petits échantillons (n inférieur à environ 50), la frontière entre les points normaux et anormaux est floue et le taux de faux positifs est élevé.
- Sans suffisamment d'anomalies authentiques, le paramètre de contamination devient insignifiant, et les méthodes statistiques de détection des valeurs aberrantes sont préférables.
- Elle renvoie des scores d'anomalie plutôt que des coefficients interprétables ou des règles explicites.
- Les résultats dépendent de la valeur de contamination choisie, qui doit être définie à partir de la connaissance du domaine.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Non supervisé : ne nécessite pas de données d'anomalies étiquetées pour signaler les valeurs aberrantes.
- S'adapte bien aux données de grande dimension.
- Isole directement les anomalies plutôt que de modéliser l'ensemble de la distribution normale, ce qui la rend efficace.
- Un seul paramètre de contamination exprime le taux d'anomalies attendu et fixe le seuil de signalement.
Applications
- Détection non supervisée des valeurs aberrantes et des anomalies dans les données continues.
- Filtrage des ensembles de données de grande dimension où il n'existe pas d'anomalies étiquetées.
- Signalement des observations inhabituelles dans les données transversales ou de séries chronologiques avant la modélisation.
- Contrôles de qualité des données et détection exploratoire des enregistrements irréguliers.
Comment ça marche
Comment ça marche
L'Isolation Forest inverse la logique habituelle de la détection des valeurs aberrantes. Au lieu de construire un profil de points normaux et de signaler tout ce qui s'en écarte, elle exploite directement le fait que les anomalies sont rares et différentes et donc plus rapides à isoler. Parce qu'elle n'a pas besoin d'anomalies étiquetées, elle est entièrement non supervisée et s'adapte bien aux données de grande dimension.
La méthode construit de nombreux arbres de partitionnement aléatoire. Dans chaque arbre, les données sont divisées récursivement en choisissant une caractéristique au hasard et une valeur de division aléatoire, découpant l'espace en régions de plus en plus petites jusqu'à ce que chaque point soit seul. Isoler un point normal — enfoui dans une région dense — nécessite de nombreuses partitions de ce type, tandis qu'une anomalie isolée est séparée après seulement quelques-unes.
La longueur du chemin de chaque point — le nombre de divisions nécessaires pour l'isoler — est moyennée sur l'ensemble de la forêt et convertie en un score d'anomalie : des chemins moyens courts signifient des anomalies probables, des chemins longs signifient des points probablement normaux. Un paramètre de contamination, la proportion attendue d'anomalies, fixe le seuil qui décide quels points sont finalement signalés comme des valeurs aberrantes.
Formule
s(x) = 2^{-\frac{E(h(x))}{c(n)}}Pièges courants
- L'exécuter sur moins d'environ 50 observations et faire confiance aux anomalies signalées.
- Définir le paramètre de contamination sans suffisamment d'anomalies réelles dans les données pour le justifier.
- Traiter les scores d'anomalie comme des probabilités exactes plutôt que comme un classement relatif.
- Ignorer la mise à l'échelle des caractéristiques et l'influence des caractéristiques non pertinentes sur les divisions aléatoires.
Questions fréquentes
Ai-je besoin d'anomalies étiquetées pour utiliser l'Isolation Forest ?
Non. C'est une méthode non supervisée qui isole les anomalies par partitionnement aléatoire, elle n'a donc pas besoin de données d'anomalies étiquetées pour fonctionner.
Que fait le paramètre de contamination ?
Il exprime la proportion attendue d'anomalies dans les données et fixe le seuil qui décide quels points sont finalement signalés comme des valeurs aberrantes. Sans suffisamment d'anomalies authentiques dans les données, ce paramètre devient insignifiant.
Pourquoi rencontre-t-elle des difficultés sur de petits échantillons ?
Avec moins d'environ 50 observations, la frontière entre les points normaux et anormaux est floue et le taux de faux positifs est élevé. Dans ce cas, les méthodes statistiques de détection des valeurs aberrantes ou l'ACP sont des alternatives plus sûres.
Comment les anomalies sont-elles scorées ?
La longueur moyenne du chemin de chaque point à travers les arbres aléatoires — le nombre de divisions nécessaires pour l'isoler — est transformée en un score d'anomalie. Des chemins moyens courts indiquent des anomalies probables ; des chemins longs indiquent des points probablement normaux.
Méthodes associées
Sources
Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.
Ouvrir la référence DOICopié.