Forêt d'isolement semi-supervisée
- Introduite par
- Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
- Année
- 2013–2020
- Type
- Ensemble anomaly detection (semi-supervised extension)
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La Forêt d'isolement semi-supervisée étend le détecteur d'anomalies classique Forêt d'isolement en intégrant un petit ensemble d'exemples d'anomalies étiquetées (et éventuellement normales) aux côtés d'un grand ensemble de données non étiquetées.
Ce guidage par étiquettes ajuste les scores d'anomalie du modèle de sorte que les anomalies connues soient séparées de manière plus fiable, comblant ainsi le fossé entre la détection entièrement non supervisée et entièrement supervisée.
L’intuition derrière la méthode
La Forêt d'isolement standard attribue des scores aux anomalies en fonction de la rapidité avec laquelle un arbre aléatoire isole un point — les anomalies sont isolées en moins de divisions. Mais sans aucune étiquette, le modèle n'a aucun retour sur ce qui compte réellement comme anomalie dans votre domaine. La Forêt d'isolement semi-supervisée introduit un petit nombre d'exemples confirmés (anomalies connues, ou normales connues, ou les deux) et les utilise pour calibrer ou repondérer le processus de notation. Le résultat est que le pouvoir de séparation inhérent de la forêt est orienté vers les modèles d'anomalie qui comptent réellement, réduisant considérablement les fausses alarmes et les détections manquées sans nécessiter un ensemble d'entraînement entièrement étiqueté.
Histoire
La Forêt d'isolement a été introduite par Liu, Ting et Zhou en 2008 comme un détecteur d'anomalies purement non supervisé basé sur le partitionnement récursif aléatoire. Reconnaissant que même quelques étiquettes peuvent améliorer considérablement la détection, des chercheurs à partir d'environ 2013 ont développé des extensions semi-supervisées qui intègrent le guidage par étiquettes dans le processus de notation ou de pondération des arbres. Les bases théoriques connexes sur la détection d'anomalies supervisée ont été posées par Görnitz et al. (2013), et des variantes pratiques de SSIF sont apparues dans des publications appliquées abordant la détection de fraude et d'intrusion réseau jusqu'à la fin des années 2010.
Quand l’utiliser
Utilisez la Forêt d'isolement semi-supervisée lorsque vous disposez d'un grand pool de données non étiquetées, que le coût d'un étiquetage complet est prohibitif, mais que vous pouvez obtenir des étiquettes pour au moins un petit ensemble d'anomalies confirmées (et éventuellement quelques normales confirmées). Elle est particulièrement précieuse pour la détection d'événements rares en cybersécurité, la fraude, la maintenance prédictive et la surveillance médicale où les experts du domaine peuvent étiqueter une poignée d'incidents connus. Ne l'utilisez pas lorsqu'aucune anomalie étiquetée n'est disponible du tout (préférez la Forêt d'isolement standard ou le SVM One-Class), lorsque les données sont de haute dimension et éparses sans prétraitement, ou lorsqu'un grand ensemble entièrement étiqueté est déjà disponible (un classifieur entièrement supervisé sera plus performant).
Limites et points d’attention
- Les performances se dégradent si les anomalies étiquetées ne sont pas représentatives de la distribution des anomalies dans les données non étiquetées.
- Le mécanisme optimal d'intégration des étiquettes varie selon les implémentations ; aucune variante universellement dominante n'existe encore.
- Comme l'iForest standard, elle peut avoir des difficultés avec les anomalies regroupées près du centre des données ou avec certaines distributions multimodales.
- Nécessite des précautions pour éviter les fuites d'étiquettes lors de l'évaluation : l'ensemble étiqueté ne doit pas chevaucher l'ensemble de test.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Atteint une précision et un rappel plus élevés que l'iForest entièrement non supervisée en ancrant les scores sur des anomalies étiquetées réelles.
- Nécessite seulement un petit nombre d'étiquettes, ce qui la rend pratique lorsque l'annotation est coûteuse.
- Hérite du temps d'entraînement sous-linéaire et de la faible empreinte mémoire de l'iForest, s'adaptant aux grands ensembles de données.
- Traite les données tabulaires de haute dimension sans hypothèses de distance ou de densité.
- Réduit la sélection arbitraire de seuils : le sous-ensemble étiqueté fournit une base de calibration principielle.
Applications
- Détection d'intrusion réseau à l'aide d'une poignée d'échantillons d'attaques confirmées aux côtés du trafic normal.
- Détection de fraude financière où seul un petit ensemble de transactions frauduleuses confirmées est disponible pour l'étiquetage.
- Maintenance prédictive : utilisation d'événements de défaillance confirmés pour calibrer les scores d'anomalie sur les flux de capteurs.
- Surveillance médicale : guidage de la notation des anomalies avec des cas pathologiques confirmés issus de dossiers de santé électroniques.
- Contrôle qualité dans la fabrication où seul un sous-ensemble d'unités défectueuses a été vérifié indépendamment.
Comment ça marche
Comment ça marche
Les données disponibles sont divisées en un petit sous-ensemble étiqueté — contenant des anomalies confirmées, des normales confirmées, ou les deux — et un grand pool non étiqueté. Le sous-ensemble étiqueté est petit par conception ; l'obtention d'étiquettes complètes est généralement coûteuse ou peu pratique, ce qui correspond précisément au scénario que cette méthode cible.
Un ensemble d'arbres d'isolement est construit sur des sous-échantillons aléatoires de l'ensemble de données complet (étiqueté plus non étiqueté), suivant la procédure iForest standard : à chaque nœud interne, une caractéristique aléatoire et une valeur de division aléatoire dans la plage de cette caractéristique sont choisies pour partitionner récursivement les données jusqu'à ce que chaque point soit isolé.
Chaque observation reçoit un score d'anomalie dérivé de sa longueur de chemin moyenne à travers tous les arbres. Les chemins moyens plus courts — signifiant une isolation plus facile — donnent des scores d'anomalie plus élevés. Le score normalisé s(x, n) est mappé sur (0, 1], avec des valeurs proches de 1 indiquant de forts candidats à l'anomalie.
Formule
s(x, n) = 2^{-E[h(x)] / c(n)}Les exemples étiquetés sont utilisés pour ajuster le modèle : selon la variante, cela peut impliquer de repondérer les arbres ou les divisions qui séparent correctement les anomalies connues des normales, d'ajouter un terme de perte supervisée à l'agrégation des scores, ou d'utiliser l'ensemble étiqueté pour apprendre une frontière de décision au-dessus des scores non supervisés. Cette étape est la différence déterminante par rapport à l'iForest standard.
Un seuil est appliqué aux scores d'anomalie ajustés pour produire des décisions binaires anomalie / normale. Le sous-ensemble étiqueté permet une sélection de seuil basée sur les données — par exemple, choisir la coupure qui maximise le F1 sur les exemples étiquetés — plutôt que de s'appuyer sur un percentile arbitraire.
Pièges courants
- Utiliser uniquement des étiquettes d'anomalies et ignorer les étiquettes normales lorsque les deux sont disponibles — l'intégration de normales confirmées peut affiner davantage la frontière de décision.
- Évaluer sur un ensemble de test qui inclut les exemples d'entraînement étiquetés, gonflant les métriques de performance.
- Choisir le seuil de score d'anomalie par un percentile fixe au lieu d'utiliser l'ensemble étiqueté pour la calibration.
- Supposer que la méthode est robuste lorsque les anomalies étiquetées ne couvrent qu'un seul sous-type alors que le pool non étiqueté contient des modèles d'anomalie diversifiés.
- Négliger de prétraiter les caractéristiques de haute dimension ou de type mixte avant l'ajustement, ce qui peut fausser la sélection des divisions aléatoires.
Questions fréquentes
Combien d'anomalies étiquetées sont nécessaires ?
Même une poignée — parfois aussi peu que 10 à 50 anomalies confirmées — peut fournir une calibration significative. L'exigence clé est qu'elles soient représentatives des types d'anomalies présents dans le pool non étiqueté. Une couverture d'étiquettes plus diversifiée à travers les sous-types d'anomalies produit généralement des gains plus importants.
Quelle est la différence avec la Forêt d'isolement standard ?
La Forêt d'isolement standard est entièrement non supervisée et attribue des scores aux anomalies uniquement par la longueur du chemin, sans aucun retour du domaine. La Forêt d'isolement semi-supervisée intègre un petit ensemble étiqueté pour ajuster les scores ou les poids des arbres, orientant le modèle vers les modèles d'anomalie qui sont réellement pertinents dans votre domaine et permettant une calibration principielle des seuils.
Puis-je inclure des exemples normaux étiquetés ainsi que des anomalies ?
Oui, et c'est généralement bénéfique. Les normales étiquetées aident le modèle à distinguer plus nettement les cas limites. Certaines variantes traitent l'ensemble étiqueté comme une référence équilibrée pour calibrer la fonction de notation, donc inclure les deux classes lorsqu'elles sont disponibles améliore la frontière de décision.
Dois-je utiliser la validation croisée pour évaluer le modèle ?
Oui, mais avec précaution. Le sous-ensemble étiqueté doit être exclu ou correctement stratifié dans l'ensemble de test pour éviter les fuites de données. Une division stratifiée entraînement/test sur la portion étiquetée, combinée au pool non étiqueté complet pour l'entraînement, est la configuration d'évaluation standard.
Et si mes anomalies étiquetées ne sont pas représentatives ?
Le guidage par étiquette peut se retourner contre vous si les anomalies étiquetées ne couvrent qu'une tranche étroite de la véritable distribution des anomalies. Dans ce cas, le modèle peut manquer de nouveaux types d'anomalies qu'il n'a jamais vus. Il est conseillé de compléter la détection semi-supervisée par une notation d'anomalie non supervisée et de surveiller la dérive distributionnelle en production.
Méthodes associées
Sources
Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.
Ouvrir la référence de la publicationCopié.Isolation Forest. Wikipedia.
Ouvrir la référence de la publicationCopié.