Détection d'anomalies par auto-encodeur semi-supervisé
- Introduite par
- Ruff, L. et al.; Zong, B. et al.
- Année
- 2018–2020
- Type
- Semi-supervised deep anomaly detection
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La détection d'anomalies par auto-encodeur semi-supervisé entraîne un auto-encodeur neuronal principalement sur des données normales (non étiquetées), puis utilise un petit ensemble d'anomalies étiquetées pour affiner les frontières de décision, détectant les anomalies comme des échantillons avec une erreur de reconstruction élevée.
Elle comble le fossé entre les auto-encodeurs purement non supervisés et les classificateurs entièrement supervisés lorsque les étiquettes sont rares mais que certaines anomalies connues existent.
L’intuition derrière la méthode
Un auto-encodeur standard apprend à bien compresser et reconstruire les données normales ; les anomalies qu'il n'a jamais vues sont mal reconstruites, de sorte que l'erreur de reconstruction les signale. Les auto-encodeurs purement non supervisés n'ont pas de point d'ancrage pour ce qui est considéré comme anormal — ils ne savent que ce qui est normal. La variante semi-supervisée utilise le petit ensemble d'anomalies étiquetées comme exemples négatifs pendant le réglage fin, rapprochant la frontière de décision du modèle des anomalies réelles sans nécessiter une supervision complète. Le résultat est un détecteur à la fois économe en données et mieux calibré que l'un ou l'autre extrême seul.
Histoire
La détection d'anomalies par auto-encodeur non supervisé a gagné en popularité après l'essor de l'apprentissage profond vers 2014. Zong et al. (ICLR 2018) ont intégré des auto-encodeurs avec des modèles de mélange gaussien pour le scoring d'anomalies non supervisé. Ruff et al. (ICLR 2020) ont formalisé la variante semi-supervisée, démontrant que même une poignée d'anomalies étiquetées améliore substantiellement la détection par rapport aux bases de référence purement non supervisées, établissant le cadre largement utilisé aujourd'hui.
Quand l’utiliser
Recommandé lorsque vous disposez de données non étiquetées abondantes, majoritairement normales, ainsi que d'un petit ensemble fiable d'anomalies confirmées, et que les détecteurs d'anomalies non supervisés prêts à l'emploi produisent trop de faux positifs. Particulièrement efficace pour les données de grande dimension ou non linéaires telles que les signaux de capteurs, le trafic réseau ou les images où les méthodes traditionnelles (par exemple, SVM à une classe) s'adaptent mal. Ne pas utiliser lorsque les anomalies étiquetées ne sont pas du tout disponibles (préférer les auto-encodeurs non supervisés) ou lorsque vous avez suffisamment d'étiquettes pour un classificateur entièrement supervisé. Éviter avec de très petits ensembles de données (moins de quelques centaines d'échantillons) où le réseau profond ne peut pas généraliser.
Limites et points d’attention
- Nécessite un partitionnement soigneux : si le pool non étiqueté contient de nombreuses anomalies, le pré-entraînement est corrompu et les performances se dégradent considérablement.
- Les auto-encodeurs profonds sont gourmands en calcul pour l'entraînement et le réglage par rapport aux méthodes peu profondes.
- L'interprétabilité est limitée ; le signal d'erreur de reconstruction n'explique pas quelles caractéristiques ont causé l'anomalie.
- Sensible au choix de la profondeur de l'architecture, de la dimension latente et de la pondération de la perte entre les objectifs non supervisés et supervisés.
- La sélection du seuil n'est pas triviale et doit être validée sur des données étiquetées de validation pour éviter des coupures arbitraires.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Exploite efficacement de grands volumes de données normales non étiquetées parallèlement à des anomalies étiquetées rares, maximisant l'efficacité des données.
- Gère les espaces de caractéristiques de grande dimension et non linéaires bien mieux que les méthodes basées sur le noyau telles que le SVM à une classe.
- Le score d'anomalie (erreur de reconstruction) est continu, permettant un réglage fin du seuil pour correspondre aux exigences opérationnelles.
- Le pré-entraînement sur des données normales fournit un a priori fort, réduisant le nombre d'anomalies étiquetées nécessaires par rapport à une approche entièrement supervisée.
- L'architecture est flexible et peut incorporer des couches convolutionnelles, récurrentes ou de transformateur pour les images, les séries temporelles ou le texte.
Applications
- Détection de défauts industriels sur des flux de capteurs ou de télémétrie où les événements défectueux sont rares mais documentés.
- Détection d'intrusions réseau et d'anomalies de cybersécurité avec des signatures d'attaque connues comme amorces étiquetées.
- Imagerie médicale ou dépistage de données cliniques où les cas pathologiques confirmés sont rares.
- Détection de fraudes financières combinant d'abondantes transactions normales avec un petit ensemble de transactions frauduleuses confirmées.
- Pipelines de maintenance prédictive où les enregistrements de pannes historiques servent d'exemples d'anomalies étiquetées.
Comment ça marche
Comment ça marche
L'ensemble d'entraînement est divisé en un grand pool de données non étiquetées (supposées majoritairement normales) et un petit ensemble d'anomalies étiquetées, soigneusement sélectionné. Cette partition reflète la rareté réelle des étiquettes d'anomalies confirmées tout en exploitant le signal de vérité terrain disponible.
Un réseau encodeur-décodeur est pré-entraîné sur le pool non étiqueté pour minimiser la perte de reconstruction, apprenant une représentation latente compacte des motifs normaux. Cette phase construit la notion fondamentale de ce à quoi ressemble la normalité sans nécessiter d'étiquettes.
Dans la deuxième phase, les anomalies étiquetées sont incorporées — soit en ajoutant une tête de classification, soit en utilisant une perte contrastive ou hypersphérique (comme dans les extensions Deep SVDD), soit en pénalisant une faible erreur de reconstruction pour les anomalies connues. Cela éloigne la frontière de décision des points anormaux confirmés.
Au moment de l'inférence, chaque échantillon est passé à travers l'auto-encodeur entraîné. Le score d'anomalie est typiquement l'erreur de reconstruction (erreur quadratique moyenne entre l'entrée et la sortie). Optionnellement, la distance dans l'espace latent par rapport à un centroïde de classe normale est également utilisée.
Formule
s(x) = \|x - \hat{x}\|^2Un seuil sur le score d'anomalie est choisi — en utilisant les anomalies étiquetées, une courbe précision-rappel, ou un taux de faux positifs cible — pour produire des étiquettes binaires normal/anomalie. Le choix du seuil régit directement le compromis précision-rappel.
Pièges courants
- Contaminer le pool de pré-entraînement non étiqueté avec des anomalies non détectées, ce qui compromet la représentation des données normales.
- Traiter l'erreur de reconstruction comme une probabilité calibrée sans une calibration appropriée du seuil par rapport aux exemples étiquetés.
- Utiliser une seule division entraînement/test sans validation croisée, produisant des estimations de performance trop optimistes sur des classes d'anomalies rares.
- Sélectionner la dimension latente sans expérimentation, soit trop petite (perte d'information) soit trop grande (l'auto-encodeur reconstruit les anomalies aussi bien que les données normales).
- Ignorer le déséquilibre des classes lors du calcul des métriques d'évaluation — la précision est insignifiante avec un déséquilibre extrême ; utiliser l'AUROC et la précision moyenne à la place.
Questions fréquentes
Combien d'anomalies étiquetées sont nécessaires ?
La méthode peut fonctionner avec aussi peu qu'une douzaine d'anomalies confirmées, mais les performances s'améliorent considérablement jusqu'à quelques centaines. L'essentiel est que les anomalies étiquetées couvrent les principaux types de comportements anormaux présents dans le domaine.
Que se passe-t-il si mon pool non étiqueté contient des anomalies cachées ?
La contamination non étiquetée est le principal mode de défaillance. Appliquez un filtre non supervisé préliminaire (par exemple, isolation forest) pour supprimer les valeurs aberrantes évidentes du pool de pré-entraînement avant le réglage fin.
Comment choisir le seuil d'erreur de reconstruction ?
Utilisez votre ensemble d'anomalies étiquetées et une courbe précision-rappel pour choisir un seuil correspondant à votre tolérance opérationnelle aux faux positifs et aux faux négatifs. Ne choisissez jamais le seuil sur les mêmes données que celles utilisées pour entraîner le modèle.
Est-ce mieux qu'un SVM à une classe ou un isolation forest ?
Sur des données de grande dimension ou non linéaires avec au moins quelques anomalies étiquetées, les auto-encodeurs semi-supervisés surpassent généralement le SVM à une classe et l'isolation forest. Sur des données tabulaires de faible dimension avec de très petits échantillons, des méthodes plus simples peuvent égaler ou dépasser ses performances à moindre coût.
Quelles métriques d'évaluation dois-je rapporter ?
Rapportez l'AUROC et la précision moyenne (aire sous la courbe précision-rappel) sur un ensemble de test réservé qui préserve la véritable prévalence des anomalies. La précision et le score F1 à un seuil fixe devraient être des métriques secondaires, avec une justification du seuil fournie.
Méthodes associées
Sources
Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).
Ouvrir la référence de la publicationCopié.Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).
Ouvrir la référence de la publicationCopié.