Skip to content
Retour aux résultats

Détection d'anomalies par autoencodeur en ensemble

Introduite par
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
Année
2017
Type
Ensemble unsupervised anomaly detection
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La détection d'anomalies par autoencodeur en ensemble entraîne plusieurs réseaux neuronaux autoencodeurs sur des données de classe normale et agrège leurs erreurs de reconstruction pour produire un score d'anomalie robuste.

En combinant divers autoencodeurs plutôt qu'en s'appuyant sur un seul, la méthode stabilise les classements des valeurs aberrantes et réduit la sensibilité à l'initialisation aléatoire ou aux choix d'architecture sous-optimaux.

L’intuition derrière la méthode

Un seul autoencodeur apprend à compresser puis à reconstruire des observations normales ; les anomalies se compressent mal et génèrent une erreur de reconstruction élevée. Le problème est que le score d'anomalie d'un autoencodeur est fragile — il dépend d'une initialisation aléatoire et d'une architecture spécifiques. Un ensemble entraîne de nombreux autoencodeurs sur différents sous-ensembles aléatoires de caractéristiques ou de données, puis fait la moyenne de leurs erreurs de reconstruction. Les particularités individuelles de chaque réseau s'annulent, produisant un signal d'anomalie plus stable et plus fiable, plus difficile à tromper et plus facile à seuiller.

Histoire

La détection d'anomalies basée sur les autoencodeurs a été popularisée suite aux travaux de Hinton et Salakhutdinov en 2006 sur les autoencodeurs profonds, où une erreur de reconstruction élevée est apparue comme un signal d' valeurs aberrantes naturel. L'extension par ensemble a été formalisée par Chen, Sathe, Aggarwal et Turaga lors de la conférence SIAM Data Mining de 2017, qui ont montré que la diversification des autoencodeurs par échantillonnage de caractéristiques surpasse de manière fiable tout modèle unique. L'approche apparaît désormais couramment dans les pipelines industriels de détection d'anomalies pour l'intrusion réseau, la maintenance prédictive et la surveillance médicale.

Quand l’utiliser

Utiliser lorsque vous avez principalement des données non étiquetées et que vous souhaitez détecter des anomalies rares dans des caractéristiques continues de haute dimension — par exemple, des flux de capteurs, des journaux de transactions ou des signaux médicaux — et qu'un seul autoencodeur a montré une instabilité au fil des exécutions. Également efficace lorsqu'aucune étiquette d'anomalie n'est disponible et que vous avez besoin d'une base de référence non supervisée avec une meilleure stabilité qu'un seul réseau. À éviter lorsque l'ensemble de données est très petit (moins de quelques centaines d'observations normales par caractéristique), car les autoencodeurs n'apprendront pas une variété significative. Ne pas utiliser pour des données textuelles catégorielles ou éparses sans prétraitement d'intégration approprié, et ne pas utiliser lorsqu'un seul arbre d'isolement bien réglé ou un SVM à classe unique est suffisant, car les ensembles ajoutent du temps d'entraînement et de la complexité.

Limites et points d’attention

  • L'entraînement de K autoencodeurs multiplie les exigences de calcul et de mémoire ; les grands ensembles sur des réseaux profonds sont coûteux.
  • Suppose que les anomalies sont caractérisées par une erreur de reconstruction élevée — les anomalies adverses ou structurées qui se trouvent sur la variété apprise peuvent être manquées.
  • Sensible à la proportion d'anomalies dans les données d'entraînement ; une contamination importante dégrade la variété normale apprise.
  • Les choix d'hyperparamètres (nombre de modèles, architecture, fonction d'agrégation) nécessitent des données de validation ou des connaissances du domaine.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Réduit la variance des scores d'anomalie par rapport à un seul autoencodeur, donnant des classements plus stables entre les graines aléatoires.
  • L'agrégation de détecteurs divers capture différents aspects de la normalité, améliorant le rappel sur les types d'anomalies hétérogènes.
  • Entièrement non supervisé — aucune étiquette d'anomalie requise, uniquement des données normales ou mixtes non étiquetées.
  • S'adapte aux données continues de haute dimension où les méthodes basées sur la distance telles que la détection d'anomalies par k-NN se dégradent.
  • Compatible avec une large gamme d'architectures d'autoencodeurs (vanilla, variationnel, convolutionnel) pour correspondre à la structure des données.
  • Le score d'ensemble est plus facile à seuiller de manière fiable que le score d'un seul réseau, réduisant l'effort de calibration.

Applications

  • Détection d'intrusion réseau à partir de caractéristiques de paquets ou de flux de haute dimension.
  • Notation d'anomalies pour la maintenance prédictive sur des séries temporelles de capteurs multivariés.
  • Détection de fraude dans les transactions financières dans des flux non étiquetés ou faiblement étiquetés.
  • Surveillance de biosignaux médicaux (ECG, EEG) pour des schémas pathologiques rares.
  • Contrôle qualité dans la fabrication où les exemples de défauts sont rares.
  • Score d' valeurs aberrantes non supervisé de référence avant des campagnes d'étiquetage par apprentissage actif.

Comment ça marche

Comment ça marche

1

K autoencodeurs sont entraînés indépendamment sur les données d'entraînement (supposées) normales, chacun avec une initialisation aléatoire différente et éventuellement des sous-ensembles de caractéristiques d'entrée ou des architectures de réseau différentes. L'entraînement encourage chaque réseau à minimiser la perte de reconstruction sur les échantillons normaux, de sorte qu'il apprenne la variété du comportement normal.

2

Pour chaque observation de test, chaque autoencodeur la code dans une représentation latente et la décode. La distance L2 au carré entre l'entrée originale et la reconstruction est le score d'anomalie par réseau : une erreur élevée signale que l'observation s'écarte de la variété normale apprise.

Formule
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2
3

Les K scores individuels sont agrégés en un seul score d'anomalie par observation — généralement par moyennage, prise du maximum, ou application d'une combinaison normalisée par rang. Le moyennage réduit la variance ; le maximum est plus sensible à au moins un détecteur qui attrape une anomalie.

Formule
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})
4

Un seuil est appliqué au score agrégé pour étiqueter les observations comme anormales. Le seuil est généralement choisi par un taux de faux positifs cible sur des données normales mises de côté, ou en traitant les p % supérieurs des valeurs de score comme des anomalies en l'absence d'étiquettes de vérité terrain.

Pièges courants

  • Inclure des anomalies dans l'ensemble d'entraînement sans le savoir — cela corrompt la variété normale apprise et supprime les scores d'anomalie pour la contamination.
  • Évaluer uniquement sur l'ensemble d'entraînement sans échantillon normal mis de côté pour calibrer le seuil, conduisant à des étiquettes d'anomalie trop confiantes.
  • Utiliser l'erreur de reconstruction seule sans vérifier les contributions par dimension, masquant quelles caractéristiques pilotent le score d'anomalie.
  • Traiter l'ensemble comme ne nécessitant aucun réglage — le nombre d'autoencodeurs, leur profondeur et la fonction d'agrégation affectent tous les performances et doivent être validés.
  • Appliquer la méthode à des ensembles de données avec très peu d'observations par rapport au nombre de caractéristiques, où les autoencodeurs ne peuvent pas généraliser et où chaque point semble anormal.

Questions fréquentes

Combien d'autoencodeurs l'ensemble doit-il contenir ?

La recherche suggère des rendements décroissants au-delà d'environ 10 à 20 réseaux diversifiés. Commencez avec 10 et surveillez si le score agrégé se stabilise au fil des exécutions ; s'il varie encore, ajoutez-en ou augmentez la diversité par sous-échantillonnage de caractéristiques.

Comment introduire de la diversité parmi les autoencodeurs ?

Les stratégies courantes comprennent l'initialisation aléatoire, les sous-ensembles aléatoires de caractéristiques d'entrée (échantillonnage de caractéristiques), différentes tailles de dimensions latentes, taux de dropout, ou différentes architectures (peu profondes vs profondes). L'échantillonnage de caractéristiques est le plus simple et le plus efficace pour les données tabulaires.

Les données d'entraînement doivent-elles être exemptes d'anomalies ?

Idéalement oui, mais une contamination modérée (inférieure à environ 5 %) est tolérable. Si la proportion d'anomalies est plus élevée, l'autoencodeur apprend à bien les reconstruire et les scores d'anomalie diminuent. Un pré-filtrage avec un détecteur plus simple (arbre d'isolement) avant d'entraîner les autoencodeurs peut aider.

Comment dois-je définir le seuil d'anomalie ?

Si vous avez un taux de faux positifs cible (par exemple, 1 %), définissez le seuil au percentile correspondant de la distribution des scores sur des données normales mises de côté. Sans aucune étiquette, traitez les p % supérieurs des scores comme des anomalies et validez avec des experts du domaine ou des métriques d'évaluation en aval.

Quand un seul autoencodeur est-il meilleur qu'un ensemble ?

Lorsque le calcul est sévèrement contraint, que l'ensemble de données est petit, ou qu'un seul autoencodeur bien réglé montre déjà des performances stables entre les graines. Les ensembles apportent une valeur principalement lorsque la variance du modèle individuel est élevée ou que la diversité des anomalies est attendue.

Méthodes associées

Sources

  1. Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.

    Ouvrir la référence de la publication
    Copié.
  2. Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.

    ISBN : 978-3-319-47578-3
    Copié.