Skip to content
Retour aux résultats

SVM univarié semi-supervisé

Introduite par
Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
Année
2001–2004
Type
Semi-supervised anomaly / novelty detection
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le SVM univarié semi-supervisé étend le détecteur d'anomalies classique SVM univarié en intégrant des observations non étiquetées aux côtés d'un petit ensemble d'exemples normaux connus.

Les données non étiquetées aident le modèle à apprendre une frontière de décision plus étroite et plus informative dans l'espace des caractéristiques, réduisant les faux positifs et améliorant le rappel des anomalies par rapport à la baseline purement non supervisée.

L’intuition derrière la méthode

Un SVM univarié standard trace une frontière autour des données normales étiquetées dans un espace de caractéristiques transformé par noyau et signale tout ce qui se trouve à l'extérieur comme anormal. Le problème est qu'avec peu d'exemples étiquetés, la frontière est lâche et bruitée. Le SVM univarié semi-supervisé exploite un pool d'exemples non étiquetés – dont la plupart sont probablement normaux – pour rapprocher cette frontière des régions plus denses. Considérez cela comme apprendre au modèle où vit réellement le 'normal' en lui montrant plus d'exemples, même lorsque ces exemples manquent d'étiquettes de classe confirmées. Le résultat est une frontière d'anomalie plus étroite et plus fiable à faible coût d'étiquetage.

Histoire

Le SVM univarié a été introduit par Scholkopf et al. en 2001 comme une méthode d'estimation du support d'une distribution de haute dimension, devenant rapidement une norme pour la détection de nouveauté et d'anomalies. Les chercheurs au milieu des années 2000 ont reconnu qu'une petite graine normale étiquetée pouvait considérablement resserrer la frontière de décision, et plusieurs extensions semi-supervisées ont été proposées, s'appuyant sur les travaux contemporains sur les SVM transductifs et la propagation d'étiquettes. L'approche reste activement étudiée dans les domaines où l'étiquetage des anomalies est prohibitif.

Quand l’utiliser

Choisir le SVM univarié semi-supervisé lorsque les anomalies sont rares, que l'étiquetage de toutes les données est trop coûteux, mais qu'une petite graine normale confirmée est disponible – par exemple, détection d'intrusion réseau, contrôle qualité d'imagerie médicale ou dépistage de défauts de fabrication. Il surpasse le OC-SVM non supervisé lorsque la graine étiquetée est propre et que le pool non étiqueté est grand et représentatif du comportement normal. Ne pas l'utiliser lorsque la graine étiquetée est bruitée ou biaisée, lorsque le taux d'anomalies dans le pool non étiqueté est élevé (supérieur à environ 10–20%), lorsque vous disposez de nombreux exemples d'anomalies confirmées (les SVM supervisés ou les méthodes d'ensemble sont meilleurs), ou lorsque l'interprétabilité et les coefficients explicites sont requis par les examinateurs.

Limites et points d’attention

  • Les performances se dégradent rapidement si la graine étiquetée est petite, bruitée ou non représentative du comportement normal réel.
  • Les taux de contamination élevés dans le pool non étiqueté provoquent une dérive des pseudo-étiquettes et une corruption de la frontière.
  • La programmation quadratique ne se met pas à l'échelle : les solveurs SVM standard peinent au-delà de dizaines de milliers d'observations.
  • Nécessite un réglage minutieux du noyau et des hyperparamètres nu ; les valeurs par défaut donnent rarement des frontières optimales.
  • Le pseudo-étiquetage itératif ajoute une complexité d'implémentation et nécessite des critères d'arrêt basés sur des principes.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Exploite d'abondantes données non étiquetées pour améliorer la qualité de la frontière sans annotation complète coûteuse.
  • Hérite de la flexibilité du noyau du SVM univarié standard, capturant les variétés non linéaires de données normales.
  • Scores d'anomalie mieux calibrés que le OC-SVM purement non supervisé lorsqu'une graine étiquetée propre existe.
  • Fonctionne bien dans les espaces de caractéristiques de haute dimension où les données normales forment des clusters compacts.
  • L'amplitude du score d'anomalie fournit un classement de confiance naturel pour le triage et la priorisation.

Applications

  • Détection d'intrusions réseau et de cyberattaques à l'aide de trafic normal étiqueté plus journaux opérationnels non étiquetés.
  • Contrôle qualité d'images médicales où des scans de bonne qualité confirmés sont disponibles mais les anomalies sont rares.
  • Détection de défauts industriels avec des lectures de capteurs en conditions de fonctionnement normales comme graine étiquetée.
  • Détection de fraude dans les transactions financières lorsque seuls les exemples non frauduleux sont confirmés.
  • Filtrage d'anomalies de texte ou de documents à l'aide d'ensembles de documents propres connus pour ancrer la frontière.

Comment ça marche

Comment ça marche

1

Partitionner les données d'entraînement en un petit ensemble étiqueté d'instances normales confirmées et un pool non étiqueté beaucoup plus grand. Le pool non étiqueté se compose généralement de données opérationnelles réelles du domaine cible qui n'ont pas été vérifiées manuellement. La qualité de la graine étiquetée influence fortement les performances finales.

2

Mapper toutes les observations dans un espace de Hilbert à noyau reproducteur de haute dimension à l'aide d'une fonction noyau – le plus souvent le noyau RBF. Dans cet espace, les clusters de données normales deviennent compacts et séparables de l'origine, ce qui est l'astuce géométrique qui sous-tend le SVM univarié.

Formule
\phi: \mathcal{X} \rightarrow \mathcal{F}
3

Ajuster un SVM univarié initial en utilisant uniquement les exemples normaux étiquetés. Cela donne un hyperplan préliminaire défini par le vecteur de poids w, le seuil rho et les variables d'écart xi, contrôlé par le paramètre nu qui borne la fraction des erreurs d'entraînement.

Formule
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rho
4

Appliquer le modèle initial au pool non étiqueté et attribuer des pseudo-étiquettes douces ou dures : les instances classées comme normales sont provisoirement ajoutées à l'ensemble normal ; celles dont le score est anormal peuvent être écartées ou sous-pondérées. La fiabilité des pseudo-étiquettes peut être améliorée avec des seuils de confiance ou une propagation d'étiquettes sur un graphe de similarité.

5

Ré-entraîner le SVM univarié sur l'ensemble étiqueté élargi (étiquettes originales plus pseudo-étiquettes acceptées). Répéter la boucle de pseudo-étiquetage et de ré-entraînement pendant un nombre fixe d'itérations ou jusqu'à ce que la frontière se stabilise. L'arrêt précoce empêche la dérive causée par les erreurs de pseudo-étiquettes en cascade.

6

Lors de l'inférence, mapper chaque nouvelle observation à travers le même noyau et évaluer la fonction de décision f(x). Les instances avec f(x) < 0 sont signalées comme anormales ; l'amplitude du score reflète la distance par rapport à la frontière normale et peut servir de classement de confiance des anomalies.

Formule
f(x) = \text{sign}(w^\top \phi(x) - \rho)

Pièges courants

  • Utilisation d'une graine étiquetée tirée d'une distribution différente de celle du pool non étiqueté, provoquant des erreurs systématiques de pseudo-étiquettes.
  • Définition du paramètre de contamination nu sans estimation du taux d'anomalies réel, conduisant à une sur- ou sous-détection.
  • Confiance inconditionnelle dans les pseudo-étiquettes au lieu d'appliquer des seuils de confiance ou une pondération douce.
  • Ignorer l'évaluation sur un ensemble d'anomalies annotées mis de côté et se fier uniquement aux métriques de clustering non supervisées.
  • Confusion de cette méthode avec le SVM transductif (S3VM), qui résout un problème différent de classification semi-supervisée plutôt que de détection univariée.

Questions fréquentes

Quelle doit être la taille de la graine étiquetée ?

En pratique, même quelques dizaines d'exemples normaux confirmés peuvent initialiser une frontière utile, mais l'ensemble étiqueté doit couvrir les principaux modes de comportement normal. Si la graine est inférieure à environ 20 à 30 observations, la frontière initiale sera peu fiable et les erreurs de pseudo-étiquettes se multiplieront.

Que se passe-t-il si le pool non étiqueté est fortement contaminé par des anomalies ?

Une contamination élevée (plus d'environ 10 à 20 % d'anomalies) amène le raffinement itératif à absorber progressivement les anomalies dans la classe normale, corrompant la frontière. Dans de tels cas, utilisez un seuil d'acceptation de pseudo-étiquettes plus bas, appliquez un vote d'ensemble sur plusieurs exécutions, ou revenez au SVM univarié purement supervisé sur la graine étiquetée uniquement.

Comment choisir le noyau et le paramètre nu ?

Le noyau RBF est le défaut standard ; réglez sa bande passante (gamma) ainsi que nu à l'aide de la validation croisée sur l'ensemble étiqueté. Nu contrôle la borne supérieure de la fraction des erreurs d'entraînement et la fraction des vecteurs de support – définissez-le approximativement au taux d'anomalies attendu s'il est connu.

Est-ce différent d'un SVM transductif (S3VM) ?

Oui. Le SVM transductif (S3VM) effectue une classification binaire semi-supervisée où les deux classes sont partiellement étiquetées. Le SVM univarié semi-supervisé aborde la détection d'anomalies : il utilise uniquement des étiquettes de classe normale et traite les observations non étiquetées comme des normales potentielles, et non comme une seconde classe à classifier.

Puis-je utiliser cette méthode à grande échelle ?

Les solveurs SVM standard ont une complexité de O(n^2) à O(n^3). Pour des jeux de données supérieurs à environ 50 000 observations, utilisez des solveurs approximatifs (par exemple, mises à jour en ligne basées sur SGD, approximations de noyau via les caractéristiques de Nystrom ou de Fourier aléatoires) ou passez à des alternatives évolutives telles que Isolation Forest ou des détecteurs d'anomalies basés sur des auto-encodeurs profonds.

Méthodes associées

Sources

  1. Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.

    Ouvrir la référence de la publication
    Copié.
  2. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    Ouvrir la référence DOI
    Copié.