Skip to content
Retour aux résultats

SVM à une classe

Introduite par
Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
Année
1999–2001
Type
Anomaly / novelty detection (unsupervised)
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le SVM à une classe est un algorithme non supervisé de détection d'anomalies et de nouveautés qui apprend une frontière étroite autour des données d'entraînement normales dans un espace de caractéristiques induit par un noyau.

Il signale les nouvelles observations qui tombent en dehors de cette frontière comme des valeurs aberrantes. Introduit par Scholkopf et al. en 1999-2001, il étend le cadre des SVM au réglage à classe unique où aucune anomalie étiquetée n'est disponible.

L’intuition derrière la méthode

Imaginez gonfler un ballon pour englober tous vos points d'entraînement dans un espace transformé défini par une fonction noyau. Une fois le ballon ajusté, tout nouveau point qui tombe à l'extérieur est déclaré une anomalie. Le paramètre nu contrôle la tension du ballon : un nu faible permet à très peu de points d'entraînement de se trouver à l'intérieur de la marge (frontière stricte), tandis qu'un nu élevé permet à plus de points d'être à l'extérieur (frontière plus lâche). L'astuce du noyau permet à la frontière d'être non linéaire dans l'espace d'entrée d'origine, de sorte que le SVM à une classe peut capturer des formes complexes de normalité qu'une simple règle de seuil ou de distance manquerait.

Histoire

Le SVM à une classe a été introduit par Scholkopf, Platt, Smola et Williamson dans un rapport technique de 1999 et publié dans Neural Computation en 2001 sous le titre 'Estimating the support of a high-dimensional distribution.' Une formulation étroitement liée, Support Vector Data Description (SVDD), a été développée simultanément par Tax et Duin (2004). Les deux méthodes ont étendu le cadre supervisé des SVM au cadre de détection d'anomalies non supervisé et sont devenues des références fondamentales dans la littérature sur la détection de nouveautés. L'implémentation OneClassSVM de Scikit-learn a rendu la méthode largement accessible dans la recherche appliquée.

Quand l’utiliser

Utilisez le SVM à une classe lorsque des exemples d'anomalies étiquetées sont indisponibles ou très rares et que vous souhaitez une frontière non linéaire autour du comportement normal — typique dans la détection de fraude, la détection d'intrusion, la surveillance des défauts industriels et le dépistage de nouveautés médicales avec des caractéristiques numériques continues. Il fonctionne mieux sur des ensembles de données de taille modérée (centaines à dizaines de milliers d'échantillons) et des distributions de normalité de haute dimension ou de forme complexe où les détecteurs linéaires ou basés sur la distance échouent. Évitez-le lorsque : l'ensemble d'entraînement est très grand (n > ~100 000), car la résolution quadratique est peu performante ; les données sont hautement catégorielles ; ou lorsque des règles rapides et interprétables sont requises. Dans ces cas, préférez Isolation Forest, Local Outlier Factor, ou un modèle statistique basé sur un seuil.

Limites et points d’attention

  • Le solveur de programmation quadratique évolue de O(n^2) à O(n^3) en fonction du nombre d'échantillons d'entraînement, ce qui le rend peu pratique pour les très grands ensembles de données.
  • Sensible au choix du noyau et de ses hyperparamètres (par exemple, gamma RBF) ; de mauvais choix produisent une frontière trop serrée ou trop lâche.
  • Nécessite des données d'entraînement normales propres — les ensembles d'entraînement contaminés déplacent la frontière et augmentent les taux de faux négatifs.
  • Ne produit pas naturellement d'estimations de probabilité calibrées ; le score de décision n'est pas une probabilité.
  • L'interprétabilité est limitée ; expliquer pourquoi un point spécifique est signalé est difficile sans outils post-hoc supplémentaires.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Fonctionne sans exemples d'anomalies étiquetées — seules les données d'entraînement normales sont requises.
  • Le noyau non linéaire (typiquement RBF) capture les frontières complexes et courbes de normalité que les méthodes basées sur la distance manquent.
  • Le paramètre nu donne un contrôle direct et interprétable sur la fraction attendue de valeurs aberrantes.
  • Évolue gracieusement vers des espaces de caractéristiques de haute dimension via l'astuce du noyau.
  • Le score de décision continu permet un calibrage flexible du seuil en aval.
  • Prouvé dans des domaines à enjeux élevés tels que la détection d'intrusion, la surveillance des défauts et l'imagerie médicale.

Applications

  • Détection d'intrusion réseau : signalement des modèles de trafic non observés pendant le fonctionnement normal.
  • Surveillance des défauts industriels : détection des lectures de capteurs de machines qui s'écartent des profils d'état sain.
  • Détection de fraude : identification des modèles de transaction inhabituels lorsque les exemples frauduleux sont trop rares pour entraîner un classificateur supervisé.
  • Détection de nouveautés médicales : signalement des lectures d'imagerie ou de biomarqueurs en dehors de la distribution des sujets sains.
  • Traitement du langage naturel : détection de documents ou de requêtes hors domaine à l'aide d'embeddings de texte comme caractéristiques d'entrée.

Comment ça marche

Comment ça marche

1

Toutes les observations d'entraînement sont mappées dans un espace de caractéristiques de haute dimension (potentiellement de dimension infinie) via une fonction noyau telle que la fonction de base radiale (RBF). Les produits scalaires dans cet espace peuvent être évalués sans calculer explicitement le mappage, ce qui rend l'approche tractable même pour des frontières complexes.

Formule
\phi: \mathcal{X} \to \mathcal{F}
2

Un programme quadratique trouve un hyperplan dans l'espace des caractéristiques qui sépare les données d'entraînement mappées de l'origine avec une marge maximale. Le paramètre nu (entre 0 et 1) borne simultanément la fraction de points d'entraînement traités comme des valeurs aberrantes et la fraction de vecteurs de support, donnant au praticien un contrôle direct sur le compromis entre la précision du modèle et la tolérance à la contamination de l'entraînement.

Formule
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_i
3

L'hyperplan appris définit une fonction de décision signée. Les points du côté positif sont classés comme normaux ; les points du côté négatif (en dessous du seuil rho) sont signalés comme des anomalies ou des nouveautés. Le score brut peut également servir de score d'anomalie continu pour le classement.

Formule
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)
4

Le choix de nu est la décision de modélisation clé : le régler près de la fraction de contamination attendue dans l'ensemble d'entraînement est une règle empirique pratique. La validation croisée sur un ensemble de validation normal mis de côté ou la connaissance du domaine sur le taux de valeurs aberrantes attendu devraient guider le choix plutôt qu'une recherche par grille sur des données non étiquetées seules.

5

En déploiement, un seuil de score d'anomalie est appliqué à la sortie de la fonction de décision. Le seuil peut être ajusté a posteriori pour échanger la précision contre le rappel des anomalies, rendant la méthode adaptée aux applications où le coût des faux positifs diffère considérablement de celui des faux négatifs.

Pièges courants

  • Entraînement sur des données contenant une fraction significative d'anomalies non détectées, ce qui corrompt la frontière apprise.
  • Définir nu sans référence au taux de contamination attendu, conduisant soit à des faux positifs excessifs, soit à des anomalies manquées.
  • Utilisation du gamma RBF par défaut sans réglage, ce qui peut rendre la frontière trop serrée (tous les nouveaux points sont des anomalies) ou trop lâche (aucune anomalie détectée).
  • Application du SVM à une classe à de très grands ensembles de données sans considérer d'alternatives d'évolutivité telles que les approximations basées sur SGD (SGDOneClassSVM de sklearn).
  • Rapport d'un simple drapeau binaire d'anomalie sans examiner la distribution des scores continus pour calibrer le seuil.

Questions fréquentes

Quelle est la différence entre le SVM à une classe et Isolation Forest pour la détection d'anomalies ?

Le SVM à une classe apprend une frontière basée sur un noyau autour des données normales et fonctionne bien sur des distributions de haute dimension et de forme complexe, mais évolue mal avec la taille de l'ensemble de données. Isolation Forest utilise un partitionnement aléatoire et est beaucoup plus rapide sur de grands ensembles de données, mais est généralement moins sensible aux modèles d'anomalies subtils et non linéaires.

Comment choisir le paramètre nu ?

Réglez nu sur la fraction d'observations d'entraînement que vous vous attendez à être contaminées ou atypiques. Si vous pensez que moins de 5 % de vos échantillons d'entraînement sont des valeurs aberrantes, commencez avec nu=0,05. Utilisez un ensemble mis de côté d'exemples normaux connus pour évaluer la précision de la frontière plutôt que de vous fier uniquement à la recherche par grille.

Quel noyau dois-je utiliser ?

Le noyau RBF (Gaussien) est le point de départ standard et gère bien la plupart des ensembles de données numériques continus. L'hyperparamètre gamma du noyau RBF contrôle le rayon d'influence ; effectuez une validation croisée sur une grille espacée logarithmiquement. Les noyaux linéaires sont plus rapides mais limitent la frontière à un hyperplan.

Le SVM à une classe peut-il gérer des caractéristiques catégorielles ?

Pas directement. Les variables catégorielles doivent être encodées numériquement (par exemple, encodage binaire ou ordinal) avant utilisation, ce qui peut introduire des distorsions de la métrique de distance. Pour les ensembles de données dominés par des caractéristiques catégorielles, envisagez plutôt des détecteurs basés sur des arbres comme Isolation Forest.

Mon ensemble d'entraînement peut contenir quelques anomalies. Cela casse-t-il le modèle ?

Les données d'entraînement contaminées déplacent la frontière vers l'extérieur et peuvent amener le modèle à apprendre des modèles anormaux comme normaux. Le SVM à une classe y est plus sensible qu'Isolation Forest. Si une contamination est suspectée, envisagez d'utiliser SVDD avec un nu plus élevé ou de nettoyer l'ensemble d'entraînement avec un passage préliminaire d'un détecteur rapide.

Méthodes associées

Sources

  1. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    Ouvrir la référence DOI
    Copié.
  2. Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.

    Ouvrir la référence DOI
    Copié.