Skip to content
Retour aux résultats

Machine à vecteurs de support (Classification)

Introduite par
Cortes, C. & Vapnik, V.
Année
1995
Type
Maximum-margin classifier (kernel method)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La Machine à vecteurs de support (SVM), introduite par Corinna Cortes et Vladimir Vapnik en 1995, est un classifieur qui trouve l'hyperplan séparateur optimal entre les classes dans un espace de haute dimension.

Elle choisit la frontière qui laisse la marge la plus large possible aux points d'entraînement les plus proches, ce qui rend ses décisions robustes sur de nouvelles données.

L’intuition derrière la méthode

Imaginez séparer deux groupes de points avec une frontière droite. De nombreuses lignes pourraient le faire, mais la SVM recherche celle positionnée aussi loin que possible des points les plus proches de chaque classe — la 'rue' la plus large entre elles. Seuls ces points les plus proches, les vecteurs de support, façonnent réellement la frontière ; tout ce qui est plus éloigné est sans importance. Lorsque les classes ne peuvent pas être séparées par une ligne droite, un noyau remodèle l'espace de sorte qu'une séparation nette devienne possible.

Histoire

La Machine à vecteurs de support a été introduite par Corinna Cortes et Vladimir Vapnik dans leur article de 1995 'Support-Vector Networks', qui combinait l'idée de marge maximale avec le truc du noyau pour traiter les données non linéairement séparables. Elle est devenue l'une des méthodes de classification les plus influentes de son époque et une référence standard pour l'apprentissage supervisé de haute dimension.

Quand l’utiliser

Utilisez la SVM pour la classification binaire ou catégorielle sur des données tabulaires avec environ 50 observations ou plus, surtout lorsque l'espace des caractéristiques est de haute dimension et que la précision prédictive est plus importante que les coefficients explicites. Elle ne nécessite pas de données normalement distribuées, mais les caractéristiques doivent être standardisées et le noyau ainsi que C doivent être ajustés par validation croisée. Sur de très petits échantillons, préférez un classifieur plus simple comme la régression logistique ou le naïf bayésien.

Limites et points d’attention

  • Sensible au choix du noyau et du paramètre C, qui doivent être ajustés par validation croisée.
  • Nécessite une standardisation minutieuse des caractéristiques ; des caractéristiques non mises à l'échelle faussent la marge.
  • Devient instable sur de petits échantillons, où il y a trop peu de vecteurs de support pour définir une frontière fiable.
  • Ne fournit pas de coefficients directement interprétables ni d'estimations natives de probabilité de classe.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Efficace dans les espaces de caractéristiques de haute dimension, même lorsqu'il y a plus de caractéristiques que la complexité de la frontière ne le suggérerait.
  • Le principe de marge maximale et l'utilisation des seuls vecteurs de support donnent des frontières robustes et généralisables.
  • Les noyaux lui permettent de capturer des frontières de classes non linéaires sans ingénierie manuelle de nouvelles caractéristiques.
  • Peu d'hypothèses : elle ne nécessite pas de données normalement distribuées.

Applications

  • Classification binaire et multi-classes sur des données tabulaires.
  • Problèmes de classification de haute dimension où les caractéristiques dépassent la capacité d'un modèle simple.
  • Tâches de prédiction où une frontière de décision robuste et bien séparée est plus importante que des coefficients interprétables.
  • Problèmes avec des frontières de classes non linéaires, traités par des fonctions noyau.

Comment ça marche

Comment ça marche

1

La SVM recherche l'hyperplan qui sépare les classes avec la plus grande marge — la plus grande distance aux points de données les plus proches de chaque côté. Ces points les plus proches sont les vecteurs de support, et ils déterminent seuls où se situe la frontière. Une marge large tend à généraliser mieux aux données non vues qu'une frontière serrée près des points d'entraînement.

2

Lorsque les classes ne sont pas linéairement séparables, une fonction noyau (par exemple la fonction de base radiale) projette implicitement les caractéristiques dans un espace de dimension supérieure où un hyperplan séparateur existe. C'est pourquoi les caractéristiques doivent d'abord être standardisées (StandardScaler est requis), et pourquoi le noyau et le paramètre de régularisation C doivent être choisis par validation croisée.

3

La frontière est trouvée en minimisant l'objectif ci-dessus : elle réduit le vecteur de poids (élargissant la marge) tout en payant une pénalité C pour chaque point qui tombe du mauvais côté ou à l'intérieur de la marge (l'écart ξ). Un grand C exige un ajustement serré aux données d'entraînement ; un petit C tolère plus de violations pour une marge plus large et plus lisse. Avec des classes déséquilibrées, class_weight='balanced' empêche la classe minoritaire d'être ignorée.

Formule
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

Pièges courants

  • Ajustement de la SVM sur des caractéristiques brutes et non standardisées au lieu de les standardiser au préalable.
  • Acceptation des valeurs par défaut du noyau et de C au lieu de les sélectionner par validation croisée (par exemple, recherche par grille).
  • Ignorer le déséquilibre des classes au lieu de définir class_weight='balanced'.
  • Application de la SVM sur un échantillon inférieur à environ 50 observations, où la frontière est instable et sujette au surajustement.
  • Rapport de la seule précision sans matrice de confusion, précision/rappel/F1, et ROC-AUC.

Questions fréquentes

Pourquoi dois-je standardiser les caractéristiques ?

La SVM mesure les distances à l'hyperplan séparateur, donc les caractéristiques sur des échelles numériques plus grandes dominent la marge. La standardisation de chaque caractéristique (StandardScaler) les met sur des échelles comparables afin que la frontière reflète la véritable structure de classe plutôt que des unités arbitraires.

Que contrôle le paramètre C ?

C fait un compromis entre la largeur de la marge et les erreurs de classification. Un grand C impose un ajustement serré aux données d'entraînement avec une marge étroite ; un petit C autorise plus de violations de marge en échange d'une frontière plus large et plus lisse. La bonne valeur est trouvée par validation croisée.

À quoi sert le noyau ?

Lorsque les classes ne peuvent pas être séparées par une frontière droite, un noyau (tel que la fonction de base radiale) projette implicitement les données dans un espace de dimension supérieure où un hyperplan séparateur existe, permettant à la SVM de modéliser des frontières non linéaires. Le choix du noyau doit être validé par validation croisée.

Quand ne devrais-je pas utiliser la SVM ?

Sur de très petits échantillons — moins d'environ 50 observations — il y a trop peu de vecteurs de support pour définir une frontière stable et pas assez de données pour ajuster le noyau et C, donc le modèle risque le surajustement. Dans ce cas, un classifieur plus simple comme la régression logistique ou le naïf bayésien est préférable.

Méthodes associées

Sources

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    Ouvrir la référence DOI
    Copié.