Skip to content
Retour aux résultats

Régression par vecteurs de support

Introduite par
Smola, A.J. & Schölkopf, B.
Année
2004
Type
Kernel-based supervised model (epsilon-insensitive regression)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La régression par vecteurs de support (SVR), décrite dans le tutoriel de Smola et Schölkopf de 2004, prédit un résultat continu en ajustant une fonction qui reste dans un tube d'epsilon de largeur autour des données tout en minimisant l'erreur.

Elle étend l'idée des machines à vecteurs de support de la classification à la régression, en utilisant un noyau pour capturer les relations non linéaires.

L’intuition derrière la méthode

Au lieu de pénaliser chaque écart par rapport à la droite ajustée, la SVR ignore les erreurs inférieures à une tolérance epsilon — elle trace un tube de largeur epsilon autour de la fonction prédite et seuls les points tombant à l'extérieur du tube lui sont préjudiciables. Le modèle recherche alors la fonction la plus plate possible qui maintient la plupart des points à l'intérieur du tube. La poignée de points sur ou en dehors des bords du tube devient les vecteurs de support qui définissent la prédiction.

Histoire

La régression par vecteurs de support étend la machine à vecteurs de support, à l'origine une méthode de classification, à la tâche de régression. La formulation epsilon-insensitive et sa solution par noyau sont présentées dans le tutoriel de Smola et Schölkopf de 2004 dans Statistics and Computing, qui est devenu la référence standard pour cette méthode.

Quand l’utiliser

Utilisez la SVR pour prédire un résultat continu (ou un compte) à partir de caractéristiques lorsque la relation peut être non linéaire et que vous avez au moins environ 50 observations. Les caractéristiques doivent être normalisées, et le noyau ainsi que le paramètre C nécessitent un réglage. Avec moins de 50 cas, la prédiction repose sur trop peu de vecteurs de support et devient instable, une régression par crête ou linéaire est donc préférable.

Limites et points d’attention

  • Nécessite au moins environ 50 observations ; avec moins, les prédictions reposent sur trop peu de vecteurs de support et sont instables.
  • La performance dépend du réglage du noyau et du paramètre C, ce qui nécessite suffisamment de données de validation croisée.
  • Les caractéristiques doivent être normalisées au préalable, sinon les distances du noyau sont déformées.
  • N'offre pas de coefficients interprétables.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • La perte epsilon-insensitive rend l'ajustement robuste aux petits écarts et aux valeurs aberrantes à l'intérieur du tube.
  • Les noyaux permettent à la SVR de modéliser des relations non linéaires sans ingénierie explicite de nouvelles caractéristiques.
  • Ne nécessite pas de données normalement distribuées.
  • Le modèle final ne dépend que des vecteurs de support, ce qui rend la prédiction compacte.

Applications

  • Prédiction de résultats continus où la relation avec les caractéristiques est non linéaire.
  • Tâches de prévision et de prédiction où la robustesse aux petits écarts est importante.
  • Modélisation de cibles continues ou de comptages dans les données de santé, sociales, d'ingénierie et d'affaires.
  • Servir d'alternative basée sur noyau à la régression linéaire ou par crête lorsque la non-linéarité est suspectée.

Comment ça marche

Comment ça marche

1

La SVR définit une marge de tolérance, le tube epsilon, autour de la fonction de régression : les écarts inférieurs à epsilon sont traités comme aucune erreur. Cela rend l'ajustement insensible aux petites fluctuations et concentre le modèle sur les observations qui tombent réellement en dehors de la bande.

Formule
|y_i - f(x_i)| \le \varepsilon
2

Le modèle équilibre la platitude de la fonction avec l'erreur engendrée par les points situés en dehors du tube. Un paramètre de régularisation C contrôle la pénalité des écarts hors tube, tandis qu'un noyau (tel que le noyau RBF) permet à la fonction de se courber pour capturer la structure non linéaire. Comme C et le noyau doivent être réglés, les caractéristiques doivent être normalisées avant l'ajustement.

Formule
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

Les prédictions pour de nouvelles entrées sont formées comme une combinaison pondérée par noyau des vecteurs de support — les points d'entraînement situés sur ou au-delà des bords du tube — plus un décalage. Seuls ces vecteurs de support entrent dans la prédiction finale, ce qui rend le modèle ajusté compact.

Formule
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

Pièges courants

  • Ajustement de la SVR sur des caractéristiques non normalisées, ce qui déforme les distances du noyau.
  • Acceptation des valeurs par défaut du noyau et de C sans les régler par validation croisée.
  • Utilisation de la SVR sur un petit échantillon où il n'y a pas assez de données pour l'optimisation des hyperparamètres.
  • Traitement de l'ajustement basé sur le noyau comme s'il fournissait des tailles d'effet interprétables.

Questions fréquentes

Que contrôle le paramètre epsilon ?

Epsilon définit la demi-largeur du tube de tolérance autour de la fonction ajustée. Les écarts inférieurs à epsilon sont traités comme une erreur nulle, donc un epsilon plus grand donne un modèle plus plat et plus simple avec moins de vecteurs de support, tandis qu'un epsilon plus petit ajuste les données plus étroitement.

Pourquoi dois-je normaliser les caractéristiques ?

La SVR repose sur des distances calculées via le noyau. Si les caractéristiques sont sur des échelles très différentes, celles avec des plages plus grandes dominent les distances, donc les caractéristiques doivent être standardisées avant l'ajustement.

Quelle taille d'échantillon est trop petite ?

Avec moins d'environ 50 observations, l'ajustement dépend de trop peu de vecteurs de support et devient instable, et il n'y a pas assez de données pour régler les hyperparamètres du noyau ; une régression par crête ou linéaire est un choix plus sûr.

En quoi la SVR diffère-t-elle des moindres carrés ordinaires ?

Les moindres carrés pénalisent chaque résidu quadratiquement, tandis que la SVR ignore les résidus à l'intérieur du tube epsilon et ne pénalise que ceux qui sont à l'extérieur. Combinée à un noyau, cela permet à la SVR de capturer des relations non linéaires et de rester robuste aux petits écarts.

Méthodes associées

Sources

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    Ouvrir la référence DOI
    Copié.