Skip to content
Retour aux résultats

Régression Ridge

Introduite par
Hoerl, A.E. & Kennard, R.W.
Année
1970
Type
L2-regularized linear regression

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La régression Ridge est une méthode de régression linéaire régularisée par L2, introduite par Arthur Hoerl et Robert Kennard en 1970, qui réduit la multicolinéarité en ajoutant une pénalité sur la taille des coefficients.

Elle réduit les coefficients vers zéro sans en fixer aucun exactement à zéro, produisant des estimations plus stables lorsque les prédicteurs sont fortement corrélés.

L’intuition derrière la méthode

Lorsque les prédicteurs sont fortement corrélés, les coefficients des moindres carrés ordinaires deviennent instables et peuvent varier considérablement d'un échantillon à l'autre. La régression Ridge accepte délibérément une petite quantité de biais en échange d'une variance beaucoup plus faible : en ajoutant une pénalité sur la taille au carré des coefficients, elle maîtrise ces variations importantes et conserve toutes les variables dans le modèle, mais avec des poids plus petits et plus stables.

Histoire

La régression Ridge a été introduite par Arthur E. Hoerl et Robert W. Kennard en 1970 comme moyen d'obtenir des estimations biaisées mais plus stables pour des problèmes non orthogonaux (colinéaires), où les moindres carrés ordinaires échouent. L'idée d'ajouter une pénalité L2 est devenue un outil fondamental de la régression régularisée et un précurseur direct de méthodes ultérieures telles que LASSO et Elastic Net, qui combinent ou contrastent son comportement de réduction avec une sélection explicite de variables.

Quand l’utiliser

Utilisez la régression Ridge pour la prédiction avec des prédicteurs continus, binaires ou de comptage lorsque la multicolinéarité est présente — par exemple, lorsqu'un facteur d'inflation de la variance dépasse 10 — et que vous souhaitez conserver toutes les variables plutôt que de sélectionner parmi elles. Elle suppose une relation approximativement linéaire et au moins environ 30 observations. Les caractéristiques doivent être standardisées au préalable. Lorsque les échantillons sont petits et la colinéarité légère, la régression linéaire simple est plus interprétable ; lorsque la sélection de variables est l'objectif, LASSO ou Elastic Net est préférable.

Limites et points d’attention

  • N'effectue aucune sélection de variables ; elle ne peut pas annuler les prédicteurs non pertinents comme le fait LASSO.
  • Nécessite que les caractéristiques soient standardisées, sinon la pénalité favorise injustement les variables à grande échelle.
  • Suppose une relation linéaire entre les prédicteurs et le résultat.
  • Sur de petits échantillons (n inférieur à environ 30), la validation croisée pour régler alpha est peu fiable et les moindres carrés ordinaires peuvent suffire.
  • Lorsque la colinéarité n'est pas un problème réel, la réduction est inutile et diminue l'interprétabilité.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Réduit la multicolinéarité et stabilise les estimations des coefficients en ajoutant une pénalité L2.
  • Conserve chaque prédicteur dans le modèle — les coefficients sont réduits mais aucun n'est mis à zéro.
  • Diminue la variance au prix d'une augmentation faible et contrôlée du biais, améliorant souvent la prédiction.
  • Possède un hyperparamètre unique et facilement réglable (alpha) choisi par validation croisée.
  • Fonctionne avec des prédicteurs continus, binaires et de comptage sans nécessiter de données normalement distribuées.

Applications

  • Prédiction avec de nombreux prédicteurs corrélés où la multicolinéarité gonfle la variance des MCO.
  • Stabilisation des coefficients de régression lorsque les facteurs d'inflation de la variance sont élevés (VIF supérieur à 10).
  • Modélisation lorsque tous les prédicteurs doivent être conservés plutôt que sélectionnés.
  • Une base de référence régularisée avant de comparer avec LASSO ou Elastic Net.

Comment ça marche

Comment ça marche

1

Les moindres carrés ordinaires ajustent les coefficients en minimisant uniquement l'erreur quadratique. Lorsque deux prédicteurs ou plus sont presque redondants (multicolinéarité), cela laisse les coefficients mal déterminés et très sensibles au bruit. La régression Ridge aborde ce problème en décourageant les coefficients importants, échangeant un peu de biais contre une stabilité beaucoup plus grande.

2

La régression Ridge minimise la somme habituelle des erreurs quadratiques plus une pénalité égale à une constante de réglage alpha multipliée par la somme des coefficients au carré. Cette pénalité L2 réduit tous les coefficients vers zéro proportionnellement à leur taille, mais contrairement à LASSO, elle ne force jamais aucun coefficient exactement à zéro, de sorte que chaque prédicteur est conservé. La standardisation préalable des caractéristiques est nécessaire pour que la pénalité traite chaque prédicteur équitablement.

Formule
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2
3

La force de la pénalité est contrôlée par alpha : des valeurs plus grandes réduisent davantage les coefficients. La bonne valeur est choisie par validation croisée, généralement en explorant une plage d'alpha et en sélectionnant celle qui minimise l'erreur quadratique moyenne validée croisée.

Pièges courants

  • Ajustement de la régression Ridge sur des caractéristiques brutes non standardisées, de sorte que la pénalité déforme les coefficients.
  • Choix d'alpha à la main au lieu de le sélectionner par validation croisée.
  • Application de la régression Ridge lorsqu'il n'y a pas de multicolinéarité réelle, réduisant les coefficients sans bénéfice.
  • Attente de sélection de variables — la régression Ridge conserve toutes les variables, donc utilisez LASSO ou Elastic Net si vous avez besoin de parcimonie.
  • Saut des diagnostics des résidus (normalité, homoscédasticité) après l'ajustement.

Questions fréquentes

Quelle est la différence entre la régression Ridge et LASSO ?

Les deux ajoutent une pénalité pour réduire les coefficients, mais la régression Ridge utilise une pénalité L2 qui réduit les coefficients vers zéro sans jamais l'atteindre, de sorte que tous les prédicteurs restent dans le modèle. LASSO utilise une pénalité L1 qui peut fixer les coefficients exactement à zéro, effectuant une sélection de variables. Choisissez Ridge pour stabiliser les prédicteurs corrélés et LASSO lorsque vous avez besoin d'un modèle parcimonieux.

Dois-je standardiser mes caractéristiques ?

Oui. La standardisation des caractéristiques est nécessaire, car la pénalité L2 agit sur la taille des coefficients ; sans standardisation, la pénalité réduirait injustement les variables mesurées à plus grande échelle.

Comment choisir la force de la pénalité alpha ?

Choisissez alpha par validation croisée : explorez une plage de valeurs et sélectionnez celle qui minimise l'erreur quadratique moyenne validée croisée. La courbe de l'erreur quadratique moyenne de validation croisée en fonction d'alpha montre où se situe l'optimum.

Quand ne pas utiliser la régression Ridge ?

S'il n'y a pas de multicolinéarité réelle, la régression Ridge ajoute une réduction inutile et une régression linéaire simple est plus interprétable. Avec de très petits échantillons (n inférieur à environ 30), le réglage d'alpha est peu fiable, et si vous avez besoin d'éliminer des variables non pertinentes, vous devriez utiliser LASSO ou Elastic Net à la place.

Méthodes associées

Sources

  1. Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.

    Ouvrir la référence DOI
    Copié.