Skip to content
Retour aux résultats

Régression Lasso

Introduite par
Tibshirani, R.
Année
1996
Type
Regularized linear regression (L1 penalty)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La régression Lasso, introduite par Robert Tibshirani en 1996, est une méthode de régression linéaire qui ajoute une pénalité L1 à la fonction de perte afin de réduire les coefficients et d'effectuer une sélection de variables simultanément, produisant ainsi un modèle parcimonieux.

En annulant certains coefficients, elle ne conserve que les prédicteurs pertinents.

L’intuition derrière la méthode

Les moindres carrés ordinaires ajustent tous les prédicteurs et peuvent répartir le poids sur de nombreuses variables corrélées ou non pertinentes, ce qui gonfle la variance et masque les caractéristiques qui influencent réellement le résultat. Le Lasso ajoute une contrainte sur la taille totale des coefficients : à mesure que cette contrainte se resserre, les prédicteurs faibles sont ramenés à zéro et exclus du modèle. Le résultat est un ensemble de variables plus petit, plus stable et plus facile à interpréter.

Histoire

Le Lasso a été introduit par Robert Tibshirani en 1996 comme un moyen de combiner la réduction des coefficients de la régression pénalisée avec la sélection automatique de variables, en utilisant une pénalité L1 sur les coefficients. Il est devenu une pierre angulaire des statistiques de haute dimension et a motivé des méthodes apparentées telles que la régression Ridge et le réseau élastique, qui échangent ou combinent les pénalités L1 et L2.

Quand l’utiliser

Un bon choix lorsque vous souhaitez un modèle linéaire parcimonieux et interprétable pour la prédiction ou l'explication à partir de nombreux prédicteurs continus, binaires ou de comptage, et d'au moins environ 30 observations. Il est particulièrement utile lorsque la multicolinéarité est présente (par exemple, VIF supérieur à 10) et que vous souhaitez que la méthode choisisse elle-même les variables à conserver. Il suppose une relation approximativement linéaire et nécessite que les caractéristiques soient standardisées. En dessous d'environ 30 observations, la sélection de variables devient instable et la régression Ridge est plus sûre ; lorsque le nombre de prédicteurs dépasse la taille de l'échantillon, le réseau élastique est préférable.

Limites et points d’attention

  • Suppose une relation linéaire entre les prédicteurs et le résultat.
  • Les caractéristiques doivent être standardisées au préalable, sinon la pénalité traite de manière inéquitable les variables sur différentes échelles.
  • Sur de petits échantillons (n inférieur à environ 30), les variables sélectionnées sont instables et non reproductibles.
  • Lorsque le nombre de prédicteurs dépasse la taille de l'échantillon, il peut sélectionner au plus n variables, le réseau élastique est donc préféré.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Effectue la sélection de variables et la réduction des coefficients en un seul ajustement, produisant un modèle parcimonieux et interprétable.
  • Élimine les prédicteurs faibles en les ramenant exactement à zéro, ce qui simplifie le modèle et réduit le surajustement.
  • Une réponse naturelle à la multicolinéarité (VIF élevé) sans avoir à supprimer manuellement des variables.
  • Ne nécessite pas de données normalement distribuées et gère les prédicteurs continus, binaires et de comptage.
  • Un seul paramètre de réglage (lambda), qui est simple à définir par validation croisée.

Applications

  • Construction de modèles de prédiction parcimonieux et interprétables à partir de nombreux prédicteurs candidats.
  • Sélection automatique de variables en présence de multicolinéarité (VIF élevé).
  • Paramètres de haute dimension où seul un sous-ensemble de caractéristiques est censé être pertinent.
  • Une base de référence régularisée avant d'essayer le réseau élastique ou des modèles plus complexes.

Comment ça marche

Comment ça marche

1

Le Lasso minimise la somme habituelle des résidus au carré plus une pénalité égale à lambda fois la somme des valeurs absolues des coefficients. Cette pénalité L1 est la caractéristique déterminante : plus lambda est élevé, plus les coefficients sont tirés vers zéro.

Formule
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

Parce que la pénalité L1 a des coins vifs, elle fait plus que simplement réduire les coefficients vers zéro — elle en fixe plusieurs exactement à zéro. Les variables ayant un coefficient nul sont effectivement supprimées, de sorte que l'ajustement et la sélection de variables se font en une seule étape et que le modèle final est parcimonieux.

3

La force de la pénalité lambda contrôle le compromis entre l'ajustement et la parcimonie, elle est donc choisie par validation croisée : une gamme de valeurs de lambda est essayée et celle qui minimise l'erreur quadratique moyenne validée croisée est conservée. Les caractéristiques doivent être standardisées au préalable afin que la pénalité unique s'applique équitablement aux prédicteurs sur différentes échelles.

Pièges courants

  • Ajustement du Lasso sans standardiser les caractéristiques au préalable.
  • Choix de lambda manuellement au lieu de le régler par validation croisée.
  • Faire confiance aux variables sélectionnées sur un très petit échantillon où la sélection est instable.
  • Oublier de vérifier les graphiques des résidus pour la normalité et l'homogénéité après l'ajustement.
  • Ignorer que, avec plus de prédicteurs que d'observations, le Lasso limite le nombre de variables sélectionnées.

Questions fréquentes

Comment lambda est-il choisi ?

Lambda contrôle la force avec laquelle les coefficients sont pénalisés. Il est sélectionné par validation croisée : une gamme de valeurs est essayée et celle qui minimise l'erreur quadratique moyenne validée croisée est conservée.

Pourquoi dois-je standardiser les caractéristiques ?

La pénalité L1 unique s'applique de la même manière à chaque coefficient, de sorte que les prédicteurs mesurés sur des échelles plus grandes seraient autrement moins pénalisés. La standardisation préalable des caractéristiques rend la pénalité équitable entre les variables.

Comment le Lasso diffère-t-il de la régression Ridge ?

Le Lasso utilise une pénalité L1 qui peut fixer les coefficients exactement à zéro, effectuant ainsi une sélection de variables, tandis que Ridge utilise une pénalité L2 qui réduit les coefficients mais ne les annule pas. Sur de petits échantillons ou lorsque la sélection est instable, Ridge est le choix le plus sûr.

Que dois-je vérifier après l'ajustement ?

Inspecter la courbe de l'erreur quadratique moyenne de validation croisée pour confirmer le lambda choisi, examiner quelles variables ont été conservées par rapport à celles mises à zéro, et analyser les graphiques des résidus pour la normalité et l'homogénéité.

Méthodes associées

Sources

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Ouvrir la référence DOI
    Copié.