Skip to content
Retour aux résultats

Elastic Net

Introduite par
Zou, H. & Hastie, T.
Année
2005
Type
Regularized linear regression (L1 + L2 penalty)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Elastic Net est une méthode de régression linéaire régularisée introduite par Zou et Hastie en 2005 qui combine les pénalités LASSO (L1) et Ridge (L2), réalisant ainsi une sélection de variables et une réduction des coefficients simultanément.

Elle est conçue pour la modélisation prédictive et explicative sur des données comportant de nombreux prédicteurs, potentiellement corrélés.

L’intuition derrière la méthode

La régression linéaire simple peut surajuster et se comporte mal lorsque les prédicteurs sont corrélés ou qu'il y a plus de caractéristiques que d'observations. Le LASSO peut annuler des coefficients pour sélectionner des variables mais peine lorsque des groupes de prédicteurs sont corrélés, tandis que Ridge réduit tous les coefficients de manière fluide mais ne supprime jamais une variable. Elastic Net mélange les deux : il conserve la capacité du LASSO à fixer certains coefficients exactement à zéro tout en bénéficiant de la stabilité de Ridge, de sorte que les prédicteurs corrélés sont traités avec grâce au lieu d'être choisis arbitrairement.

Histoire

Elastic Net a été introduit par Hui Zou et Trevor Hastie en 2005 pour surmonter deux faiblesses connues du LASSO : son comportement erratique lorsque les prédicteurs sont fortement corrélés et son incapacité à sélectionner plus de variables qu'il n'y a d'observations. En ajoutant un terme L2 de type Ridge à la pénalité L1 du LASSO, ils ont produit un estimateur qui sélectionne les variables et stabilise la solution, et il est devenu un outil standard pour la régression de haute dimension.

Quand l’utiliser

Utilisez Elastic Net pour la prédiction ou l'explication sur des résultats continus, binaires ou de comptage lorsque vous avez de nombreux prédicteurs — en particulier corrélés ou plus de caractéristiques que d'observations — et que vous souhaitez une sélection automatique de variables associée à une réduction. Il suppose une relation approximativement linéaire et que les caractéristiques ont été normalisées. Vous avez besoin d'au moins environ 30 observations pour que les deux hyperparamètres puissent être réglés par validation croisée ; en dessous, le LASSO simple ou Ridge est plus sûr.

Limites et points d’attention

  • Suppose une relation approximativement linéaire entre les prédicteurs et le résultat.
  • Les caractéristiques doivent être normalisées au préalable, sinon la pénalité favorise injustement les variables à grande échelle.
  • Deux hyperparamètres (force de la pénalité et rapport de mélange L1/L2) doivent être réglés, nécessitant plus de données de validation croisée que les méthodes à pénalité unique.
  • Sur de petits échantillons (n inférieur à environ 30), le rapport de mélange L1/L2 est instable à optimiser.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Combine la sélection de variables du LASSO avec la réduction de Ridge dans un seul modèle.
  • Traite gracieusement les prédicteurs corrélés, ayant tendance à les conserver ou à les supprimer en groupes.
  • Fonctionne lorsque le nombre de caractéristiques dépasse le nombre d'observations.
  • Léger en termes de distribution : ne nécessite pas de résultats normalement distribués et gère les caractéristiques continues, binaires et de comptage.

Applications

  • Régression de haute dimension où les prédicteurs surpassent en nombre les observations.
  • Études génomiques et d' ένα marqueurs avec de nombreuses caractéristiques corrélées.
  • Modélisation prédictive nécessitant à la fois une sélection de variables et des coefficients robustes.
  • Modélisation explicative où la réduction et l'élagage des prédicteurs corrélés clarifient le signal.

Comment ça marche

Comment ça marche

1

Le modèle ajuste les coefficients en minimisant la perte d'erreur quadratique habituelle plus une pénalité combinée : un terme L1 qui pousse certains coefficients exactement à zéro (sélection) et un terme L2 qui les réduit de manière fluide (stabilité). La force de la pénalité totale est contrôlée par λ, et l'équilibre entre les deux pénalités par le paramètre de mélange (l1_ratio, noté α ici).

Formule
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

Deux hyperparamètres régissent l'ajustement — la force globale de la pénalité et le rapport de mélange L1/L2 — et ils sont choisis par validation croisée. Comme il y a deux leviers à régler plutôt qu'un, Elastic Net nécessite suffisamment de données (au moins environ 30 observations) pour que la grille de validation croisée soit fiable. Les prédicteurs doivent être standardisés au préalable afin que la pénalité traite chaque caractéristique à la même échelle.

3

Le modèle ajusté renvoie un ensemble épars de coefficients : les prédicteurs sans importance sont ramenés à zéro et supprimés, tandis que les prédicteurs corrélés ont tendance à être conservés ou supprimés ensemble en groupe plutôt qu'un seul étant choisi au hasard. Les coefficients survivants, ayant été réduits, donnent un modèle plus stable et généralisable que la régression non pénalisée.

Pièges courants

  • Ajustement sans standardisation préalable des prédicteurs.
  • Tentative de réglage des deux hyperparamètres sur trop peu d'observations, rendant la grille de validation croisée peu fiable.
  • Recourir à Elastic Net lorsqu'une seule pénalité suffit — LASSO seul si vous n'avez besoin que de sélection, Ridge seul si vous n'avez besoin que de réduction.
  • Interprétation des coefficients réduits comme des tailles d'effet non biaisées.

Questions fréquentes

Quelle est la différence entre Elastic Net, LASSO et Ridge ?

LASSO utilise uniquement la pénalité L1 (sélection mais instable avec des prédicteurs corrélés) ; Ridge utilise uniquement la pénalité L2 (réduction stable mais ne supprime jamais de variables). Elastic Net combine les deux, contrôlé par un rapport de mélange, de sorte qu'il sélectionne les variables et reste stable avec des caractéristiques corrélées.

Dois-je mettre à l'échelle mes caractéristiques ?

Oui. La pénalité agit sur la taille des coefficients, donc les caractéristiques doivent être normalisées au préalable ; sinon, les variables à grande échelle sont pénalisées différemment et la sélection est biaisée.

Combien d'observations me faut-il ?

Au moins environ 30. Elastic Net règle deux hyperparamètres par validation croisée, il nécessite donc plus de données que les méthodes à pénalité unique. En dessous de 30, utilisez le LASSO simple si vous avez besoin de sélection ou Ridge si vous avez besoin de réduction.

Que contrôlent les deux hyperparamètres ?

La force globale de la pénalité (λ) contrôle l'ampleur de la réduction des coefficients, et le rapport de mélange (l1_ratio) définit l'équilibre entre la pénalité de sélection L1 et la pénalité de réduction L2. Les deux sont choisis par validation croisée.

Méthodes associées

Sources

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    Ouvrir la référence DOI
    Copié.