Régression linéaire régularisée
- Introduite par
- Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
- Année
- 1970–2005
- Type
- Penalized linear model
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La régression linéaire régularisée ajoute un terme de pénalité à l'objectif des moindres carrés ordinaires, réduisant ou annulant les coefficients pour diminuer le surajustement et gérer la multicolinéarité.
Les trois variantes principales — Ridge (pénalité L2), Lasso (pénalité L1) et Elastic Net (combinaison L1+L2) — rendent la régression linéaire utilisable même lorsque le nombre de caractéristiques dépasse celui des observations ou lorsque les prédicteurs sont fortement corrélés.
L’intuition derrière la méthode
Les moindres carrés ordinaires attribuent à chaque prédicteur le coefficient qui minimise l'erreur intra-échantillon, ce qui peut produire des coefficients excessivement grands et instables lorsque les prédicteurs sont corrélés ou lorsque le jeu de données comporte de nombreuses caractéristiques. La régularisation rapproche ces coefficients de zéro — fermement mais équitablement — de sorte que le modèle perd un peu de précision d'entraînement en échange d'une bien meilleure généralisation. Ridge réduit tous les coefficients proportionnellement ; Lasso va plus loin et peut en fixer certains à zéro, effectuant ainsi une sélection automatique de caractéristiques ; Elastic Net combine les deux stratégies et fonctionne lorsque des prédicteurs corrélés doivent être conservés ensemble.
Histoire
La régression Ridge a été introduite par Hoerl et Kennard en 1970 comme remède à la multicolinéarité dans les moindres carrés ordinaires. Le papier de Tibshirani sur Lasso en 1996 a ajouté la régularisation L1 et la capacité de réduire les coefficients à zéro, rendant possible la sélection automatique de caractéristiques. Zou et Hastie ont étendu ces idées en 2005 avec Elastic Net, combinant les pénalités L1 et L2 pour gérer les groupes de prédicteurs corrélés. Ces trois méthodes forment la boîte à outils canonique de régularisation pour les modèles linéaires et sont des piliers de 'Elements of Statistical Learning' et 'An Introduction to Statistical Learning'.
Quand l’utiliser
Utilisez la régression linéaire régularisée pour prédire un résultat continu à partir de nombreuses caractéristiques numériques et lorsqu'une certaine multicolinéarité est suspectée, ou lorsque le nombre de caractéristiques est grand par rapport à la taille de l'échantillon. Ridge est le choix par défaut lorsque toutes les caractéristiques sont plausiblement pertinentes ; Lasso ou Elastic Net lorsque la sélection automatique de caractéristiques est nécessaire. Préférez la régression linéaire ordinaire (non pénalisée) uniquement lorsque les caractéristiques sont peu nombreuses, non corrélées et que l'échantillon est grand. N'utilisez aucune variante linéaire lorsque le résultat est clairement non linéaire ou lorsqu'il est binaire ou catégoriel — utilisez plutôt la régression logistique ou des méthodes basées sur des arbres.
Limites et points d’attention
- Suppose une relation linéaire entre les caractéristiques et la cible continue ; manque les motifs non linéaires à moins que les caractéristiques ne soient créées manuellement.
- La standardisation des caractéristiques est obligatoire avant l'ajustement ; oublier cette étape fausse les estimations des coefficients.
- Lasso fonctionne mal lorsque de nombreux prédicteurs corrélés réellement pertinents existent — il en sélectionne arbitrairement un et écarte les autres ; Elastic Net est le choix le plus sûr dans ce contexte.
- Ridge conserve toutes les caractéristiques et ne produit pas de modèle épars, ce qui peut compliquer l'interprétation lorsque l'espace des caractéristiques est de très haute dimension.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Produit des coefficients linéaires entièrement interprétables avec des tailles d'effet et des directions explicites.
- Gère la multicolinéarité avec élégance — Ridge redistribue les coefficients entre prédicteurs corrélés ; Lasso en sélectionne un dans un groupe.
- Lasso et Elastic Net effectuent une sélection de caractéristiques intégrée en mettant les coefficients non pertinents à zéro.
- Efficace en calcul, même sur de grands jeux de données ; évolutif à des millions d'observations avec la descente de coordonnées.
- La sélection de lambda par validation croisée est bien supportée dans tous les principaux logiciels statistiques (scikit-learn, glmnet, statsmodels).
Applications
- Génomique et bioinformatique : prédiction de phénotypes continus à partir de milliers de marqueurs génétiques où p >> n.
- Économie et sciences sociales : estimation des effets de nombreuses variables politiques sur des résultats continus tout en contrôlant la multicolinéarité.
- Ingénierie : prédiction de quantités physiques à partir de réseaux de capteurs avec des mesures corrélées.
- Pipeline de sélection de caractéristiques : Lasso ou Elastic Net utilisés en amont pour identifier un petit ensemble de prédicteurs avant d'ajuster un modèle plus complexe.
- Finance : prévision des rendements ou des mesures de risque à partir de nombreux facteurs macroéconomiques et de marché.
- Santé : prédiction de résultats cliniques continus à partir de grands panels de valeurs de laboratoire ou de caractéristiques dérivées d'imagerie.
Comment ça marche
Comment ça marche
Avant l'ajustement, tous les prédicteurs sont standardisés (moyenne nulle, variance unitaire). Ceci est obligatoire car la pénalité s'applique de manière égale à chaque coefficient — sans standardisation, les caractéristiques à plus grande échelle seraient pénalisées plus lourdement, faussant ainsi les estimations des coefficients.
Le praticien sélectionne un type de pénalité : Ridge utilise la somme des carrés des coefficients (norme L2), qui réduit tous les coefficients mais n'en annule jamais aucun. Lasso utilise la somme des valeurs absolues (norme L1), qui peut réduire certains coefficients à zéro, effectuant une sélection automatique de caractéristiques. Elastic Net combine linéairement L1 et L2, contrôlé par un paramètre de mélange alpha, et est particulièrement utile lorsque plusieurs prédicteurs corrélés sont pertinents.
Formule
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2Le modèle minimise l'objectif pénalisé — somme des carrés des résidus plus la pénalité choisie, mise à l'échelle par la force de régularisation lambda. Pour Ridge, cela a une solution analytique ; Lasso et Elastic Net nécessitent une optimisation par descente de coordonnées ou sous-gradient car la pénalité L1 n'est pas différentiable à zéro.
Formule
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]La force de régularisation lambda est un hyperparamètre qui doit être ajusté par validation croisée, généralement sur une grille logarithmique. Un lambda de zéro récupère les moindres carrés ordinaires ; un lambda très grand force tous les coefficients vers zéro. Le lambda optimal équilibre le biais et la variance pour le jeu de données spécifique.
Une fois lambda fixé et les coefficients estimés, la prédiction pour de nouvelles observations est identique à la régression linéaire ordinaire : le produit scalaire des caractéristiques et des coefficients estimés. Le modèle reste entièrement interprétable en termes d'effets linéaires.
Formule
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}Pièges courants
- Ajustement sans standardisation des prédicteurs, de sorte que les caractéristiques à plus grande échelle sont plus pénalisées et les coefficients ne sont pas comparables.
- Utilisation du lambda par défaut au lieu de le sélectionner par validation croisée — un mauvais lambda sous-régularise (proche des moindres carrés ordinaires) ou sur-régularise (les coefficients s'effondrent à zéro).
- Application de la régression linéaire régularisée à un résultat binaire ou de comptage alors que la régression logistique ou la régression de Poisson devrait être utilisée à la place.
- Rapport des résultats de sélection de variables Lasso comme s'ils étaient confirmatoires — la sélection Lasso est sensible au jeu de données et à lambda, donc traitez les variables sélectionnées comme exploratoires.
- Ignorer l'hypothèse de linéarité et rapporter un modèle régularisé mal ajusté sans vérifier les résidus.
Questions fréquentes
Quand choisir Ridge plutôt que Lasso ?
Choisissez Ridge lorsque vous pensez que la plupart des prédicteurs contribuent au résultat et que vous souhaitez des estimations de coefficients stables sans en annuler aucun — par exemple, lorsque les prédicteurs sont fortement corrélés et que vous souhaitez les conserver tous. Choisissez Lasso ou Elastic Net lorsque vous vous attendez à ce que de nombreuses caractéristiques soient non pertinentes et que vous souhaitez une sélection automatique de caractéristiques.
Obtiens-je toujours des p-values et des intervalles de confiance ?
Les p-values classiques et les erreurs standard ne sont pas disponibles directement à partir de la régression pénalisée car les estimations des coefficients sont biaisées par conception. Des méthodes d'inférence post-sélection (par exemple, le Lasso désépaissi) existent mais sont rarement utilisées en pratique ; à la place, des intervalles de confiance bootstrap ou des mesures de stabilité par validation croisée sont rapportés.
Comment choisir la force de régularisation lambda ?
Sélectionnez lambda par validation croisée k-fold (typiquement k = 5 ou 10) sur une grille logarithmique. Des bibliothèques comme RidgeCV et LassoCV de scikit-learn ou glmnet de R le font automatiquement. Rapportez le lambda choisi et notez s'il a été sélectionné par erreur de validation croisée minimale ou par la règle de l'erreur standard unique.
La régression linéaire régularisée nécessite-t-elle des caractéristiques normalement distribuées ?
Non. Comme pour les moindres carrés ordinaires, l'hypothèse porte sur les résidus (approximativement normaux, homoscédastiques), et non sur les prédicteurs. Des prédicteurs très asymétriques ou contenant des valeurs aberrantes peuvent toujours fausser les estimations, donc la transformation logarithmique des entrées asymétriques est une étape de prétraitement courante.
Qu'est-ce qu'Elastic Net et quand est-il préféré ?
Elastic Net combine les pénalités L1 et L2, contrôlé par un paramètre de mélange alpha (alpha = 1 est Lasso pur ; alpha = 0 est Ridge pur). Il est préféré lorsque des groupes de prédicteurs corrélés sont tous pertinents — Lasso sélectionnerait arbitrairement un du groupe et écarterait les autres, tandis qu'Elastic Net a tendance à conserver le groupe ensemble.
Méthodes associées
Sources
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Ouvrir la référence DOICopié.Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.
ISBN : 978-0-387-84858-7Copié.