Skip to content
Retour aux résultats

Régression logistique régularisée

Introduite par
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
Année
1996–2005
Type
Penalized classification model
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La régression logistique régularisée étend la régression logistique standard en ajoutant une pénalité L1 (lasso), L2 (ridge) ou elastic net à la log-vraisemblance, réduisant les coefficients vers zéro et prévenant le surapprentissage.

C'est le choix par défaut pour la classification binaire ou multinomiale lorsque vous souhaitez des estimations de coefficients interprétables, éparses ou stables dans des espaces de caractéristiques de haute dimension ou colinéaires.

L’intuition derrière la méthode

La régression logistique standard maximise la probabilité des étiquettes de classe observées. Dans les contextes de haute dimension — nombreuses caractéristiques, peu d'observations, ou prédicteurs corrélés — les coefficients estimés peuvent exploser ou fluctuer sauvagement, entraînant une mauvaise généralisation. La régularisation contraint les magnitudes des coefficients en ajoutant une pénalité qui croît avec la taille des coefficients, échangeant une petite quantité d'ajustement sur l'ensemble d'entraînement contre une bien meilleure généralisation. La pénalité L1 réduit certains coefficients exactement à zéro (sélection automatique de caractéristiques), la pénalité L2 réduit tous les coefficients en douceur sans les annuler, et l'elastic net mélange les deux comportements.

Histoire

La régression Ridge a été formalisée par Hoerl et Kennard en 1970 et appliquée aux modèles linéaires généralisés, y compris la régression logistique. L'article de Tibshirani en 1996 sur le lasso a introduit la régularisation L1 avec des solutions éparses, transformant la modélisation de haute dimension. Zou et Hastie (2005) ont combiné les deux pénalités en elastic net, abordant la limitation du lasso avec les groupes de caractéristiques corrélées. Aujourd'hui, la régression logistique régularisée est un algorithme fondamental dans scikit-learn, glmnet (R), et LIBLINEAR, et est couramment utilisée comme classificateur de référence dans les applications biomédicales et de traitement du langage naturel.

Quand l’utiliser

Utilisez la régression logistique régularisée pour la classification binaire ou multinomiale lorsque vous avez besoin de sorties probabilistes interprétables, lorsque le nombre de caractéristiques est grand par rapport à la taille de l'échantillon, ou lorsque les prédicteurs sont corrélés. C'est le modèle de départ préféré en prédiction clinique, classification de texte avec caractéristiques bag-of-words, et études de biomarqueurs de haute dimension. Choisissez L1 lorsque la sélection automatique de caractéristiques est nécessaire, L2 pour une estimation stable des coefficients, et elastic net lorsque les caractéristiques arrivent en groupes corrélés. Évitez-la lorsque la relation résultat-caractéristique est très non linéaire ou lorsqu'il existe de forts effets d'interaction que la formulation linéaire des log-odds ne peut pas capturer ; les ensembles d'arbres ou les méthodes à noyau peuvent alors être plus appropriés.

Limites et points d’attention

  • Suppose une relation linéaire entre les caractéristiques et les log-odds ; ne peut pas capturer les effets non linéaires ou d'interaction sans ingénierie manuelle des caractéristiques.
  • Nécessite que le résultat soit catégoriel ; les résultats continus nécessitent une régression linéaire (pas logistique).
  • Les performances se dégradent lorsque des caractéristiques pertinentes interagissent fortement, car le modèle est additif en log-odds.
  • Le lambda optimal doit être sélectionné par validation croisée, ajoutant du calcul et une étape de réglage.
  • Les données sévèrement déséquilibrées entre les classes peuvent biaiser les probabilités prédites vers la classe majoritaire sans ré-pondération.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Produit des probabilités de classe calibrées et des coefficients signés interprétables, contrairement à la plupart des classificateurs boîte noire.
  • La pénalité L1 effectue une sélection automatique de caractéristiques, produisant des modèles épars faciles à rapporter.
  • Gère de manière robuste les espaces de caractéristiques de haute dimension (p >> n) grâce au rétrécissement des coefficients.
  • La pénalité elastic net gère gracieusement les groupes de caractéristiques corrélées, répartissant le poids entre les prédicteurs liés.
  • Très rapide à ajuster même sur de grands ensembles de données à l'aide de solveurs par descente de coordonnées ; s'adapte à des millions d'observations.

Applications

  • Scores de risque clinique et classificateurs diagnostiques à partir de panels de biomarqueurs de haute dimension.
  • Classification de texte avec des caractéristiques bag-of-words ou TF-IDF, où L1 produit des poids de mots éparses interprétables.
  • Génomique et protéomique où le nombre de caractéristiques dépasse largement la taille de l'échantillon.
  • Notation de crédit et détection de fraude nécessitant des sorties de probabilité pour des décisions basées sur des seuils.
  • Benchmark de classification de base avant d'évaluer des modèles d'ensemble ou d'apprentissage profond plus complexes.

Comment ça marche

Comment ça marche

1

Une combinaison linéaire de caractéristiques prédit le log-odds de la classe positive. La fonction sigmoïde convertit les log-odds en une probabilité comprise entre 0 et 1, rendant la sortie directement interprétable comme probabilité de classe.

Formule
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

L'objectif d'optimisation est la négative log-vraisemblance (entropie croisée) plus un terme de pénalité. La pénalité est mise à l'échelle avec les magnitudes des coefficients, contrôlée par l'hyperparamètre lambda (force) et alpha (mélange L1/L2). Un lambda plus grand impose un rétrécissement plus lourd ; alpha=1 donne du lasso pur, alpha=0 donne du ridge pur.

Formule
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

Le choix de la pénalité détermine le comportement : L1 (lasso) produit des solutions éparses en annulant les caractéristiques non pertinentes et est préférée lorsque la sélection de caractéristiques est souhaitée. L2 (ridge) est préférée lorsque toutes les caractéristiques sont censées contribuer et que la colinéarité est élevée. L'elastic net (alpha entre 0 et 1) gère mieux les groupes de caractéristiques corrélées que le lasso seul.

4

La perte pénalisée est minimisée à l'aide d'algorithmes itératifs tels que la descente de coordonnées (solveurs liblinear/saga de scikit-learn). Le lambda optimal est déterminé par validation croisée, généralement sur une grille logarithmique. La standardisation des caractéristiques avant l'ajustement est essentielle afin que la pénalité soit appliquée de manière cohérente à tous les prédicteurs.

5

Les probabilités prédites sont converties en étiquettes de classe à l'aide d'un seuil de décision, généralement 0,5 par défaut. Dans les contextes déséquilibrés, le seuil doit être ajusté pour équilibrer précision et rappel selon la structure des coûts de l'application.

Formule
\hat{y} = \mathbf{1}[\hat{p} \ge t]

Pièges courants

  • Ajustement sans standardisation des caractéristiques : la pénalité traite tous les coefficients de la même manière, donc les caractéristiques avec de grandes valeurs numériques reçoivent un rétrécissement proportionnellement moindre, déformant la solution.
  • Utilisation du seuil par défaut de 0,5 sans vérifier la calibration et l'équilibre des classes, ce qui dégrade silencieusement le rappel sur la classe minoritaire.
  • Rapport uniquement de l'exactitude au lieu de l'AUC, du F1 et des métriques de calibration, masquant les mauvaises performances de la classe minoritaire.
  • Sauter la validation croisée pour la sélection de lambda et évaluer plutôt sur les données d'entraînement, conduisant à des modèles surajustés.
  • Interprétation des coefficients sélectionnés par lasso comme causaux sans tenir compte du biais de variable omise et de l'instabilité de la sélection de variables près de la frontière de décision.

Questions fréquentes

Comment choisir entre L1, L2 et elastic net ?

Utilisez L1 lorsque vous pensez qu'un sous-ensemble de caractéristiques est pertinent et que vous souhaitez une sélection automatique. Utilisez L2 lorsque toutes les caractéristiques contribuent probablement ou que les prédicteurs sont fortement corrélés, car le ridge répartit le poids entre les groupes corrélés. Utilisez elastic net lorsque vous avez besoin de sparsité mais aussi de blocs de caractéristiques corrélées ; ajustez alpha ainsi que lambda via une validation croisée imbriquée.

Dois-je standardiser les caractéristiques avant l'ajustement ?

Oui, toujours. Le terme de pénalité traite tous les coefficients de la même manière, donc une caractéristique avec de grandes valeurs numériques recevra un rétrécissement proportionnellement moindre à moins d'être standardisée. Centrez et mettez à l'échelle chaque caractéristique à une moyenne nulle et une variance unitaire avant l'ajustement et appliquez la même transformation aux données de test.

Comment lambda est-il choisi ?

Lambda est un hyperparamètre sélectionné par validation croisée, généralement k-fold (k=5 ou 10) sur une grille logarithmique. Dans glmnet de R, cv.glmnet automatise cela. Dans scikit-learn, LogisticRegressionCV ou GridSearchCV avec validation croisée sur la force d'inversion de régularisation C (C=1/lambda) doit être utilisé.

La régression logistique régularisée donne-t-elle des probabilités calibrées ?

Généralement oui, mieux que les ensembles d'arbres, car la régression logistique modélise directement les probabilités de classe via la sigmoïde. Cependant, une régularisation extrême peut compresser les probabilités prédites vers 0,5. La mise à l'échelle de Platt ou la régression isotonique peuvent recalibrer si nécessaire.

Comment gérer le déséquilibre des classes ?

Définissez class_weight='balanced' (scikit-learn) afin que les observations de la classe minoritaire reçoivent un poids de perte plus élevé, ou ré-échantillonnez manuellement l'ensemble d'entraînement. Ajustez également le seuil de décision en utilisant la courbe précision-rappel plutôt qu'en le fixant à 0,5.

Méthodes associées

Sources

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Ouvrir la référence DOI
    Copié.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    ISBN : 978-0-387-84857-0
    Copié.