Régression logistique (ML)
- Introduite par
- Cox, D. R.
- Année
- 1958
- Type
- Probabilistic linear classifier
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La régression logistique est un classifieur probabiliste fondamental qui modélise le log-odds d'un résultat binaire (ou multinomial) comme une fonction linéaire des prédicteurs.
Introduite par D. R. Cox en 1958, elle demeure l'une des méthodes de classification les plus utilisées et interprétables en statistique comme en apprentissage automatique, appréciée pour ses sorties probabilistes calibrées et l'interprétation claire de ses coefficients.
L’intuition derrière la méthode
La régression logistique pose la question : étant donné un ensemble de caractéristiques, quelle est la probabilité qu'une observation appartienne à une classe particulière ? Elle ajuste une droite aux log-odds du résultat, puis comprime ce score linéaire à travers une courbe sigmoïde (en forme de S) pour produire une probabilité comprise entre 0 et 1. Le coefficient de chaque prédicteur indique directement comment une variation d'une unité de cette caractéristique modifie le log-odds de la classe positive, rendant le modèle très transparent. Une probabilité prédite supérieure à 0,5 est classée comme appartenant à la classe positive, bien que ce seuil soit ajustable.
Histoire
David Cox a formalisé la régression logistique pour les résultats binaires en 1958, étendant les travaux antérieurs sur les modèles probit. Dans les années 1970-1980, elle est devenue le classifieur standard en épidémiologie et en sciences sociales. Le cadre de la vraisemblance maximale, étendu aux résultats multinomiaux et aux variantes régularisées, a été consolidé par le Lasso de Tibshirani (1996) et par The Elements of Statistical Learning de Hastie, Tibshirani et Friedman (2001). Aujourd'hui, elle reste le classifieur interprétable canonique et est la base requise dans de nombreuses directives de publication.
Quand l’utiliser
Utilisez la régression logistique lorsque le résultat est binaire ou catégoriel, la taille de l'échantillon est au moins modérée (n > 10 événements par prédicteur comme règle générale), et des coefficients interprétables ou des probabilités calibrées sont requis. C'est le classifieur de base par défaut en sciences sociales, en médecine et en épidémiologie, et il devrait être essayé avant des modèles plus complexes. À éviter lorsque la frontière de décision est fortement non linéaire, lorsque de nombreux termes d'interaction seraient nécessaires, ou lorsque la précision de la prédiction sur des données tabulaires complexes prime sur l'interprétabilité — dans ces cas, les ensembles d'arbres ou les SVM le surpassent généralement.
Limites et points d’attention
- Suppose une relation linéaire entre les caractéristiques et le log-odds du résultat ; les motifs non linéaires nécessitent une ingénierie manuelle des caractéristiques ou un modèle non linéaire.
- Sensible à la multicolinéarité entre les prédicteurs : les caractéristiques corrélées gonflent les erreurs standard des coefficients et déstabilisent les estimations.
- Requiert un nombre raisonnable d'événements par prédicteur (règle générale : au moins 10) ; les classes de résultats rares posent des problèmes de convergence et de surajustement.
- Peut être moins performante que les méthodes d'ensemble (forêt aléatoire, boosting de gradient) sur des données tabulaires complexes avec de nombreuses interactions.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Produit des probabilités de classe calibrées, pas seulement des étiquettes, qui sont directement utilisables pour le classement et le seuillage de décision.
- Les coefficients sont interprétables comme des rapports de cotes (odds ratios), répondant aux normes attendues dans la recherche clinique, sociale et politique.
- Calculatoirement rapide et économe en mémoire, même sur de grands ensembles de données.
- Les variantes régularisées (Ridge, Lasso, Elastic Net) gèrent les caractéristiques de haute dimension et effectuent une sélection automatique de caractéristiques.
- Peu d'hypothèses par rapport à l'analyse discriminante : ne requiert pas la normalité multivariée des prédicteurs.
- Robuste et bien comprise ; sert de base solide et crédible par rapport à laquelle les modèles complexes devraient être comparés.
Applications
- Diagnostic de maladies et évaluation du risque clinique (par exemple, prédiction de réadmission ou de mortalité).
- Risque de crédit et détection de fraude en finance.
- Modélisation binaire des réponses aux enquêtes en sciences sociales et en épidémiologie.
- Classification de spam et de sentiment comme base de texte rapide et interprétable.
- Classifieur de base avant le déploiement de modèles d'ensemble plus complexes.
Comment ça marche
Comment ça marche
Une somme pondérée de toutes les caractéristiques d'entrée est calculée. Chaque caractéristique reçoit un coefficient (poids) appris à partir des données ; l'ordonnée à l'origine capture le log-odds de base lorsque toutes les caractéristiques sont nulles. Ceci est identique en forme à la régression linéaire, mais la sortie est interprétée comme un score de log-odds plutôt qu'une prédiction numérique directe.
Formule
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
Le score linéaire est transformé par la fonction sigmoïde, qui applique tout nombre réel à l'intervalle ouvert (0, 1). Ceci donne une probabilité de classe bien calibrée. Pour les problèmes multi-classes, la fonction softmax généralise cette étape pour produire une distribution de probabilité sur toutes les classes.
Formule
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}Les paramètres du modèle sont estimés en maximisant la log-vraisemblance des étiquettes observées étant donné les probabilités prédites. Ceci est équivalent à minimiser la perte d'entropie croisée binaire. Contrairement aux moindres carrés ordinaires, il n'y a pas de solution analytique : un algorithme d'optimisation itératif (typiquement Newton-Raphson ou descente de gradient) est utilisé.
Formule
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]Un solveur itératif — tel que L-BFGS, Newton-Raphson ou descente de gradient stochastique — met à jour le vecteur de coefficients jusqu'à convergence. Des termes de régularisation (L1 ou L2) peuvent être ajoutés à l'objectif pour réduire les coefficients, prévenir le surajustement et permettre la sélection automatique de caractéristiques (L1 / Lasso).
La probabilité ajustée est comparée à un seuil de classification (par défaut 0,5) pour attribuer une étiquette de classe. Dans les contextes déséquilibrés ou lorsque les coûts des faux positifs et des faux négatifs diffèrent, ce seuil doit être ajusté à l'aide d'une courbe précision-rappel ou d'une analyse ROC plutôt que laissé à 0,5.
Formule
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]Pièges courants
- Omettre une division entraînement/test ou une validation croisée et évaluer sur les données d'entraînement, ce qui gonfle la performance apparente.
- Utiliser l'exactitude comme seule métrique avec des classes déséquilibrées au lieu de rapporter l'AUC-ROC, le F1 et une matrice de confusion.
- Ignorer l'hypothèse de linéarité et appliquer la régression logistique à des données avec des frontières de classe fortement non linéaires sans vérifications diagnostiques.
- Ne pas appliquer de régularisation lorsque le nombre de prédicteurs est grand par rapport à la taille de l'échantillon, conduisant au surajustement.
- Ne pas vérifier la multicolinéarité (via VIF) avant d'interpréter les magnitudes des coefficients.
Questions fréquentes
Quand devrais-je préférer la régression logistique à une forêt aléatoire ?
Lorsque vous avez besoin de probabilités calibrées, de coefficients interprétables, ou que vous devez satisfaire aux normes de reporting qui exigent des rapports de cotes explicites — comme dans les essais cliniques ou l'évaluation des politiques. La forêt aléatoire atteint généralement une précision prédictive plus élevée mais ne fournit aucune interprétation directe des coefficients.
De combien d'observations ai-je besoin ?
Une règle générale souvent citée est d'au moins 10 événements (résultats positifs) par variable prédictrice. Avec moins d'événements, les estimations des paramètres deviennent instables et les intervalles de confiance peu fiables. La régularisation ou la vraisemblance pénalisée peuvent étendre quelque peu la plage utilisable.
Devrais-je standardiser mes caractéristiques ?
La standardisation des caractéristiques n'est pas requise pour la prédiction, mais elle est importante lors de la comparaison des magnitudes des coefficients entre les prédicteurs ou lors de l'utilisation de la régularisation (L1 ou L2), car les pénalités traitent tous les coefficients sur la même échelle.
Quelle est la différence entre la régression logistique binaire et multinomiale ?
La régression logistique binaire modélise un résultat à deux classes à l'aide de la fonction sigmoïde. La régression logistique multinomiale (softmax) généralise cela à trois classes ou plus non ordonnées, estimant un ensemble de coefficients par classe par rapport à une classe de référence.
Comment gérer le déséquilibre des classes ?
Définissez class_weight='balanced' dans scikit-learn pour repondérer la fonction de perte, ou suréchantillonnez la classe minoritaire (SMOTE). Évaluez toujours avec les courbes AUC-ROC et précision-rappel plutôt qu'avec l'exactitude, et ajustez le seuil de classification sur un ensemble de validation.
Méthodes associées
Sources
Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.
Ouvrir la référence DOICopié.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.
ISBN : 978-1-4614-7138-7Copié.