Skip to content
Retour aux résultats

Régression linéaire (ML)

Introduite par
Legendre, A.-M. & Gauss, C.F.
Année
1805–1809
Type
Supervised regression
Famille
Machine learning

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La régression linéaire ajuste une relation linéaire entre une ou plusieurs variables explicatives (features) et une variable réponse continue et numérique, en minimisant la somme des erreurs de prédiction au carré.

En tant que modèle d'apprentissage automatique, elle est entraînée sur des exemples étiquetés et évaluée sur des données mises de côté, ce qui en fait la base de référence la plus simple d'apprentissage supervisé pour toute tâche de régression.

L’intuition derrière la méthode

Imaginez tracer la droite qui s'ajuste le mieux à un nuage de points. La régression linéaire fait exactement cela pour plusieurs prédicteurs à la fois : elle trouve la combinaison de poids des variables explicatives qui minimise la distance totale au carré entre les prédictions de la droite et les valeurs réelles. Comme la relation est exprimée comme une simple somme pondérée des entrées, chaque coefficient vous indique directement de combien la variable réponse prédite change lorsque cette variable explicative augmente d'une unité, toutes choses égales par ailleurs. Cette transparence rend la régression linéaire exceptionnellement facile à expliquer et à auditer, même si elle sous-ajustera (underfit) chaque fois que la relation réelle est courbe ou implique des interactions.

Histoire

Les moindres carrés ont été publiés indépendamment par Legendre en 1805 et Gauss vers 1809. Au milieu du XXe siècle, la régression linéaire était devenue la technique fondamentale des statistiques appliquées. Son reformatage en tant que modèle d'apprentissage automatique — entraîné sur des exemples, évalué sur des données mises de côté et régularisé pour éviter le surajustement — lui a donné une seconde vie dans la modélisation prédictive, où elle reste la première étape de référence canonique pour tout problème de régression.

Quand l’utiliser

Utilisez la régression linéaire lorsque la variable réponse est continue, que la relation attendue entre les prédicteurs et la réponse est approximativement linéaire, et que des coefficients interprétables sont nécessaires. C'est la bonne référence de départ avant d'essayer des modèles plus complexes, et un bon modèle final lorsque ses hypothèses sont respectées. Ne l'utilisez pas pour des variables réponses binaires ou catégorielles (utilisez la régression logistique à la place), lorsque des modèles non linéaires forts ou des interactions dominent, ou lorsque le nombre de prédicteurs dépasse la taille de l'échantillon sans régularisation.

Limites et points d’attention

  • Suppose une relation linéaire ; manque les courbes, les seuils et les interactions à moins qu'ils ne soient encodés manuellement.
  • Sensible aux valeurs aberrantes car la mise au carré des erreurs amplifie l'influence des points extrêmes.
  • La multicolinéarité entre les prédicteurs gonfle les erreurs standard et déstabilise les estimations des coefficients.
  • Exige que les résidus soient approximativement normalement distribués et homoscédastiques pour une inférence valide.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Les coefficients sont directement interprétables : chaque valeur est un effet marginal dans les unités de la variable réponse.
  • Calculs triviaux — l'ajustement est presque instantané, même sur de grands jeux de données.
  • Fournit des erreurs standard et des p-valeurs, soutenant les tests d'hypothèses formels.
  • Sert de référence indispensable par rapport à laquelle des modèles plus complexes doivent être comparés.
  • Fonctionne bien et est pleinement justifiée lorsque l'hypothèse de linéarité est respectée.
  • Hautement compatible avec les extensions de régularisation (Ridge, Lasso, Elastic Net) lorsque les prédicteurs sont nombreux.

Applications

  • Prédiction d'une variable réponse numérique continue à partir de caractéristiques tabulaires dans n'importe quel domaine.
  • Établir une référence de performance avant de tester des modèles de gradient boosting ou de réseaux neuronaux.
  • Estimation des tailles d'effet et des impacts marginaux dans des études observationnelles lorsque la linéarité est respectée.
  • Prévision de la demande, modélisation des prix et estimation des ressources en analyse commerciale.
  • Modélisation exploratoire rapide pour identifier les prédicteurs les plus importants avant une analyse plus complexe.
  • Fonctions de notation interprétables dans des contextes où la transparence du modèle est légalement ou éthiquement requise.

Comment ça marche

Comment ça marche

1

Le modèle exprime la prédiction comme une somme pondérée des variables explicatives plus une ordonnée à l'origine (intercept). La variable cible doit être continue et numérique ; les variables explicatives catégorielles doivent être encodées comme variables indicatrices (dummy) ou numériques avant l'ajustement.

Formule
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

Les moindres carrés ordinaires (Ordinary Least Squares, OLS) trouvent le vecteur de coefficients qui minimise la somme des carrés des résidus. Pour des jeux de données de taille modérée, cela est résolu analytiquement via les équations normales ; pour des jeux de données très volumineux, des solveurs itératifs ou la descente de gradient stochastique sont utilisés à la place.

Formule
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}
3

Le R-carré (coefficient de détermination) résume la proportion de la variance de la variable réponse expliquée par le modèle. Il est complété par l'erreur quadratique moyenne (root mean squared error, RMSE) et l'erreur absolue moyenne (mean absolute error, MAE), qui rapportent les erreurs dans les unités d'origine de la variable réponse.

Formule
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}
4

L'ajustement est évalué sur un ensemble de test mis de côté ou par validation croisée k-fold pour détecter le surajustement (overfitting). Les graphiques des résidus — résidus en fonction des valeurs ajustées et un graphique Q-Q des résidus — sont inspectés pour vérifier la linéarité, l'homoscédasticité et la normalité des erreurs avant de faire confiance à l'inférence.

Pièges courants

  • Extrapolation des prédictions bien au-delà de la plage des données d'entraînement où l'approximation linéaire échoue.
  • Ignorer les diagnostics des résidus et supposer que le modèle est valide sans vérifier les graphiques.
  • Inclure des prédicteurs hautement corrélés sans traiter la multicolinéarité (vérifier le VIF).
  • Confondre le R-carré avec la précision prédictive sur de nouvelles données — toujours évaluer sur un ensemble mis de côté.
  • Appliquer la régression linéaire à une variable réponse binaire ou de comptage au lieu de la régression logistique ou de Poisson.

Questions fréquentes

Quelle est la différence entre la régression linéaire et la régression logistique ?

La régression linéaire prédit directement une variable réponse continue. La régression logistique modélise le log-odds d'une variable réponse binaire et produit des probabilités bornées entre 0 et 1. L'utilisation de la régression linéaire pour une variable réponse binaire peut produire des prédictions en dehors de [0, 1] et viole l'hypothèse de variance constante.

Dois-je standardiser mes variables explicatives ?

La standardisation n'est pas requise pour les prédictions, mais elle rend les coefficients directement comparables lorsque les variables explicatives ont des échelles très différentes. Elle est particulièrement recommandée lors de l'utilisation de variantes régularisées telles que Ridge ou Lasso.

Comment gérer de nombreux prédicteurs par rapport à la taille de l'échantillon ?

Passez à la régression linéaire régularisée (Ridge pour le rétrécissement, Lasso pour la sparsité, Elastic Net pour les deux). L'OLS devient peu fiable ou indéfini lorsque le nombre de prédicteurs approche ou dépasse le nombre d'observations.

Quels graphiques de résidus dois-je inspecter ?

Au minimum : (1) résidus en fonction des valeurs ajustées pour rechercher des motifs suggérant une non-linéarité ou une hétéroscédasticité, et (2) un graphique Q-Q des résidus pour évaluer la normalité. Un graphique échelle-location et des statistiques de levier/influence (distance de Cook) sont également informatifs.

Un R-carré élevé est-il suffisant pour déclarer un bon modèle ?

Non. Le R-carré mesure l'ajustement dans l'échantillon (in-sample) et peut être gonflé par des prédicteurs non pertinents. Rapportez toujours le RMSE validé croisé ou sur l'ensemble de test aux côtés du R-carré, et inspectez les diagnostics des résidus pour confirmer que les hypothèses du modèle sont satisfaites.

Méthodes associées

Sources

  1. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.

    ISBN : 978-0-387-84858-7
    Copié.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.

    ISBN : 978-1-4614-7138-7
    Copié.