Skip to content
Retour aux résultats

Analyse de régression multiple

Introduite par
Carl Friedrich Gauss
Année
1801
Type
Method
Famille
predictive-modeling

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'analyse de régression multiple est une méthode statistique permettant de modéliser la relation entre une variable dépendante continue et deux ou plusieurs variables indépendantes (prédicteurs).

Issue des travaux de Gauss au début du XIXe siècle et formalisée par Draper et Smith (1966), elle estime des équations linéaires prédisant les résultats à partir de plusieurs prédicteurs tout en tenant compte des relations de confusion, ce qui la rend indispensable en épidémiologie, en économie, en psychologie et en recherche clinique.

L’intuition derrière la méthode

La régression multiple étend la simple corrélation bivariée pour examiner simultanément comment plusieurs prédicteurs influencent un résultat. Plutôt que d'observer des associations brutes, la régression isole la contribution unique de chaque prédicteur tout en maintenant les autres constants (comme un contrôle expérimental). Le modèle linéaire suppose que le résultat est une combinaison pondérée des prédicteurs : Y = b₀ + b₁X₁ + b₂X₂ + ... + bₚXₚ + ε. Les coefficients (b) représentent le changement de Y par unité d'augmentation de X, ajusté pour les autres prédicteurs. Cela permet aux chercheurs d'identifier les prédicteurs les plus importants, de contrôler les variables de confusion et de faire des prédictions pour de nouvelles observations.

Histoire

Carl Friedrich Gauss a développé la méthode des moindres carrés en 1801 pour la prédiction astronomique. Karl Pearson et des statisticiens antérieurs ont appliqué la régression linéaire aux données biologiques (Francis Galton, 1886). Le manuel de Norman Draper et Harry Smith de 1966, Applied Regression Analysis, a standardisé la méthodologie de la régression multiple. La révolution informatique des années 1980-90 a rendu cette méthode largement disponible dans les logiciels. Les extensions modernes incluent la régularisation (ridge, lasso, elastic net ; Tibshirani, 1996), les méthodes robustes et les cadres d'inférence causale (scores de propension, variables instrumentales).

Quand l’utiliser

Utilisez la régression multiple lorsque vous avez un résultat continu et plusieurs prédicteurs pour comprendre leurs associations tout en ajustant les facteurs de confusion. Applications courantes : prédire les résultats des patients à partir de variables cliniques, comprendre les facteurs qui influencent les indicateurs économiques, estimer l'effet d'un traitement tout en contrôlant les données démographiques, modéliser la réussite scolaire à partir des caractéristiques des élèves. La régression est également idéale lorsque la taille des échantillons empêche la randomisation expérimentale (études observationnelles). Pour les résultats catégoriels, utilisez la régression logistique ou multinomiale. Pour les données groupées (élèves dans des écoles), utilisez la régression multiniveau. Pour les données manquantes, envisagez l'imputation multiple au préalable.

Limites et points d’attention

  • Suppose des relations linéaires ; ne tient pas compte des effets curvilignes ou de seuil, sauf s'ils sont explicitement modélisés via une transformation ou des termes polynomiaux.
  • Sensible à la multicolinéarité : des prédicteurs fortement corrélés produisent des coefficients instables et difficiles à interpréter. VIF > 10 est problématique ; les solutions incluent la suppression de prédicteurs, les composantes principales ou la régression Ridge.
  • Les valeurs aberrantes et les points influents peuvent affecter de manière disproportionnée les estimations et l'ajustement ; les méthodes de régression robuste (Huber, M-estimateurs) y remédient.
  • Suppose une variance constante (homoscédasticité) ; les données hétéroscédastiques nécessitent des moindres carrés pondérés ou des ajustements d'erreur standard robuste.
  • La signification statistique n'est pas causale : ne peut pas distinguer si l'association reflète un véritable effet ou une confusion non mesurée ; nécessite une forte justification théorique.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Puissante pour démêler des relations complexes : estime l'effet unique de chaque prédicteur tout en contrôlant les autres, simulant un contrôle expérimental dans les données observationnelles.
  • Flexible : s'adapte aux prédicteurs continus et catégoriels, aux interactions, aux termes polynomiaux, et peut être étendue aux relations non linéaires.
  • Interprétable : les coefficients représentent directement le changement unitaire du résultat, rendant les résultats exploitables pour les cliniciens et les décideurs politiques.
  • Prédiction : le modèle ajusté génère des prédictions pour de nouvelles observations avec des intervalles de confiance, permettant des applications pratiques (stratification des risques, prévision).
  • Diagnostics étendus disponibles : les résidus standardisés, les graphiques de levier et les mesures d'influence aident à identifier et à corriger les violations du modèle.

Applications

  • Prédiction clinique : modélisation du risque de réadmission hospitalière à partir des données démographiques des patients, des comorbidités et des facteurs de traitement ; éclairer la planification de la sortie et les interventions.
  • Études épidémiologiques : estimation des associations de maladies avec des expositions (tabagisme, régime alimentaire) tout en ajustant les facteurs de confusion tels que l'âge, le sexe et le statut socio-économique.
  • Recherche en éducation : prédiction de la réussite universitaire à partir du GPA du lycée, des résultats aux tests et des variables socio-économiques ; identification des facteurs les plus importants.
  • Immobilier et économie : prédiction des prix de l'immobilier à partir de la superficie, de l'emplacement, de l'âge, des caractéristiques du quartier ; analyse des tendances du marché du logement.
  • Amélioration de la qualité et fabrication : modélisation des taux de défaillance des produits à partir des paramètres de processus (température, pression, matériaux) pour optimiser les opérations.

Comment ça marche

Comment ça marche

1

Administrez la régression multiple en collectant d'abord des données continues sur le résultat et des variables prédictives continues ou catégorielles à partir d'un échantillon suffisamment grand pour estimer tous les paramètres (généralement n > 10p, où p est le nombre de prédicteurs ; idéalement n > 50 pour une puissance adéquate). Enregistrez toutes les variables avec un minimum de données manquantes (vérifiez que les données manquantes sont aléatoires). Définissez votre résultat (variable dépendante) et vos prédicteurs (variables indépendantes) avant l'analyse pour éviter une sélection de modèle basée sur les données. Standardisez les prédicteurs continus (soustraire la moyenne, diviser par l'écart-type) si vous comparez les coefficients entre différentes échelles ; cela facilite l'interprétation et réduit la multicolinéarité. Codez les prédicteurs catégoriels en utilisant un codage muet (k−1 indicateurs pour k catégories) ou un codage de contraste.

2

Estimez les coefficients de régression en utilisant les moindres carrés ordinaires (MCO) : minimisez la somme des carrés des résidus (SSE = Σ(y_i − ŷ_i)²). Les logiciels (R, Python, SPSS, SAS) calculent le vecteur de coefficients b = (X'X)⁻¹X'y. Rapportez : (1) L'ordonnée à l'origine (b₀) : Y prédit lorsque tous les X=0. (2) Les coefficients de pente (b₁, b₂, ...) : changement de Y par unité de X, ajusté pour les autres prédicteurs. (3) Les erreurs standard (SE) et les statistiques t : t = b/SE teste si le coefficient diffère de zéro. (4) Les intervalles de confiance (IC à 95 %) : typiquement b ± 1.96×SE. (5) R² : proportion de la variance de Y expliquée par les prédicteurs (0 à 1). (6) R² ajusté : pénalise la complexité du modèle. (7) Le facteur d'inflation de la variance (VIF) : diagnostique la multicolinéarité ; VIF > 10 indique une corrélation problématique des prédicteurs. (8) La statistique de Durbin-Watson : teste l'autocorrélation des résidus.

3

Interprétez les coefficients comme suit : pour une augmentation d'une unité du prédicteur X_i, le résultat augmente de b_i unités, en maintenant tous les autres prédicteurs constants. Si le coefficient p < 0.05, concluez que le prédicteur est statistiquement significatif. R² et R² ajusté résument l'ajustement global du modèle : rapportez le R² ajusté pour une estimation plus conservatrice. Vérifiez les hypothèses en examinant les graphiques des résidus : (1) Linéarité : le nuage de points des valeurs prédites par rapport aux résidus ne doit montrer aucun motif. (2) Normalité : le graphique Q-Q des résidus standardisés doit suivre la diagonale. (3) Homoscédasticité : les résidus doivent avoir une variance constante sur l'ensemble des valeurs ajustées (test de Breusch-Pagan). (4) Indépendance : Durbin-Watson ≈ 2 suggère l'absence d'autocorrélation. La présence de schémas de violation suggère une mauvaise spécification du modèle ; envisagez une transformation (log Y), l'ajout d'interactions ou de termes polynomiaux. Utilisez les graphiques de diagnostic de régression et les mesures d'influence/levier (distance de Cook, DFFITS) pour identifier les valeurs aberrantes qui affectent de manière disproportionnée les estimations.

Pièges courants

  • Sélection de modèle basée sur les données (sélection pas à pas, avant, arrière) : capitalise sur le hasard, gonfle l'erreur de type I, produit des coefficients instables. Préférez une spécification de modèle basée sur la théorie.
  • Ignorer la multicolinéarité : la vérification de la matrice de corrélation est insuffisante ; calculez le VIF pour chaque prédicteur. VIF > 5–10 exige une action.
  • Surapprentissage : l'ajout de trop de prédicteurs réduit la généralisation et gonfle le R². Utilisez le R² ajusté ou la validation croisée pour évaluer la véritable puissance prédictive.
  • Interpréter les coefficients de régression de manière causale sans randomisation : la confusion, la causalité inverse et le biais de sélection menacent la validité.
  • Ne pas vérifier les hypothèses sur les résidus : des résidus non normaux, l'hétéroscédasticité et l'autocorrélation gonflent les erreurs standard ou biaisent les estimations.
  • L'utilisation d'erreurs standard non ajustées avec des données groupées (par exemple, des patients regroupés dans des hôpitaux) conduit à des intervalles de confiance trop étroits ; nécessite des estimateurs multiniveaux ou sandwich.

Questions fréquentes

Quand dois-je standardiser les prédicteurs, et comment cela affecte-t-il l'interprétation ?

Standardisez les prédicteurs continus (score z : soustraire la moyenne, diviser par l'écart-type) lorsque : (1) les prédicteurs sont sur des échelles très différentes et que vous souhaitez comparer l'ampleur des coefficients, ou (2) vous devez réduire la multicolinéarité. Les coefficients standardisés sont exprimés en unités d'écarts-types : un coefficient de 0.5 signifie qu'une augmentation de 1 écart-type du prédicteur prédit une augmentation de 0.5 écart-type du résultat. Les coefficients bruts (non standardisés) conservent les unités d'origine et facilitent souvent l'interprétation pratique. Rapportez toujours les deux et spécifiez celui que vous rapportez.

Quelle est la différence entre R² et R² ajusté ?

R² = 1 − (SSE/SS_total) représente la proportion de la variance du résultat expliquée par le modèle. Il augmente toujours lorsque des prédicteurs sont ajoutés, même s'ils n'ont aucun effet réel. Le R² ajusté = 1 − [(1 − R²)(n − 1)/(n − p − 1)] pénalise la complexité du modèle par les degrés de liberté perdus (p est le nombre de prédicteurs, n est la taille de l'échantillon). Pour la sélection de modèle et l'évaluation de la véritable puissance prédictive, utilisez le R² ajusté ; il diminue si un nouveau prédicteur ajoute moins d'informations que son coût (un paramètre). Rapportez les deux.

Comment interpréter un coefficient non significatif lorsque d'autres variables sont dans le modèle ?

Un coefficient non significatif (p > 0.05) indique une preuve insuffisante que ce prédicteur est associé au résultat, en maintenant les autres variables constantes. Cela pourrait signifier que le prédicteur n'a aucun effet, qu'il est confondu par d'autres prédicteurs (multicolinéarité), ou que la taille de l'échantillon est trop petite. Vérifiez l'intervalle de confiance et le VIF. Si l'intervalle de confiance est large et le VIF élevé, la multicolinéarité est probable. Si le prédicteur est théoriquement important, envisagez de le rapporter avec un IC à 90 % comme analyse de sensibilité. Ne supprimez pas les prédicteurs uniquement sur la base des valeurs p ; utilisez les connaissances du domaine.

Que faire si les résidus ne sont pas normalement distribués ?

Mild non-normality is often acceptable due to robustness of regression with large samples; normality of residuals becomes critical with n < 30. Check Q-Q plot visually and conduct Shapiro-Wilk test. If non-normal, consider: (1) log or square-root transformation of the outcome, (2) adding omitted predictors or interactions, (3) fitting robust regression (Huber, bisquare), or (4) using bootstrap confidence intervals. Extreme outliers must be investigated; remove if due to data entry error, otherwise report results with and without outlier.

Méthodes associées

Sources

  1. Draper, N. R., & Smith, H. (1966). Applied Regression Analysis. John Wiley & Sons.

    Ouvrir la référence de la publication
    Copié.
  2. Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (1992). Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum.

    Ouvrir la référence de la publication
    Copié.
  3. Marquardt, D. W. (1980). You should standardize the independent variables in your regression models. Discussion of a paper by G. David Knottnerus. Journal of the American Statistical Association, 75(369), 87–91.

    Ouvrir la référence de la publication
    Copié.