Normes de déclaration statistique : Transparence des analyses
- Introduite par
- Statistical and methodological literature; emphasized by Cumming (2013), ICMJE, and replication crisis discussions
- Année
- 2005
- Type
- Guideline
- Famille
- results-reporting
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La déclaration transparente des résultats statistiques — y compris les tailles d'effet, les intervalles de confiance, les valeurs p et les hypothèses — est essentielle à l'intégrité scientifique et à la reproductibilité.
De nombreuses études publiées rapportent les valeurs p isolément, sans tailles d'effet ni intervalles de confiance, rendant impossible pour les lecteurs d'évaluer l'ampleur des résultats. Les normes de déclaration statistique, mises en avant par Cumming (2013), l'American Statistical Association et l'ICMJE, exigent les tailles d'effet, les intervalles de confiance et une discussion de l'incertitude. Cela permet aux lecteurs de juger si les résultats sont pratiquement significatifs (pas seulement statistiquement significatifs) et de comparer les tailles d'effet entre les études dans les méta-analyses. Une mauvaise déclaration statistique gaspille la recherche et empêche une synthèse adéquate des preuves.
L’intuition derrière la méthode
Les valeurs p sont largement mal comprises : un p<0,05 ne signifie PAS que le résultat est 'important' ou que l'hypothèse nulle est 'fausse'. Cela signifie simplement que les données observées se produiraient moins de 5 % du temps si l'hypothèse nulle était vraie. Un effet trivial (par exemple, une différence de 0,1 %) peut avoir une valeur p<0,001 avec un échantillon important ; inversement, un effet important cliniquement pertinent (par exemple, une réduction de 50 % des symptômes) pourrait ne pas atteindre p<0,05 avec un échantillon restreint. Les tailles d'effet et les intervalles de confiance remédient à cela : ils quantifient l'ampleur de l'effet et la plage des valeurs plausibles. Un intervalle de confiance à 95 % de [2,1, 2,3] indique que nous sommes confiants à 95 % que l'effet réel se situe entre 2,1 et 2,3 ; si l'intervalle de confiance inclut zéro ou une valeur d'effet nulle, le résultat n'est pas statistiquement significatif. Ces informations supplémentaires — absentes des seules valeurs p — permettent aux lecteurs d'interpréter les résultats de manière significative.
Histoire
Les normes de déclaration statistique ont évolué à partir d'une critique de plusieurs décennies de la mauvaise utilisation des valeurs p dans la science. En 1992, la revue Epidemiology a exigé des intervalles de confiance en plus des valeurs p ; d'autres revues ont suivi. L'article influent de Cumming (2013) 'The New Statistics' a plaidé en faveur des tailles d'effet et des intervalles de confiance comme étant supérieurs aux seuils de valeur p. En 2019, l'American Statistical Association a publié des directives mettant en garde contre l'utilisation de p<0,05 comme seuil universel de 'significativité'. Les principales revues (JAMA, Lancet, etc.) exigent désormais des tailles d'effet. Les Recommandations de l'ICMJE (mises à jour en 2023) insistent sur le rapport des tailles d'effet et de l'incertitude. Ce changement reflète les leçons tirées de la crise de la réplication : de nombreux résultats publiés avec p<0,05 n'ont pas pu être répliqués car les tailles d'effet étaient faibles, un fait caché par les seules valeurs p.
Quand l’utiliser
Rapporter les statistiques de manière transparente dans toutes les recherches empiriques : études observationnelles, expériences, enquêtes, essais cliniques, méta-analyses. Cela s'applique aux analyses primaires et aux analyses de sensibilité/de sous-groupes. Pour les études descriptives sans tests d'hypothèses (par exemple, enquêtes descriptives), rapportez clairement les statistiques descriptives, les plages et les proportions. Pour la recherche qualitative, la déclaration statistique ne s'applique pas, mais décrivez l'échantillon et la méthode d'analyse de manière transparente. Pour les études de modélisation ou de simulation, rapportez les tailles d'effet et les intervalles de confiance autour des résultats clés.
Limites et points d’attention
- Occupe de l'espace : une déclaration statistique complète (taille d'effet, IC, valeur p, hypothèses) prend plus de place qu'une simple valeur 'p<0,001' ; les limites des revues peuvent réduire l'espace pour d'autres contenus.
- Complexité : les lecteurs peu familiers avec les tailles d'effet peuvent trouver difficile d'interpréter une déclaration complète ; une formation est nécessaire.
- Ambiguïté d'interprétation : une taille d'effet 'significative' dépend du contexte (d=0,2 est petit dans certains domaines, grand dans d'autres) ; il n'existe pas de norme universelle.
- Les comparaisons multiples augmentent les faux positifs : même avec des corrections, de nombreux tests d'hypothèses augmentent l'erreur de type I ; une déclaration complète ne résout pas ce problème, elle ne fait que le documenter.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Permet l'interprétation de l'ampleur : les lecteurs voient non seulement une 'différence significative' mais aussi 'la différence est d=0,47' (effet moyen), ce qui est crucial pour juger de la signification pratique.
- Facilite la méta-analyse : les tailles d'effet permettent de combiner les études ; les valeurs p seules sont insuffisantes pour la méta-analyse.
- Réduit le biais de 'p-hacking' : lorsque les tailles d'effet sont rapportées, les lecteurs peuvent voir lorsque les effets sont triviaux malgré p<0,05, réduisant ainsi l'incitation à utiliser des degrés de liberté de recherche.
- Améliore la reproductibilité : les intervalles de confiance et la vérification des hypothèses permettent aux lecteurs d'évaluer la sensibilité et la validité des résultats.
- Soutient l'analyse de puissance a posteriori : les tailles d'effet rapportées permettent le calcul de la puissance statistique, révélant si des études sous-puissantes ont conduit à des résultats nuls.
Applications
- Rédiger un article de recherche : planifier la déclaration statistique avant l'analyse ; rapporter les tailles d'effet et les IC à côté des valeurs p ; organiser les résultats par hypothèse.
- Mener une méta-analyse : les tailles d'effet extraites des études primaires permettent le regroupement ; les articles qui ne rapportent que des valeurs p sont plus difficiles à inclure.
- Examiner un manuscrit : vérifier que les statistiques sont déclarées de manière complète ; demander les tailles d'effet et les IC s'ils sont manquants.
- Préparer une proposition de subvention : l'analyse de puissance statistique (qui utilise des tailles d'effet) est standard dans les revues de subventions NIH et autres ; démontrer une familiarité avec la déclaration des tailles d'effet.
Comment ça marche
Comment ça marche
Rapporter les statistiques dans cet ordre et ce format : (1) Statistiques descriptives : moyenne ± écart-type (ou médiane et écart interquartile pour les données asymétriques) pour chaque groupe. Exemple : 'Groupe de traitement (M=45,2, SD=8,3) vs. Groupe témoin (M=42,1, SD=7,9).' (2) Nom du test statistique et résultat : Spécifier le test (test t, chi-carré, ANOVA, etc.), la statistique de test, les degrés de liberté, la valeur p et la taille d'effet. Exemple : 't(98)=2,34, p=,021, d=0,47.' (3) Intervalle de confiance : Inclure l'IC à 95 % pour la différence ou la taille d'effet. Exemple : 'IC à 95 % [0,52, 3,21].' (4) Taille d'effet : Rapporter la taille d'effet appropriée pour votre test. Pour les résultats continus : d de Cohen (différence moyenne standardisée), r de Pearson (corrélation) ou êta-carré (η²) (proportion de variance expliquée). Pour les résultats binaires : risque relatif, rapport des cotes, nombre nécessaire à traiter. Pour les comparaisons de moyennes : rapporter la différence absolue avec les unités. (5) Hypothèses testées : indiquer si les hypothèses ont été satisfaites (par exemple, 'La normalité a été évaluée par le test de Shapiro-Wilk, W=0,98, p=,45, indiquant que les données sont approximativement normales'). (6) Corrections pour comparaisons multiples : si plusieurs tests sont effectués, rapporter la méthode de correction utilisée (Bonferroni, False Discovery Rate, etc.) et le seuil de valeur p ajusté. Exemple : 'α corrigé par Bonferroni=0,05/3=0,017.' (7) Données manquantes : décrire comment les données manquantes ont été traitées (suppression, méthode d'imputation). Organiser les résultats par hypothèse ou par question de recherche ; regrouper les statistiques connexes. Utiliser des tableaux pour les résultats numériques détaillés.
Une déclaration statistique de qualité répond à ces critères : (1) Complétude : les valeurs p, les tailles d'effet et les intervalles de confiance sont tous rapportés ; pas de valeurs p 'nues'. (2) Exactitude : les valeurs sont correctes et cohérentes avec l'analyse décrite dans les Méthodes. (3) Transparence : la méthode statistique est nommée explicitement (par exemple, 'test t apparié' et non juste 'test t') ; les hypothèses sont abordées. (4) Taille d'effet : la taille d'effet appropriée pour le test est choisie (d pour les comparaisons de deux groupes, r pour les corrélations, etc.). (5) Précision : les valeurs sont rapportées avec le nombre approprié de décimales (valeurs p à 2-3 décimales, par exemple, p=,021, pas p<0,05). (6) Cohérence : les résultats similaires sont formatés de manière identique ; une série de tests t rapportent tous t, df, p et d. (7) Clarté : les résultats sont présentés en prose ou en tableaux dans l'ordre des questions de recherche énoncées dans l'Introduction. Les lecteurs devraient pouvoir vérifier les résultats en consultant les tableaux et en les recoupant avec le texte.
Les pairs examinateurs et les éditeurs vérifient la déclaration statistique pour la transparence et la conformité aux normes du domaine. Les tailles d'effet manquantes, les affirmations non fondées de 'significativité' ou les statistiques mal rapportées déclenchent des demandes de révision. Le biais de publication est réduit lorsque les tailles d'effet et les intervalles de confiance sont rapportés : les examinateurs et les lecteurs peuvent évaluer l'ampleur réelle des résultats, pas seulement si p<0,05. Dans les méta-analyses, les tailles d'effet de toutes les études sont regroupées ; les articles qui ne rapportent que des valeurs p sans tailles d'effet doivent être exclus ou estimés a posteriori à partir d'autres statistiques, introduisant ainsi des erreurs. Pour les auteurs, une déclaration statistique transparente augmente la reproductibilité, permet une synthèse adéquate et démontre la rigueur.
Pièges courants
- Rapporter les valeurs p sans tailles d'effet : 'p=,021' indique aux lecteurs que le résultat est 'significatif' mais pas si l'effet est trivial (par exemple, d=0,1) ou important (d=1,5). Rapporter toujours la taille d'effet.
- Confondre signification statistique et pratique : p=,001 indique une forte preuve contre l'hypothèse nulle, mais si l'effet est cliniquement non pertinent (par exemple, une différence de 0,1 mmHg de pression artérielle), il n'est pas pratiquement significatif. Discuter des deux.
- Sélection arbitraire des valeurs p ('cherry-picking') : ne rapporter que la valeur p < 0,05 tout en cachant les résultats non significatifs (p-hacking). Pré-enregistrer les hypothèses et rapporter tous les tests, qu'ils soient significatifs ou non.
- Rapporter une 'tendance vers la significativité' pour p=,10 ou 'approchant la significativité' pour p=,06 : ce sont des expressions informelles et trompeuses. Soit le résultat atteint votre seuil, soit il ne l'atteint pas ; discuter honnêtement des résultats non significatifs.
- Mauvaise interprétation des intervalles de confiance : un IC à 95 % N'EST PAS la plage qui contient 95 % des données ; c'est la plage dans laquelle nous sommes confiants à 95 % qu'elle contient le paramètre réel. Expliquer correctement pour éviter toute confusion.
- Omission des statistiques descriptives de base : les lecteurs ne peuvent pas évaluer si les groupes étaient comparables ou si les échantillons sont représentatifs si les données démographiques/de base ne sont pas rapportées.
Questions fréquentes
Quelle taille d'effet dois-je rapporter ?
Choisissez la taille d'effet appropriée à votre test statistique : Pour les tests t (comparaison de deux groupes) : d de Cohen (différence moyenne standardisée) ou la différence brute avec unités. Pour l'ANOVA : êta-carré (η²) ou êta-carré partiel (η²p). Pour la corrélation : r de Pearson ou r-carré (R²). Pour les résultats binaires (par exemple, succès du traitement) : rapport des cotes (OR), risque relatif (RR) ou différence de risque absolue. Pour les données appariées : d de Cohen ou g de Hedge (similaire à d, utilisé dans les méta-analyses). En cas de doute, consultez les normes spécifiques au domaine ou les directives de déclaration (EQUATOR Network).
Est-il suffisant de ne rapporter que la valeur p ?
Non. La valeur p seule est insuffisante car elle n'indique pas l'ampleur de l'effet. Une valeur p=,001 peut refléter un effet trivial (si l'échantillon est important) ou un effet énorme (si l'échantillon est restreint). Rapporter toujours la taille d'effet et l'IC à 95 %. La combinaison de la valeur p + taille d'effet + IC donne aux lecteurs une image complète.
Que faire si j'ai de nombreux tests et que plusieurs valeurs p sont 'proches de la significativité' (par exemple, p=,06) ?
Rapporter honnêtement. Une valeur p=,06 n'est pas statistiquement significative à α=0,05 ; elle ne devient pas significative en la qualifiant de 'tendance'. Discuter de ce que signifie le résultat non significatif dans son contexte (manque de puissance ? effet nul réel ?). Si vous avez effectué plusieurs tests, indiquez comment vous avez contrôlé l'erreur de type I (Bonferroni, FDR, etc.). Pré-enregistrer les hypothèses pour distinguer les analyses confirmatoires des analyses exploratoires.
Combien de décimales dois-je utiliser pour les valeurs p ?
Deux à trois décimales est la norme (par exemple, p=,021, p<0,001). Ne rapportez pas p=0,050000. Les valeurs p exactes sont préférables aux inégalités (p=,021 plutôt que p<0,05) lorsque la valeur exacte est disponible à partir de votre logiciel statistique. Utilisez 'p<0,001' uniquement si le logiciel arrondit les valeurs plus petites ou si le test est unilatéral avec un seuil très bas.
Dois-je rapporter l'IC à 95 % ou d'autres niveaux de confiance ?
Utilisez l'IC à 95 % à moins que votre domaine n'ait une convention différente (une partie de l'ancienne littérature médicale utilisait 90 % ou 99 %). L'IC à 95 % est la norme car il correspond à α=0,05. Si vous rapportez un IC à 90 %, indiquez explicitement 'IC90%' pour éviter toute confusion. Ne mélangez pas les niveaux de confiance dans le même article.
Méthodes associées
Sources
Cumming, G. (2013). The new statistics: Why and how. Psychological Science, 25(1), 7–29.
Ouvrir la référence DOICopié.Fidler, F., Thomason, N., Cumming, G., Finch, S., & Leeman, J. (2005). Editors can lead researchers to confidence intervals, but can't make them think: Statistical reform lessons from medicine. Psychological Science, 15(2), 119–126.
Ouvrir la référence DOICopié.International Committee of Medical Journal Editors (2023). Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals.
Ouvrir la référence de la publicationCopié.