统计报告标准:分析的透明报告
- 提出者
- Statistical and methodological literature; emphasized by Cumming (2013), ICMJE, and replication crisis discussions
- 年份
- 2005
- 类型
- Guideline
- 类别
- results-reporting
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
透明地报告统计结果——包括效应量、置信区间、p值和假设——对于科学诚信和可重复性至关重要。许多已发表的研究仅报告p值,而没有效应量或置信区间,这使得读者无法评估研究结果的量级。Cumming (2013)、美国统计协会和ICMJE强调的统计报告标准,要求报告效应量、置信区间,并讨论不确定性。这使得读者能够判断研究结果是否具有实际意义(而不仅仅是统计学意义),并能够在荟萃分析中比较不同研究的效应量。糟糕的统计报告会浪费研究资源,并阻碍对证据的适当综合。
方法背后的直觉
p值被广泛误解:p<0.05并不意味着结果“重要”或原假设“错误”。它仅仅意味着,如果原假设为真,观察到的数据出现的可能性低于5%。一个微不足道的效应(例如,0.1%的差异)在样本量很大时也可能出现p<0.001;相反,一个具有临床重要性的大效应(例如,症状减少50%)在样本量很小时可能达不到p<0.05。效应量和置信区间解决了这个问题:它们量化了效应的大小和合理值的范围。一个95%的置信区间为[2.1, 2.3]表示我们有95%的信心认为真实效应介于2.1和2.3之间;如果置信区间包含零或无效效应值,则结果不具有统计学意义。这些额外的信息——仅凭p值无法提供——使读者能够有意义地解释研究结果。
历史学
统计报告标准源于对科学中p值滥用长达数十年的批判。1992年,《流行病学》杂志要求在p值旁边报告置信区间;其他期刊也纷纷效仿。Cumming (2013) 具有影响力的论文《新统计学》提出了效应量和置信区间优于p值阈值的论点。2019年,美国统计协会发布了指导意见,警告不要将p<0.05作为“显著性”的普遍阈值。主要期刊(JAMA、Lancet等)现在都要求报告效应量。ICMJE建议(2023年更新)强调报告效应量和不确定性。这一转变反映了复制危机带来的教训:许多p<0.05的已发表结果未能复制,因为效应量很小,而这一事实仅凭p值是无法揭示的。
何时使用
在所有实证研究中透明地报告统计数据:观察性研究、实验、调查、临床试验、荟萃分析。这适用于主要分析和敏感性/亚组分析。对于没有假设检验的描述性研究(例如,描述性调查),清晰地报告描述性统计数据、范围和比例。对于定性研究,统计报告不适用,但要透明地描述样本和分析方法。对于建模或模拟研究,报告关键结果的效应量和置信区间。
局限与注意事项
- 需要空间:全面的统计报告(效应量、置信区间、p值、假设)比单独的“p<0.001”占用更多空间;期刊版面限制可能会挤压其他内容。
- 复杂性:不熟悉效应量的读者可能会觉得全面的报告难以理解;需要进行教育。
- 解释模糊性:“有意义的”效应量取决于具体情境(d=0.2在某些领域很小,在另一些领域则很大);没有普遍标准。
- 多重比较会增加假阳性:即使进行了校正,许多假设检验也会增加I型错误;全面的报告并不能解决这个问题,只是记录了它。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 有助于解释量级:读者不仅能看到“显著差异”,还能看到“差异为d=0.47”(中等效应),这对于判断实际意义至关重要。
- 促进荟萃分析:效应量允许研究进行合并;仅凭p值不足以进行荟萃分析。
- 减少p值操纵偏倚:当报告效应量时,读者可以看到即使p<0.05,效应也可能微不足道,从而减少研究者自由度的诱因。
- 提高可重复性:置信区间和假设检验使读者能够评估研究结果的敏感性和有效性。
- 支持事后功效分析:报告的效应量允许计算统计功效,揭示功效不足的研究是否导致了无效结果。
应用
- 撰写研究论文:在分析前规划统计报告;在p值旁边报告效应量和置信区间;按假设组织结果。
- 进行荟萃分析:从原始研究中提取的效应量可以进行汇总;仅报告p值的论文难以纳入。
- 审阅稿件:检查统计数据是否报告全面;如果缺失,要求提供效应量和置信区间。
- 准备基金申请:统计功效分析(使用效应量)是NIH和其他基金评审的标准;展示对效应量报告的熟悉程度。
使用方式
使用方式
按以下顺序和格式报告统计数据:(1) 描述性统计:每个组的均值±标准差(对于偏态数据,则为中位数和四分位距)。示例:“治疗组 (M=45.2, SD=8.3) vs. 对照组 (M=42.1, SD=7.9)。” (2) 统计检验名称和结果:指明检验类型(t检验、卡方检验、方差分析等)、检验统计量、自由度、p值和效应量。示例:“t(98)=2.34, p=.021, d=0.47。” (3) 置信区间:包含差异或效应量的95%置信区间。示例:“95% CI [0.52, 3.21]。” (4) 效应量:报告适用于您所用检验的效应量。对于连续结果:Cohen d(标准化均值差)、Pearson r(相关系数)或eta-squared(解释的方差比例)。对于二元结果:相对风险、优势比、需要治疗人数。对于均值比较:报告带单位的绝对差异。 (5) 假设检验:说明假设是否满足(例如,“通过Shapiro-Wilk检验评估正态性,W=0.98, p=.45,表明数据近似正态”)。 (6) 多重比较校正:如果进行多重检验,报告所使用的校正方法(Bonferroni、错误发现率等)和调整后的p值阈值。示例:“Bonferroni校正后的α=0.05/3=0.017。” (7) 缺失数据:描述如何处理缺失数据(删除、插补方法)。按假设或研究问题组织结果;将相关统计数据分组。使用表格呈现详细的数值结果。
高质量的统计报告应满足以下标准:(1) 完整性:p值、效应量和置信区间均已报告;没有“裸露的p值”。 (2) 准确性:数值正确且与“方法”部分描述的分析一致。 (3) 透明度:明确指出统计方法(例如,“配对t检验”而非仅仅“t检验”);假设得到处理。 (4) 效应量:选择适用于检验的效应量(两组比较用d,相关性用r等)。 (5) 精确性:数值报告采用适当的有效数字(p值保留2-3位小数,例如p=.021,而不是p<.05)。 (6) 一致性:类似结果的格式相同;一系列t检验均报告t、df、p和d。 (7) 清晰性:结果以散文或表格形式呈现,并按照“引言”中提出的研究问题顺序排列。读者应能通过查看表格并与文本交叉核对来验证结果。
同行评审员和编辑会检查统计报告的透明度以及是否符合领域标准。缺失效应量、未经支持的“显著性”主张或错误报告的统计数据会导致修订请求。当报告效应量和置信区间时,发表偏倚会减少:评审员和读者可以评估研究结果的真实量级,而不仅仅是p<0.05。在荟萃分析中,所有研究的效应量都会被汇总;仅报告p值而无效应量的研究必须被排除,或从其他统计数据中进行事后估计,这会引入误差。对于作者而言,透明的统计报告可以提高可重复性,实现适当的综合,并展示严谨性。
常见陷阱
- 仅报告p值而无效应量:“p=.021”告诉读者结果“显著”,但没有说明效应是微不足道(例如d=0.1)还是很大(d=1.5)。务必报告效应量。
- 混淆统计学意义和实际意义:p=.001表明有强烈的证据反对原假设,但如果效应在临床上不相关(例如血压差异0.1 mmHg),则不具有实际意义。两者都应讨论。
- 挑选p值:只报告p<0.05的p值,而隐藏不显著的结果(p值操纵)。预注册假设并报告所有检验,无论是否显著。
- 报告p=.10的“趋向显著性”或p=.06的“接近显著性”:这些都是非正式且具有误导性的。结果要么达到你的阈值,要么没有;诚实地讨论不显著的结果。
- 错误报告置信区间:95% CI并非包含95%数据的范围;它是我们有95%信心包含真实参数的范围。正确解释以避免混淆。
- 省略基线描述性统计数据:如果未报告人口统计/基线数据,读者无法评估各组是否具有可比性或样本是否具有代表性。
常见问题
我应该报告哪种效应量?
选择适合您统计检验的效应量:对于t检验(两组比较):Cohen d(标准化均值差)或带单位的原始差异。对于方差分析:eta-squared (η²) 或 partial eta-squared (η²p)。对于相关性:Pearson r 或 r-squared (R²)。对于二元结果(例如,治疗成功):优势比 (OR)、相对风险 (RR) 或绝对风险差。对于配对数据:Cohen d 或 Hedge's g(类似于d,用于荟萃分析)。如果不确定,请查阅领域特定标准或报告指南 (EQUATOR Network)。
只报告p值够吗?
不够。仅凭p值不足以说明效应的大小。p=.001可能反映一个微不足道的效应(如果样本量大),也可能反映一个巨大的效应(如果样本量小)。务必报告效应量和95% CI。p值 + 效应量 + CI的组合能给读者提供完整的信息。
如果我进行了许多检验,并且有几个p值“接近显著”(例如p=.06)怎么办?
诚实地报告它们。p=.06在α=0.05水平上不具有统计学意义;将其称为“趋势”并不能使其变得显著。讨论不显著结果在上下文中的含义(功效不足?真实的无效效应?)。如果您进行了多重检验,请报告您如何控制I型错误(Bonferroni、FDR等)。预注册假设以区分验证性分析和探索性分析。
p值应该保留多少位小数?
保留两到三位小数是标准做法(例如p=.021, p<.001)。不要报告p=.050000。当统计软件提供精确值时,精确p值优于不等式(p=.021而非p<.05)。仅当软件对较小值进行四舍五入或检验是单侧且阈值非常小时,才使用“p<.001”。
我应该报告95% CI还是其他置信水平?
使用95% CI,除非您的领域有不同的惯例(一些较早的医学文献使用90%或99%)。95% CI是标准做法,因为它与α=0.05相符。如果您报告90% CI,请明确说明“CI90%”以避免混淆。不要在同一篇论文中混用置信水平。
相关方法
参考文献
Cumming, G. (2013). The new statistics: Why and how. Psychological Science, 25(1), 7–29.
打开 DOI 文献已复制。Fidler, F., Thomason, N., Cumming, G., Finch, S., & Leeman, J. (2005). Editors can lead researchers to confidence intervals, but can't make them think: Statistical reform lessons from medicine. Psychological Science, 15(2), 119–126.
打开 DOI 文献已复制。International Committee of Medical Journal Editors (2023). Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals.
打开出版物文献已复制。