假设检验研究 — 确认性定量设计
- 提出者
- Karl Pearson, Ronald A. Fisher, Jerzy Neyman, Egon Pearson
- 年份
- Early 20th century (Fisher 1925; Neyman–Pearson 1933)
- 类型
- Quantitative confirmatory research design
- 类别
- Survey / observational design
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
假设检验研究是一种定量设计,在这种设计中,研究者从理论中推导出至少一个明确的、可证伪的命题,将其转化为零假设(H0)和备择假设(H1),收集经验数据,然后应用推断性统计检验来决定证据是否足以拒绝H0。这种方法是社会、行为、健康和自然科学中确认性科学的主导范式。
方法背后的直觉
可以将其想象成法庭审判:H0是无罪推定,统计检验是审判过程。你收集证据(数据),应用严格的决策规则(显著性水平α),然后要么拒绝无罪推定,要么未能拒绝——你永远无法毫无疑问地证明有罪,只能证明超过了某个特定的怀疑阈值。其优点在于严谨性:在看到数据之前就同时确定了假设和决策规则,可以防止人类普遍存在的、寻找实际不存在的模式的倾向。
历史学
零假设显著性检验的正式体系源于20世纪初两个并行的传统。Ronald A. Fisher在其著作《研究工作中的统计方法》(1925)中引入了p值和显著性检验,作为从数据中进行归纳推断的工具。Jerzy Neyman和Egon Pearson(1933)提出了互补的框架,包括预先设定的α水平、两个竞争性假设以及I类/II类错误控制。尽管这两个框架在逻辑上是不同的,但在20世纪中叶,一个混合体成为行为科学的标准实践,由Kerlinger(1973, 1986)编纂,并由Cohen关于统计功效的工作(1969, 1988)得到加强。
何时使用
当你有一个关于关系、差异或效应的特定、源于理论的预测,并且需要一个可辩护、可复制的决策程序时,请使用假设检验研究。当研究问题是确认性的(“干预X是否能减少结果Y?”)而不是探索性的时,它是合适的设计。它需要数值数据和足够大的样本来获得足够的统计功效(通常至少为80%)。当(a)你没有先验理论,目标是发现——此时应使用探索性或描述性设计;(b)样本太小,无法检测到合理的效应量,导致功效不足的检验,其产生的噪声大于信号;或(c)你在看到数据后修改假设(HARKing),这会使确认性逻辑失效时,请勿使用。
局限与注意事项
- 统计显著性(p < α)不等于实际或临床显著性——一个微小的效应,如果样本量足够大,可能具有高度的显著性。
- 拒绝/未能拒绝的二元决策丢弃了连续证据;边界结果(p = 0.049 vs. p = 0.051)被视为类别上的不同。
- 功效不足的研究会产生高比例的II类错误(假阴性),并且在产生显著结果时,悖论式地会夸大效应量估计值。
- 未经校正的多重检验会增加I类错误(假阳性);这在实践中常常被忽视。
- 该逻辑假设假设在数据收集之前就已经确定——违反(HARKing、p-hacking、可选停止)的情况很常见,并且会使结论无效。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 提供了一个透明的、预先设定的决策规则,可以防止事后合理化偶然发现。
- 直接检验理论预测,使其成为累积性、可复制科学的基石。
- 通过p值、置信区间和效应量量化不确定性,便于跨研究进行比较。
- 得到元分析综合的有力支持——假设检验研究可以跨实验室和重复实验进行汇总。
- 在几乎所有定量学科中被期刊、资助者和政策制定者广泛理解和接受。
应用
- 在教育研究中检验一种新的教学方法是否能提高学生学业成绩,并与对照组进行比较。
- 评估一种临床干预是否能显著降低症状严重程度,并与安慰剂组进行比较。
- 检验性别、社会经济地位或其他群体变量是否能预测心理结果的差异。
- 检验源于组织行为学理论框架的结构方程模型或回归系数。
- 在实验经济学中评估营销处理(价格、信息框架)是否能显著改变消费者选择。
- 在纵向项目评估中使用配对或重复测量检验,比较干预前后的分数。
使用方式
使用方式
研究者从现有理论或先前研究结果中推导出至少一个可检验的假设。每个假设都陈述为零假设(H0,即默认的“无效应”主张)和备择假设(H1,即预测的效应或关系)。为了保持确认性逻辑,两者都必须在数据收集之前被精确地陈述。
选择一种能够为H0提供有效证据或反驳H0的研究设计——调查、实验、准实验或观察性研究。至关重要的是,研究者要进行先验功效分析(使用效应量、α和期望的功效),以确定检测假设效应所需的最小样本量,并具有足够的概率。
根据预定的设计收集数据。测量工具必须证明其信度和效度。抽样必须是随机的或具有足够的代表性,以支持从样本统计量到总体参数的推断。
将适当的推断检验(t检验、方差分析、卡方检验、回归等)应用于数据。该检验产生一个p值——在H0为真的情况下,观察到至少与所获得结果一样极端的结果的概率。预先设定的α水平(通常为0.05)作为决策阈值。
公式
H_0: \mu_1 = \mu_2 \quad \text{vs} \quad H_1: \mu_1 \neq \mu_2如果p < α,则拒绝H0,接受H1,并宣布研究结果在统计上显著;同时报告效应量和置信区间以传达实际幅度。如果p ≥ α,则研究者未能拒绝H0——这并不证实H0,而是将其作为现有的默认状态。结果将根据原始理论框架进行解释。
公式
p < \alpha \Rightarrow \text{reject } H_0常见陷阱
- HARKing(在已知结果后提出假设)——将事后假设呈现为先验假设,将探索性发现转化为虚假确认。预注册是标准的补救措施。
- 忽视功效:在没有进行功效分析的情况下进行研究,然后将不显著的结果解释为“无效应”是一种常见且严重的错误。来自功效不足研究的不显著p值是无信息的。
- 混淆p值与效应量:务必在p值旁边报告Cohen's d、eta-squared、r或同等指标,以便读者能够判断其实际重要性。
- α钓鱼(p-hacking):检验多个结果、亚组或模型规格,只报告显著的那些。应用Bonferroni、Benjamini–Hochberg或预注册所有分析。
- 将未能拒绝H0视为H0为真的证明:如果你想证明效应不存在,请使用等效性检验(TOST)或贝叶斯方法。
常见问题
假设检验研究与确认性研究的区别是什么?
假设检验研究是具体的机制——正式的统计程序(H0 vs. H1,p值,α)。确认性研究是更广泛的设计理念,即在接受理论推导的预测之前,应将其与新数据进行检验。所有假设检验研究在精神上都是确认性的,但确认性研究也可能涉及模型比较或贝叶斯更新,而不采用经典的NHST框架。
我该如何选择合适的显著性水平(α)?
α = 0.05是大多数社会和行为科学中的常规默认值,但它是一种社会约定,而非普遍真理。当假阳性代价特别高时(例如,推荐昂贵的干预措施),使用α = 0.01。在探索性-确认性设计中,当假阴性是更大的担忧时,使用α = 0.10。务必在方法部分说明选择的理由,并始终报告确切的p值以及阈值决策。
我的结果不显著。我能得出没有效应的结论吗?
不能。不显著的结果仅意味着数据不足以在选定的α水平上拒绝H0——它并不证实H0。要做出肯定的“无有意义效应”的声明,你需要进行正式的等效性检验(例如,双单侧检验,TOST)或量化H0相对于H1证据的贝叶斯分析。
什么是预注册,它为什么重要?
预注册意味着在收集数据之前,在公共注册处(如OSF、AsPredicted或类似的注册机构)记录你的假设、设计、样本量和分析计划。它在确认性分析和探索性分析之间划定了一条清晰的界限,使得不可能将探索性发现追溯性地呈现为基于假设的发现。期刊越来越多地要求或奖励预注册作为质量指标。
我应该在p值旁边报告效应量吗?
是的——这现在被认为是APA出版手册(第7版)和大多数主要期刊的强制要求。统计显著性告诉你效应是否可区分于零(取决于你的样本量);效应量(Cohen's d、r、eta-squared、优势比)告诉你效应的实际大小或重要性。具有微小效应量的显著p值通常表明实际影响微乎其微。
相关方法
参考文献
Kerlinger, F. N., & Lee, H. B. (1986). Foundations of Behavioral Research (3rd ed.). Holt, Rinehart and Winston.
ISBN:978-0030417603已复制。Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum Associates.
ISBN:978-0805802832已复制。