Skip to content
返回搜索结果

确认性研究 — 理论检验定量设计

提出者
Karl Popper (falsificationism); formalized in behavioral sciences by Paul Meehl and others
年份
1934 (Popper); widely adopted in social sciences from 1960s onward
类型
Quantitative research design
类别
Survey / observational design

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

确认性研究是一种演绎性的定量设计,研究者在数据收集之前明确提出源于现有理论的假设,然后检验数据是否支持或反驳这些假设。与生成数据洞察的探索性方法不同,确认性研究始于既定的理论框架,预先注册预测,并运用统计检验来评估这些预测与经验证据的一致性。它是以假设驱动的社会、行为和健康科学探究的基石。

方法背后的直觉

可以将确认性研究设想为在审判开始前就已准备好法庭判决——只不过这个“判决”是源于先前理论的精确陈述的假设,而非先入为主的判断。研究者说:“理论X预测A与B正相关。我将收集数据并检验这一主张。”然后,研究的设计是为了给这一预测一个被证伪的公平机会。如果数据与预测一致,则理论得到经验支持;如果不一致,则理论必须修正。这种可证伪性标准,由卡尔·波普尔提出,是区分确认性科学与纯粹猜测的关键。

历史学

确认性研究的哲学基础在于卡尔·波普尔的证伪主义,他在《科学发现的逻辑》(Logik der Forschung, 1934;英文译本1959)中阐述了科学假设必须能够被经验证据所反驳。这一原则通过 Neyman-Pearson 假设检验统计学在社会科学中得到操作化,并通过方法学家(如 Paul Meehl 和 Jacob Cohen)在20世纪60年代至90年代的重复呼吁得以实践。21世纪10年代的重复危机加剧了对预先注册作为确认性逻辑的实际执行机制的关注。

何时使用

当存在特定的理论或模型,并且您想根据新的经验证据来评估其预测时,请使用确认性研究——例如,检验一个经过验证的干预措施是否能降低新人群的焦虑,或者组织承诺的结构模型在不同的文化背景下是否成立。这需要足够大的样本(通过先验功效分析确定,通常对于中等效应量N≥80–100),定量结果,以及在数据收集前制定的清晰可证伪的假设。当您的假设缺乏先前的理论基础,构念尚未通过经验证的测量方法进行操作化,或者目标是生成而非检验想法时,请勿使用确认性设计——在这些情况下,探索性或描述性设计更为合适。

局限与注意事项

  • 需要一个成熟的理论框架;当领域理解不足时,不能替代探索性工作。
  • 单一的确认性研究很少能提供决定性证据——在得出强有力的结论之前需要重复验证。
  • 结果受限于操作化定义的有效性和样本的代表性。
  • 严格遵守预先注册方案需要纪律;未披露的偏离会破坏确认性主张。
  • 二元假设检验的框架(拒绝/未能拒绝)可能会掩盖证据积累的连续性。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在保持预先注册的情况下,为特定的理论主张提供了最有力的支持或反对证据。
  • 预先指定的假设和分析计划消除了许多可能夸大假阳性率的自由度问题。
  • 符合期刊和资助机构日益要求的开放科学和可重复性标准。
  • 通过独立研究的直接重复,促进知识的积累。
  • 统计功效分析确保研究规模足够大,能够检测到预期的效应。

应用

  • 检验理论推导出的干预措施(例如,认知行为疗法方案)是否能减轻临床样本的症状严重程度。
  • 评估工作满意度的结构方程模型在新国家或文化背景下是否能得到重复验证。
  • 使用确认性因子分析(CFA)在独立的验证样本中确认心理量表的预测因子结构。
  • 评估预先指定的中介变量(例如,自我效能感)是否传递了治疗对结果的影响。
  • 在新的群体中重复已发表的两个构念之间的相关性,以评估现有发现的普遍性。
  • 在临床试验或开放科学注册平台上预先注册结果和分析,以对照条件测试药物或教育干预措施。

使用方式

使用方式

1

研究者从既定的理论框架出发,推导出一条或多条精确、可证伪的假设。每项假设在任何数据收集之前都陈述了预期关系或差异的方向或幅度。为了防止事后将探索性发现重新标记为确认性发现,预先注册假设(在OSF或AsPredicted等平台上)正变得越来越普遍。

2

每个理论构念都被转化为可测量的变量,并使用经过验证的工具、量表或操作化定义。抽样策略、样本量(通过先验功效分析确定)、数据收集程序以及将要使用的统计检验,都预先指定。这种预先指定正式区分了确认性研究与探索性研究。

3

按照预先指定的方案收集数据——通常通过标准化调查、结构化观察或从二级数据集中提取。严格遵守方案至关重要;任何偏离都必须记录并报告,以保持研究的确认性。

4

应用预先指定的统计检验(例如,t检验、方差分析、回归、结构方程模型)。根据预先设定的决策规则评估结果——通常是预先设定的alpha水平(通常为.05,或更严格的确认性主张为.01)。效应量和置信区间与p值一起报告,以传达实际显著性。

5

研究者就数据是否支持或未能支持每项假设得出结论。未能拒绝零假设并不意味着证实了零假设;它表明没有足够证据支持备择假设。结论受限于研究的设计、样本和操作化定义。在独立样本中得到重复的真正确认性发现具有最强的证据力。

常见陷阱

  • HARKing(在已知结果后提出假设)——将事后探索性发现呈现为预先指定的确认性假设,会夸大假阳性率,并被视为一种研究不端行为。
  • 功效不足的设计——未能进行先验功效分析会导致研究无法可靠地检测到真实效应,从而产生无信息量的模糊零结果。
  • 误将不显著结果解释为零假设的证实——p值高于alpha仅意味着缺乏支持备择假设的证据,而非零假设为真。
  • 使用未经验证或临时制定的测量方法——关于理论构念的确认性结论的强度,仅取决于用于操作化它们的工具的有效性。
  • 在报告仅有的显著结果的同时进行多次非计划分析——这是p值操纵,破坏了确认性设计的推断逻辑。

常见问题

确认性研究与探索性研究的区别是什么?

当领域理解不足时,探索性研究从数据中生成假设或模型;确认性研究则用源于先前理论的假设检验新数据。关键的正式区别在于时间点:在确认性研究中,假设和分析计划在数据收集前完全指定;在探索性研究中,它们在分析过程中或之后出现。两者都发挥着重要作用,但只有预先指定的确认性检验才能在设定的alpha水平上控制假阳性率。

确认性研究是否必须预先注册?

严格来说,预先注册是使研究可验证地确认性而非仅仅被标记为确认性的机制。没有时间戳、公开可访问的预先注册,读者无法区分预先指定的假设和事后合理化。许多期刊,尤其是在心理学和医学领域,现在要求对确认性主张进行预先注册。平台包括 OSF Registries、AsPredicted 和 ClinicalTrials.gov。

我可以在同一项研究中同时进行确认性和探索性分析吗?

可以——这是常见且合法的,但报告中必须清楚地区分这两种类型的分析。预先指定的分析被标记为确认性,并使用设定的alpha水平进行解释。在查看数据后进行的额外分析被标记为探索性,其发现被视为生成假设而非检验假设,并且在得出强有力的结论之前需要重复验证。

确认性研究需要多大的样本量?

样本量应在数据收集前通过先验功效分析确定,基于理论上有意义的最小效应量、所需的功效(通常为.80或.90)以及alpha水平。对于在功效=.80和alpha=.05下的中等效应量(Cohen's d = 0.50 或 r = .30),典型要求约为50–130名参与者,具体取决于检验类型。事后使用现有数据集来证明样本量不属于确认性实践。

确认性研究能证明一个理论吗?

没有单一的研究能证明一个理论。确认性研究可以提供与理论预测一致的证据,但证明需要跨越多种不同操作化定义、样本和设计的汇聚证据。波普尔的框架认为理论只能被证实或证伪,而不能被证明——目标是随着时间的推移积累可重复的、可证伪的证据。

相关方法

参考文献

  1. Popper, K. R. (1959). The Logic of Scientific Discovery. Hutchinson.

    ISBN:978-0415278447
    已复制。
  2. Kline, R. B. (2013). Beyond Significance Testing: Statistics Reform in the Behavioral Sciences (2nd ed.). American Psychological Association.

    ISBN:978-1433812378
    已复制。