前测-后测实验设计
- 提出者
- Donald T. Campbell and Julian C. Stanley
- 年份
- 1963 (formalized in Campbell & Stanley)
- 类型
- Experimental / quasi-experimental research design
- 类别
- Experimental design
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
前测-后测实验设计通常通过将参与者随机分配到处理组和对照组,测量他们在处理前后结果变量上的表现。前测和后测分数之间的差异将处理效应与基线变异隔离开来,使其成为教育、心理学、医学和社会科学领域实验和准实验研究中最广泛使用的框架之一。
方法背后的直觉
假设您想知道为期六周的阅读干预是否能提高识字分数。仅仅在项目结束后测量分数是不可靠的——分数可能由于成熟或季节性效应而自行上升。前测-后测设计在项目开始前增加了一次测量:现在您比较的是每个组的变化量,而不是他们最终的得分。有了对照组,两组共有的任何变化(例如,自然增长)都会相互抵消,从而留下对项目独特贡献的估计。增加随机分配将其升级为具有强大因果依据的真实验。
历史学
前测-后测设计通过Donald Campbell和Julian Stanley于1963年出版的专著《实验和准实验研究设计》获得了系统的方法论处理,该专著引入了符号(O1 X O2)并列举了内部效度的威胁。Campbell和Stanley将真正的带随机化的前测-后测对照组设计与准实验的单组前测-后测设计区分开来,指出后者易受历史、成熟和测试威胁的影响。Shadish、Cook和Campbell在2002年更新并扩展了该框架,巩固了该设计作为应用研究方法论基石的地位。
何时使用
当您需要评估干预导致的时间变化,并且个体基线差异可能引入噪声时,请使用前测-后测设计。当随机分配可行(真实验)或当前测分数对于控制准实验环境中预先存在的组差异至关重要时,它适用。当单一的仅后测测量就足够时(例如,个体间结果方差可忽略不计),当前测本身可能使参与者对干预敏感时(测试威胁——可考虑所罗门四组设计),或者当从逻辑上讲只能进行一个时间点的数据收集时,请勿使用此设计。
局限与注意事项
- 前测可能会使参与者对处理内容或研究者的假设敏感,从而夸大或低估后测分数(测试威胁)。
- 如果流失与处理条件或基线分数相关,则前测和后测之间的死亡率/流失可能会使结果产生偏差。
- 如果没有随机化,选择偏差仍然存在:组间预先存在的差异可能无法仅凭前测分数完全捕捉。
- 均值回归:根据极端前测分数选择的组,无论是否经过处理,在后测时都倾向于得分更接近均值。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 控制预先存在的个体差异,相对于仅后测设计,增加了统计功效。
- 允许直接测量变化,这通常是实质上最有意义的量(例如,学习增益、症状减轻)。
- 在各学科中广为人知,并与许多分析框架(ANCOVA、ANOVA、多层建模)兼容。
- 与随机化结合时,为处理效应提供强有力的因果证据。
- 前测和后测分数能够检测亚组间的差异变化(调节分析)。
应用
- 评估教育干预措施——测量课程、辅导项目或教学技术前后的学习收益。
- 临床和健康研究——评估医疗或心理治疗后的症状减轻、功能改善或行为改变。
- 组织培训研究——测量员工在培训项目前后的知识、技能或态度变化。
- 公共政策评估——估计政策变化或社会项目对就业、健康或学业成就等结果的影响。
- 运动和锻炼科学——跟踪结构化训练干预中的体能、表现或心理指标。
使用方式
使用方式
在引入任何处理之前,所有参与者都完成对结果变量的测量(前测,O1)。该基线有三个目的:它确认了开始时组的等效性(特别是与随机化结合时),允许计算变化分数,并通过控制个体差异来增加统计功效。
参与者被随机分配到处理组或对照(或比较)组。随机分配是区分真前测-后测实验与准实验变体的原因。如果没有随机化,组间预先存在的差异会威胁到因果推断,并且该设计是准实验性的。
处理组接受干预,而对照组则不接受干预、接受安慰剂或接受常规处理。处理实施的持续时间和忠实度必须标准化并记录,以确保内部效度。
干预期结束后,所有参与者再次完成相同的结局测量(后测,O2)。前测和后测之间的时间间隔应足够长,以使处理生效,但又不能太长,以免历史事件或流失严重混淆结果。
主要分析计算每个组从前测到后测的变化,并检验处理组的变化是否显著大于对照组的变化。常见的分析方法包括以预测试为协变量的协方差分析(ANCOVA)、每组内的配对样本t检验,或混合模型重复测量方差分析。
常见陷阱
- 分析后测分数时未对前测进行调整——这会丢弃前测提供的信息并降低功效;应使用以预测试为协变量的ANCOVA,而不是简单的后测比较。
- 使用与后测测量方法不同的前测工具,导致变化分数无法解释;两次测量都必须使用相同或严格平行的结果测量形式。
- 在敏感情境中(例如,态度调查、内容透明的知识测试)忽视测试威胁——如果前测可能改变参与者,请考虑所罗门四组设计。
- 在没有随机化的情况下,将前测-后测设计视为自动具有因果关系——在准实验版本中,未测量的混杂因素仍然可以解释观察到的变化差异。
- 将原始增益分数(O2 - O1)作为回归中的因变量——这种方法存在已知的心理测量学问题;ANCOVA或残差变化分数更可取。
常见问题
我应该使用ANCOVA还是配对t检验来分析前测-后测数据?
通常更倾向于使用以预测试为协变量的ANCOVA进行组间比较,因为它从误差项中消除了预测试方差,增加了功效,并调整了任何残余的基线不平衡。单组内的配对t检验适用于单组前-后检查,但无法将处理效应与成熟或历史效应隔离开来。避免使用原始增益分数(后测减前测)作为ANCOVA中的因变量——将前测和后测作为单独的变量输入。
什么是测试威胁,它何时重要?
当完成前测的行为本身改变了参与者时,就会发生测试威胁——例如,通过提醒他们哪些结果是重要的,排练测试项目,或减少后测时的焦虑。当结果工具是内容透明的知识测试,或者当参与者可能在前测后、后测前反思或讨论他们的前测反应时,它最为重要。如果这是一个严重的问题,请使用所罗门四组设计添加两个未经前测的组。
前测-后测设计是准实验性的还是实验性的?
两者皆可。如果随机分配到处理组和对照组,它就是一个真实验(Campbell & Stanley的经典前测-后测对照组设计)。如果没有随机化——例如,当比较完整的班级或现有组时——它就是一种准实验设计,面临更强的内部效度威胁,包括选择偏差。
前测和后测之间的时间间隔应该多长?
间隔应足够长,以使干预产生预期效果,但又不能太长,以免历史效应、流失或与处理无关的发展变化使变化分数难以解释。没有普遍的规则;适当的间隔由干预背后的变化理论和关于效应时机的先前证据决定。
我可以在前测-后测设计中添加更多时间点吗?
可以——添加一个或多个后续测量会产生重复测量或纵向设计,这可以揭示处理效应是否随时间持续、减弱或增长。这种扩展有时被称为前测-后测-随访设计。分析方法包括混合模型ANOVA或增长曲线建模。
相关方法
参考文献
Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
打开出版物文献已复制。Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
ISBN:978-0395615560已复制。