阻塞 A/B 测试 — 块随机拆分测试
- 提出者
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- 年份
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- 类型
- Randomized controlled experiment with variance reduction
- 类别
- Experimental design
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
阻塞 A/B 测试是一种实验设计,它在将单元(用户、受试者或集群)随机分配到每个块内的处理 A 或处理 B 之前,将它们划分为同质块。通过确保已知变异源(如设备类型、地理位置或用户任期)在各条件之间保持平衡,阻塞可减少实验内的噪声,从而比简单的非阻塞 A/B 测试能更精确地估计处理效应。
方法背后的直觉
设想在电子商务网站上测试新的结账按钮颜色。移动用户和桌面用户的购买率差异很大,因此,一次天真的随机拆分可能会意外地使一个变体获得更多的移动用户。阻塞解决了这个问题:首先将所有用户划分为移动和桌面块,然后在每个块内抛硬币来分配 A 或 B。现在,两个变体看到的移动和桌面用户比例将是相等的。处理比较是在块内进行的,因此由设备驱动的变异性已从误差项中移除,使得实验对按钮颜色的实际效果更加敏感。
历史学
实验设计中的阻塞原则由 R. A. Fisher 在其 1926 年关于田间实验安排的论文中正式提出,并在其 1935 年的著作《实验设计》中得到进一步发展。Fisher 引入阻塞是为了隔离和消除已知的异质性来源,从而提高处理比较的精度。该方法随后被规范化为随机完整块设计 (RCBD)。在 2000 年代和 2010 年代,科技公司将阻塞应用于大规模在线 A/B 测试,使用用户属性(如设备类型或账户年龄)作为阻塞变量,以从网络实验中获得更可靠的因果估计。
何时使用
当您预先知道某个协变量(设备类型、用户细分、地理区域、时间段)与您的主要指标相关,并且您想防止该协变量的不平衡膨胀您的误差估计时,请使用阻塞 A/B 测试。当样本量适中且您无法承受简单随机化所带来的方差时,它尤其有价值。当没有有意义的预后协变量时,不要使用阻塞——其开销是不必要的,并且块大小限制可能会降低功效。当阻塞变量过于细粒度,无法产生每个条件至少有几个单元的块时,或者当块成员身份无法在分配前确定时,请避免使用。
局限与注意事项
- 需要预先识别阻塞变量;在分配处理之前未知或未测量的变量不能用于阻塞。
- 非常小的块大小(例如,每个块只有 2-4 个单元)会降低块内随机化的可靠性,并可能损害功效而不是帮助它。
- 分析比简单的双样本 t 检验更复杂;必须在统计模型中正确地纳入块结构。
- 在错误的变量上进行阻塞(与结果不相关的变量)不会减少方差,反而会增加分析开销。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 减少归因于已知预后协变量的实验误差方差,在不增加样本量的情况下提高统计功效。
- 防止可能在有限样本中偏倚处理效应估计的意外协变量不平衡。
- 块估计本身可以提供关于不同细分之间异质性处理效应的有用见解。
- 在标准统计软件包(方差分析、带指示符的回归、混合模型)中得到广泛支持。
- 直接类似于临床和农业研究中使用的金标准块设计,为该方法提供了强大的方法论可信度。
应用
- 在线产品实验按设备类型(移动 vs. 桌面)或平台进行阻塞,以比较 UI 变体。
- 临床试点研究按临床地点或基线严重程度进行阻塞,以比较两种治疗方案。
- 教育技术实验按学校或年级进行阻塞,以评估新学习工具的效果。
- 营销邮件测试按客户生命周期阶段进行阻塞,以衡量主题行变体对打开率的影响。
- 农业和环境研究按田间位置或土壤类型进行阻塞,以比较作物种类或干预措施。
使用方式
使用方式
指定假设(例如,变体 B 提高了转化率),选择主要指标,并确定阻塞变量——即已知或怀疑会影响结果的特征。良好的阻塞变量是在处理分配之前可测量的,与结果相关,并且不是由处理本身引起的。
根据选定的阻塞变量,将所有符合条件的单元划分为互斥且穷尽的块。每个块将尽可能相似的单元分组。块的数量应保持可管理;过于细粒度的阻塞可能会降低统计功效,如果块大小变得太小。
在每个块内,以相等的(或预先指定的)概率将单元随机分配到条件 A(对照组)或条件 B(处理组)。这种块内随机化是使设计既公平又易于分析的核心步骤。在暴露开始之前记录每个单元的块成员身份。
在整个实验期间,将分配的变体交付给每个单元。保持各条件之间的分离,以防止污染。收集结果数据以及块标识符,以便块结构能够一直保留到分析阶段。
使用考虑了块的模型进行结果分析——通常是双向方差分析或带有块指示符作为协变量的回归,或者如果每个块恰好有一个单元属于每个条件,则使用配对比较。块项吸收了归因于阻塞变量的方差,从而更清晰地估计处理效应并获得更窄的置信区间。
常见陷阱
- 在分析时忽略块结构——在没有块指示符的情况下运行普通 t 检验,会丢失阻塞旨在提供的方差减少,并可能膨胀 p 值。
- 事后阻塞——在看到结果后定义块会引入偏差,并且不是有效的阻塞设计。
- 使用过多阻塞变量进行过度阻塞会产生微小且不切实际的块大小,并可能消除设计的统计优势。
- 混淆阻塞与分层抽样——阻塞是应用于固定实验单元总体的分配机制,而不是抽样策略。
常见问题
阻塞 A/B 测试与分层 A/B 测试有什么区别?
在应用环境中,这两个术语经常可以互换使用。严格来说,阻塞是设计概念(组内单元的分配),而分层可以指设计或分析(事后重新加权)。在阻塞 A/B 测试中,随机化发生在暴露前每个块内。在分层分析中,您可能没有进行阻塞随机化,但事后按层进行重新加权或调整。设计时的阻塞通常比分析时的分层更强大。
我应该选择哪些变量进行阻塞?
阻塞的变量应满足以下条件:(1) 您可以在分配处理之前测量它们;(2) 预计它们与主要结果指标相关;(3) 它们不是由处理本身引起的。在线实验中常见的选择包括设备类型、用户任期队列和地理区域。除非您的样本量足够大以维持足够的块大小,否则避免在具有许多类别的变量上进行阻塞。
阻塞是否会改变样本量要求?
由于阻塞从误差项中消除了归因于阻塞变量的方差,因此它可以减少达到给定功效水平所需的样本量。效率增益取决于阻塞变量与结果的相关程度。如果相关性很低,阻塞带来的好处很小,而简单的 A/B 测试可能需要更少的分析资源。
我可以使用多于两个变体的阻塞设计吗?
是的。当有多个条件时,该设计称为阻塞多臂实验或具有多个处理的随机完整块设计。每个块内的单元被随机分配到 k 个条件之一。分析可以推广到带有块和处理指示符的方差分析或回归,然后进行计划的或事后比较。
如果我在分析中忘记包含块指示符会怎样?
省略块指示符意味着阻塞带来的方差减少将丢失。更糟糕的是,如果块大小不相等,则朴素估计可能会有偏差。始终在统计模型中包含块固定效应(或随机效应项),以遵循阻塞设计并恢复效率增益。
相关方法
参考文献
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
打开出版物文献已复制。Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN:9781108724265已复制。