Skip to content
返回搜索结果

阻塞 A/B 测试 — 块随机拆分测试

提出者
R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
年份
1926 (blocking principle); 2000s–2010s (online A/B testing application)
类型
Randomized controlled experiment with variance reduction
类别
Experimental design

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

阻塞 A/B 测试是一种实验设计,它在将单元(用户、受试者或集群)随机分配到每个块内的处理 A 或处理 B 之前,将它们划分为同质块。通过确保已知变异源(如设备类型、地理位置或用户任期)在各条件之间保持平衡,阻塞可减少实验内的噪声,从而比简单的非阻塞 A/B 测试能更精确地估计处理效应。

方法背后的直觉

设想在电子商务网站上测试新的结账按钮颜色。移动用户和桌面用户的购买率差异很大,因此,一次天真的随机拆分可能会意外地使一个变体获得更多的移动用户。阻塞解决了这个问题:首先将所有用户划分为移动和桌面块,然后在每个块内抛硬币来分配 A 或 B。现在,两个变体看到的移动和桌面用户比例将是相等的。处理比较是在块内进行的,因此由设备驱动的变异性已从误差项中移除,使得实验对按钮颜色的实际效果更加敏感。

历史学

实验设计中的阻塞原则由 R. A. Fisher 在其 1926 年关于田间实验安排的论文中正式提出,并在其 1935 年的著作《实验设计》中得到进一步发展。Fisher 引入阻塞是为了隔离和消除已知的异质性来源,从而提高处理比较的精度。该方法随后被规范化为随机完整块设计 (RCBD)。在 2000 年代和 2010 年代,科技公司将阻塞应用于大规模在线 A/B 测试,使用用户属性(如设备类型或账户年龄)作为阻塞变量,以从网络实验中获得更可靠的因果估计。

何时使用

当您预先知道某个协变量(设备类型、用户细分、地理区域、时间段)与您的主要指标相关,并且您想防止该协变量的不平衡膨胀您的误差估计时,请使用阻塞 A/B 测试。当样本量适中且您无法承受简单随机化所带来的方差时,它尤其有价值。当没有有意义的预后协变量时,不要使用阻塞——其开销是不必要的,并且块大小限制可能会降低功效。当阻塞变量过于细粒度,无法产生每个条件至少有几个单元的块时,或者当块成员身份无法在分配前确定时,请避免使用。

局限与注意事项

  • 需要预先识别阻塞变量;在分配处理之前未知或未测量的变量不能用于阻塞。
  • 非常小的块大小(例如,每个块只有 2-4 个单元)会降低块内随机化的可靠性,并可能损害功效而不是帮助它。
  • 分析比简单的双样本 t 检验更复杂;必须在统计模型中正确地纳入块结构。
  • 在错误的变量上进行阻塞(与结果不相关的变量)不会减少方差,反而会增加分析开销。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 减少归因于已知预后协变量的实验误差方差,在不增加样本量的情况下提高统计功效。
  • 防止可能在有限样本中偏倚处理效应估计的意外协变量不平衡。
  • 块估计本身可以提供关于不同细分之间异质性处理效应的有用见解。
  • 在标准统计软件包(方差分析、带指示符的回归、混合模型)中得到广泛支持。
  • 直接类似于临床和农业研究中使用的金标准块设计,为该方法提供了强大的方法论可信度。

应用

  • 在线产品实验按设备类型(移动 vs. 桌面)或平台进行阻塞,以比较 UI 变体。
  • 临床试点研究按临床地点或基线严重程度进行阻塞,以比较两种治疗方案。
  • 教育技术实验按学校或年级进行阻塞,以评估新学习工具的效果。
  • 营销邮件测试按客户生命周期阶段进行阻塞,以衡量主题行变体对打开率的影响。
  • 农业和环境研究按田间位置或土壤类型进行阻塞,以比较作物种类或干预措施。

使用方式

使用方式

1

指定假设(例如,变体 B 提高了转化率),选择主要指标,并确定阻塞变量——即已知或怀疑会影响结果的特征。良好的阻塞变量是在处理分配之前可测量的,与结果相关,并且不是由处理本身引起的。

2

根据选定的阻塞变量,将所有符合条件的单元划分为互斥且穷尽的块。每个块将尽可能相似的单元分组。块的数量应保持可管理;过于细粒度的阻塞可能会降低统计功效,如果块大小变得太小。

3

在每个块内,以相等的(或预先指定的)概率将单元随机分配到条件 A(对照组)或条件 B(处理组)。这种块内随机化是使设计既公平又易于分析的核心步骤。在暴露开始之前记录每个单元的块成员身份。

4

在整个实验期间,将分配的变体交付给每个单元。保持各条件之间的分离,以防止污染。收集结果数据以及块标识符,以便块结构能够一直保留到分析阶段。

5

使用考虑了块的模型进行结果分析——通常是双向方差分析或带有块指示符作为协变量的回归,或者如果每个块恰好有一个单元属于每个条件,则使用配对比较。块项吸收了归因于阻塞变量的方差,从而更清晰地估计处理效应并获得更窄的置信区间。

常见陷阱

  • 在分析时忽略块结构——在没有块指示符的情况下运行普通 t 检验,会丢失阻塞旨在提供的方差减少,并可能膨胀 p 值。
  • 事后阻塞——在看到结果后定义块会引入偏差,并且不是有效的阻塞设计。
  • 使用过多阻塞变量进行过度阻塞会产生微小且不切实际的块大小,并可能消除设计的统计优势。
  • 混淆阻塞与分层抽样——阻塞是应用于固定实验单元总体的分配机制,而不是抽样策略。

常见问题

阻塞 A/B 测试与分层 A/B 测试有什么区别?

在应用环境中,这两个术语经常可以互换使用。严格来说,阻塞是设计概念(组内单元的分配),而分层可以指设计或分析(事后重新加权)。在阻塞 A/B 测试中,随机化发生在暴露前每个块内。在分层分析中,您可能没有进行阻塞随机化,但事后按层进行重新加权或调整。设计时的阻塞通常比分析时的分层更强大。

我应该选择哪些变量进行阻塞?

阻塞的变量应满足以下条件:(1) 您可以在分配处理之前测量它们;(2) 预计它们与主要结果指标相关;(3) 它们不是由处理本身引起的。在线实验中常见的选择包括设备类型、用户任期队列和地理区域。除非您的样本量足够大以维持足够的块大小,否则避免在具有许多类别的变量上进行阻塞。

阻塞是否会改变样本量要求?

由于阻塞从误差项中消除了归因于阻塞变量的方差,因此它可以减少达到给定功效水平所需的样本量。效率增益取决于阻塞变量与结果的相关程度。如果相关性很低,阻塞带来的好处很小,而简单的 A/B 测试可能需要更少的分析资源。

我可以使用多于两个变体的阻塞设计吗?

是的。当有多个条件时,该设计称为阻塞多臂实验或具有多个处理的随机完整块设计。每个块内的单元被随机分配到 k 个条件之一。分析可以推广到带有块和处理指示符的方差分析或回归,然后进行计划的或事后比较。

如果我在分析中忘记包含块指示符会怎样?

省略块指示符意味着阻塞带来的方差减少将丢失。更糟糕的是,如果块大小不相等,则朴素估计可能会有偏差。始终在统计模型中包含块固定效应(或随机效应项),以遵循阻塞设计并恢复效率增益。

相关方法

参考文献

  1. Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.

    打开出版物文献
    已复制。
  2. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN:9781108724265
    已复制。