阶乘 A/B 测试 — 多因素在线对照实验
- 提出者
- Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
- 年份
- Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
- 类型
- Controlled online/field experiment
- 类别
- Experimental design
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
阶乘 A/B 测试是一种对照在线实验,它同时操纵两个或多个自变量(因素),每个因素有两个或多个水平,让不同的用户群体接触到所有因素水平的组合。该方法源于费舍尔的阶乘设计,并由科技公司大规模实施,它使研究人员能够从单次实验运行中估计每个因素的独立主效应以及因素之间的交互效应。
方法背后的直觉
假设您想知道新标题是否能提高转化率,以及新按钮颜色是否有帮助——同时您也怀疑这两种变化可能会相互作用。简单的 A/B 测试一次只能回答一个问题;阶乘 A/B 测试一次运行所有组合(旧标题+旧按钮,旧标题+新按钮,新标题+旧按钮,新标题+新按钮),它不仅告诉您哪些因素重要,还告诉您它们的效应是相互增强还是相互抵消。您可以用相同的流量获得更多答案,并避免了部署两种变化后,当它们组合在一起时各自的优势却消失的陷阱。
历史学
阶乘实验的数学基础由 Ronald A. Fisher 和 Frank Yates 于 20 世纪 20 年代和 30 年代在罗斯特姆实验站奠定,并在 Fisher 的《实验设计》(1935 年)中得到规范。几十年来,该方法主要用于农业、制造业和临床试验。随着 21 世纪初大规模在线平台的兴起,Google、Microsoft 和 Amazon 将该方法工业化为阶乘 A/B 测试,能够对数百万用户进行多种产品变化的快速同步评估。Kohavi 等人的 2020 年手册系统化了当前的行业实践。
何时使用
当您需要在单次实验中评估两个或多个独立变化,并且您有理由怀疑这些因素可能相互作用时,请使用阶乘 A/B 测试。当流量足够支持所有单元同时运行时,这是正确的选择——粗略的经验法则是,您需要与标准 A/B 测试相同的每个单元样本量,乘以单元数。当流量稀少且您无法支持所有单元时,请勿使用;在这种情况下,请改用顺序 A/B 测试。当因素已知完全独立且交互效应在理论上不可能时,请避免使用——在这种情况下,单独的 A/B 测试更容易沟通。当涉及四个或五个以上因素且没有部分阶乘策略时,也请避免使用,因为单元数量和解释的复杂性会呈组合式增长。
局限与注意事项
- 样本量需求随单元数量而扩展;2×2×2 设计需要简单两臂测试的八倍的每个单元样本量,这对于低流量产品来说可能是不可行的。
- 高阶交互效应(三向、四向)难以解释,即使在大规模实验中也常常功效不足。
- 结果特定于实验的用户群体和上下文,可能无法推广到不同的平台、季节或市场。
- 交互效应的分析和沟通需要统计上的精通,而利益相关者可能不具备。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在单次实验中测试多个因素,与顺序 A/B 测试相比,可减少总日历时间和流量成本。
- 检测并量化顺序测试无法揭示的交互效应,防止部署的组合效应不叠加。
- 全阶乘设计在统计上是高效的——正交因素分配意味着主效应和交互效应可以独立估计。
- 支持清晰、预先指定的分析计划,并与标准的频率学(方差分析、回归)和贝叶斯推断框架兼容。
- 在行业(科技、电子商务、制药)中得到广泛采用,并有关于设计和分析的成熟文献支持。
应用
- 在登陆页面上同时测试标题文案和主图,以确定最大化注册率的获胜组合。
- 评估两个电子邮件主题行变体与两个发送时间变体的交叉组合,以确定时间是否与消息传递在提高打开率方面存在交互作用。
- 运行一项 2×2 临床试验,同时将参与者随机分配到药物与安慰剂以及行为干预与标准护理。
- 通过同时改变按钮位置和表单长度来优化结账流程,以找到购物车放弃率最低的单元。
- 评估推荐算法和显示布局对流媒体平台观看时长的联合影响。
- 药物剂量反应研究,将剂量水平与给药途径交叉,以在单一方案中估计主效应和交互作用。
使用方式
使用方式
确定要测试的自变量(因素)并指定每个因素将采用的离散水平。在 2×2 阶乘 A/B 测试中,有两个因素,每个因素有两个水平,产生四个处理单元。更大的设计(2×2×2、3×2 等)也是可能的,但会按比例增加样本量需求。
列出所有因素水平的组合——这些是实验单元或分组。对于全阶乘设计,包含所有组合;如果单元数量过大,可以使用部分阶乘设计,牺牲估计高阶交互效应的能力来换取更小的实验规模。
用户(或会话)被随机分配到恰好一个单元,通常使用用户稳定标识符的哈希值对单元数取模来实现,确保平衡且独立的分配。随机化消除了选择偏差,并且是区分阶乘 A/B 测试与观察性多变量分析的特征。
实验运行预定的持续时间——足够长以达到每个单元的目标样本量并考虑每周的季节性效应(通常至少一周)。结果指标(转化率、每用户收入、参与时间等)在整个暴露窗口期间在用户或会话级别为每个单元记录。
主要分析使用阶乘方差分析或回归框架,将方差划分为主效应(每个因素一个)和交互效应(每对因素一个,如果设计是全阶乘则还有更高阶项)。为每个估计的效应报告效应大小、置信区间和多重性调整后的 p 值(例如,Bonferroni 或 Benjamini-Hochberg)。
解释主效应和交互效应的模式。如果存在显著的交互作用,仅主效应可能会产生误导——必须从单元均值而不是每个因素的边际平均值来识别获胜组合。然后将获胜单元(或单元)部署到 100% 的用户。
常见陷阱
- 忽略显著的交互作用——在存在交互作用时仅报告主效应会产生不正确的建议;在解释单个因素效应之前,务必检查交互作用图。
- 低估单个单元的功效——设计者有时会为整个实验而不是每个单元计算功效,导致实验无法可靠地检测到每个分组中感兴趣的效应。
- 因素的非独立性——如果一个因素水平的实现改变了另一个因素的含义(例如,布局更改隐藏了正在测试的按钮),则阶乘正交性假设被违反,交互效应估计无意义。
- 在没有部分阶乘策略的情况下运行过多因素——计划外的全阶乘设计涉及许多因素会产生数量庞大且难以管理的单元,并增加测试许多效应时的错误发现率。
- 新颖性效应——在短期的在线实验中,用户行为可能反映的是对变化的好奇心,而不是稳定的偏好,这会夸大在完全推广后不会持续的效应估计。
常见问题
阶乘 A/B 测试与运行多个单独的 A/B 测试有何不同?
顺序 A/B 测试无法检测两个因素是否会相互作用——您可能会发现每种变化单独都能提高转化率,但同时部署两者实际上会损害性能。阶乘 A/B 测试同时运行所有组合,因此它直接估计交互效应。如果您有足够的流量,它也能更快完成,因为您在一个实验中测试所有内容,而不是按顺序进行。
何时应使用部分阶乘设计而非全阶乘设计?
全阶乘测试每个因素水平的所有组合。当因素数量较多(通常为五个或更多)时,单元数量会变得不切实际地大。部分阶乘设计仅测试策略性选择的单元子集——足以估计主效应和低阶交互作用,同时牺牲了关于很少在实践中重要的高阶交互作用的信息。如果您有许多因素且流量有限,请考虑部分阶乘设计或顺序测试策略。
如何在阶乘 A/B 测试中处理多重比较?
每个主效应和每个交互项都是一个单独的假设。如果不进行调整,家族错误发现率会随着检验次数的增加而增加。常见的方法包括 Bonferroni 校正(保守,控制家族错误率)、Benjamini-Hochberg 程序(控制错误发现率,功效更高)或自然地在所有效应中传播不确定性的贝叶斯框架。校正方法应在分析计划中预先指定。
我需要多少样本量?
一个标准规则是为每个单元提供与双臂 A/B 测试相同的功效——计算您预期的效应大小和所需功效所需的样本量 N,然后乘以总单元数。对于 2×2 设计,这意味着标准 A/B 测试的每臂样本量的四倍。如果为所有单元提供功效不可行,请考虑部分阶乘设计或减少因素数量。
我可以用简单的每对 t 检验来分析阶乘 A/B 测试吗?
不可以。单元之间的配对 t 检验会忽略阶乘结构,增加错误发现率,并且——最关键的是——无法估计交互效应。正确的分析是阶乘方差分析或具有每个因素及其乘积(交互项)的指示变量的等效回归模型。只有这种方法才能正确地将方差划分为主效应和交互效应。
相关方法
参考文献
Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN:978-1108724265已复制。Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.
ISBN:978-1119113478已复制。