Skip to content
返回搜索结果

自适应A/B测试 — 自适应A/B测试

提出者
Herbert Robbins (bandit framework); Thompson Sampling formalized by William R. Thompson
年份
1952 (Robbins); applied to A/B testing from ~2010s onward
类型
Adaptive experimental design
类别
Experimental design

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

自适应A/B测试是一种实验设计,它在实验进行过程中动态地将流量或参与者重新分配给表现更好的变体,而不是将分配固定到实验结束。它借鉴了多臂老虎机算法,如汤普森抽样(Thompson Sampling)或上限置信区间(Upper Confidence Bound, UCB),平衡了对不确定变体的探索和对已显示出优越性能变体的利用,通常在产生有效推断结论的同时,获得更高的总体结果。

方法背后的直觉

在经典的A/B测试中,您将访问者在两个版本之间以50/50的比例分配,并等到最后才宣布获胜者——在此期间,一半的流量持续访问较差的变体。自适应A/B测试更像一个学习系统:它开始时大致均等,但随着证据的积累表明变体B的表现优于变体A,它会逐渐将更多流量转移到B。实验继续收集数据以进行统计推断,但运行较差选项的成本在实时中被积极最小化。这个类比就像一个老虎机玩家,他跟踪哪些机器支付更多,并相应地调整他的玩法,同时仍然充分抽样所有机器以保持对比较的信心。

历史学

自适应A/B测试的理论基础在于多臂老虎机问题,该问题由赫伯特·罗宾斯(Herbert Robbins)于1952年首次形式化。威廉·R·汤普森(William R. Thompson)早在1933年就提出了一种用于临床试验的贝叶斯抽样策略,后来被称为汤普森抽样,成为最广泛实施的算法之一。20世纪70年代至90年代,学术界对临床试验中响应式自适应随机化的兴趣日益增长。从大约2010年开始,多臂老虎机算法在互联网规模的在线A/B测试中的应用得到了普及,这得益于技术公司寻求减少实验期间的机会成本,以及研究人员将多臂老虎机方法与因果推断框架联系起来。

何时使用

自适应A/B测试在以下情况下最有价值:(1) 接触劣质变体带来显著成本——在医疗保健、高流量数字产品或有时限的活动中;(2) 实验运行时间足够长,使分配算法能够显著调整(通常是数百到数千次观察);以及 (3) 结果相对于实验持续时间观察迅速。它也特别适用于同时测试多个变体(多臂设置)以及目标是在试验期间最大化总体结果而不仅仅是试验结束后。请勿在以下情况下使用自适应A/B测试:结果相对于决策周期有延迟(延迟反馈使更新不可靠);当监管审查需要分配比例的可解释性时(例如,某些临床试验情境);当样本量非常小(总观察次数少于约200次)时,因为算法没有足够的数据进行有意义的自适应;或者当简单的平衡设计就足够且不需要操作复杂性时。

局限与注意事项

  • 需要近实时或低延迟的结果观察;延迟反馈(例如,治疗后数周测量的结果)会破坏更新周期并损害自适应。
  • 统计推断比固定分配设计更复杂——标准t检验无效;需要专门的序贯或贝叶斯检验程序。
  • 自适应分配可能导致组不平衡,这会降低检测小效应的功效并使亚组分析复杂化。
  • 实施需要实时数据收集、后验更新和流量路由的技术基础设施——在标准调查或实验室平台中不易获得。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 与固定等量分配相比,减少了对劣质变体的累积暴露,这在结果指标具有道德或商业重要性时至关重要。
  • 非常适合多臂设置,其中同时测试许多变体,而固定分配会使样本在表现不佳的臂上过于分散。
  • 当与预先注册的停止规则结合使用时,尽管是非固定分配,也能产生有效的统计推断。
  • 与贝叶斯更新自然集成,能够在试验的任何时候透明地量化不确定性和证据。
  • 对上下文具有灵活性——适用于在线实验、临床试验(响应式自适应随机化)和行为实地实验。

应用

  • 在线产品实验——在测试期间将网络流量导向转化率更高的网页变体,以最大程度地减少因劣质设计造成的收入损失。
  • 数字健康干预——在远程或基于应用程序的临床试验中,自适应地将患者分配到更有效的治疗组。
  • 电子邮件和推送通知活动——动态地将消息发送转向具有更高打开率或点击率的主题行或内容变体。
  • 教育技术——根据学习结果信号,实时将学生分配到更有效的教学变体。
  • 定价和推荐系统——测试多个定价水平或推荐算法,同时在测试期间引导用户选择表现更好的选项。

使用方式

使用方式

1

研究人员指定要比较的变体(通常是网页、消息、治疗或产品的两个或多个版本)、主要结果指标(例如,转化率、点击率、任务完成率)、最小可检测效应大小和停止规则——可以是固定期限(最大样本量)或序贯边界(预先注册的alpha消耗规则)。

2

每个变体都被赋予对其性能的先验信念,表示为预期结果的概率分布(例如,二元结果的Beta分布)。在频率派的UCB方法中,初始置信区间设置得较宽以反映同等的不确定性。所有变体都以相等或接近相等的分配开始,以确保早期有足够的探索。

3

在每个决策周期——可以是每个新参与者、每批参与者或每个时间单位——自适应算法决定如何分配下一个单位的流量。在汤普森抽样下,从每个变体当前的后验分布中抽取一个成功概率,并将下一个单位分配给抽样值最高的变体;在UCB下,选择具有最高上限置信区间的变体。此步骤在整个实验中持续重复。

4

每次观察后,记录结果并更新所选变体的信念分布(贝叶斯后验更新)或重新计算其置信区间(频率派更新)。更新后的信念立即为下一个分配决策提供信息,因此设计通过累积证据逐步学习。

5

当达到预先注册的准则时实验停止:要么达到最大样本量,要么跨越序贯边界,要么一个变体是最好的后验概率超过预设阈值(例如95%)。停止规则必须在数据收集之前声明,以控制因持续监测而导致的I类错误膨胀。

6

研究人员报告每个变体的估计效应大小和不确定性、分配给每个变体的参与者比例以及相对于固定分配基准的总体指标增益。推断性陈述使用预先注册的停止规则框架(频率派或贝叶斯)而不是传统的期末t检验,因为后者不考虑自适应分配。

常见陷阱

  • 在没有停止规则的情况下偷看——在没有预先注册的alpha消耗规则的情况下,持续监测结果并在首次达到显著性时停止,会大大增加I类错误率;务必预先注册停止准则。
  • 忽略延迟结果——如果结果指标滞后于治疗(例如,今天分配的变体的30天保留率),算法会根据不完整的数据进行更新并错误分配;使用考虑延迟反馈的设计或切换到固定设计。
  • 应用固定分配分析——在自适应分配后报告期末t检验的标准置信区间或p值会产生有偏估计;使用似然比序贯检验、后验可信区间或离策略校正估计器。
  • 适应所需的观察次数过少——在总样本量非常小的情况下,算法在实验结束前几乎没有改变分配;在小样本设置中,平衡随机设计更有效。
  • 将探索目标与推断目标混淆——自适应分配在试验期间优化总体结果;如果唯一目标是精确估计每个变体的效应,则固定平衡设计提供更窄的标准误差。

常见问题

自适应A/B测试在统计学上是否有效?

是的,前提是停止规则和分析方法经过预先注册并与自适应设计匹配。在自适应分配后,标准t检验和固定样本置信区间是无效的。有效的替代方法包括alpha消耗序贯检验(例如,O'Brien–Fleming边界)、带有贝叶斯可信区间的汤普森抽样,或逆倾向加权等离策略校正估计器。关键的原则是在数据收集开始前确定停止规则。

这与标准多臂实验有何不同?

标准多臂实验在整个试验过程中以固定比例(通常是均等)将参与者分配给变体,并在结束时分析所有数据。自适应A/B测试在试验期间根据累积的结果数据持续更新分配比例,因此表现更好的臂会随着时间的推移获得更多参与者。推断机制必须考虑这种非固定分配,而标准多臂分析假设固定随机化。

什么是汤普森抽样,它为何受欢迎?

汤普森抽样是一种贝叶斯算法,它在每个决策步骤从每个变体的后验分布中抽取一个性能估计,并将下一个单位分配给抽样值最高的变体。它之所以受欢迎,是因为它易于实现,自然地权衡了探索和利用,并且在理论和实践上都被证明可以实现接近最优的累积结果。对于二元结果,它使用共轭Beta分布,使得后验更新成为一行计算。

我何时应该坚持使用经典的固定分配A/B测试?

在以下情况下使用固定设计:结果显著延迟(反馈滞后超过决策间隔);样本量小,算法无法有效适应;监管要求强制平衡分配(例如,某些III期临床试验);或唯一目标是精确效应估计而不是在试验期间最大化结果。在这些情况下,平衡随机对照设计提供更清晰的推断和更简单的分析。

自适应A/B测试可以用于两个以上的变体吗?

是的。多臂老虎机框架自然地扩展到任意数量的臂(变体)。在多臂设置中,当变体很多时,自适应分配尤其有价值,因为固定等量分配会使样本在表现不佳的臂上非常分散。汤普森抽样、UCB和连续拒绝等算法可以直接扩展到多臂设置。

相关方法

参考文献

  1. Russo, D., Van Roy, B., Kazerouni, A., Osband, I., & Wen, Z. (2018). A Tutorial on Thompson Sampling. Foundations and Trends in Machine Learning, 11(1), 1–96.

    打开 DOI 文献
    已复制。
  2. Offer-Westort, M., Coppock, A., & Green, D. P. (2021). Adaptive Experimental Design: Prospects and Applications in Political Science. American Journal of Political Science, 65(4), 826–844.

    打开 DOI 文献
    已复制。