Skip to content
検索結果に戻る

要因付きA/Bテスト — 多要因オンライン制御実験

提唱者
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
年
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
種類
Controlled online/field experiment
系統
Experimental design

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

要因付きA/Bテストは、2つ以上の独立した要因を同時に操作し、各要因を2つ以上の水準で変化させる制御されたオンライン実験であり、異なるユーザーグループに要因水準の全ての組み合わせを提示する。フィッシャーの要因計画法に根差し、テクノロジー企業によって大規模に運用されているこの手法は、研究者が単一の実験実行で、各要因の独立した主効果と要因間の交互作用効果の両方を推定することを可能にする。

手法の背後にある直感

新しい見出しがコンバージョンを改善するかどうか、そして新しいボタンの色が役立つかどうかを知りたいが、その二つの変更が相互作用する可能性もあると疑っているとしよう。単純なA/Bテストは一度に一つの質問にしか答えられないが、要因付きA/Bテストは全ての組み合わせを一度に実行し(古い見出し+古いボタン、古い見出し+新しいボタン、新しい見出し+古いボタン、新しい見出し+新しいボタン)、どの要因が重要かだけでなく、それらの効果が増幅されるか打ち消し合うかを知ることができる。同じトラフィックでより多くの回答を得られ、二つの変更を組み合わせたときに個々の利点が失われるという落とし穴を避けることができる。

歴史学

要因実験の数学的基礎は、1920年代から1930年代にかけてロスサムステッド実験ステーションのロナルド・A・フィッシャーとフランク・イェーツによって築かれ、フィッシャーの『実験計画法』(1935年)に成文化された。長年、この手法は主に農業、製造業、臨床試験で使用されてきた。2000年代に大規模オンラインプラットフォームの台頭とともに、Google、Microsoft、Amazonは、数百万人のユーザーに対する複数の製品変更の迅速な同時評価を可能にする要因付きA/Bテストとしてこのアプローチを工業化した。Kohaviらの2020年のハンドブックは、現在の業界の実践を体系化した。

使うべき場面

単一の実験で2つ以上の独立した変更を評価する必要があり、それらの要因が相互作用する可能性があると疑う理由がある場合に、要因付きA/Bテストを使用する。これは、トラフィックが全てのセルを同時にサポートするのに十分な場合に適切な選択である — 目安としては、標準的なA/Bテストと同じセルあたりのサンプルサイズが必要で、それがセルの数だけ乗算される。トラフィックが少なく、全てのセルをサポートできない場合は使用しない。その場合は、代わりに逐次的なA/Bテストを実行する。要因が完全に独立しており、交互作用効果が理論的にあり得ないとわかっている場合は避ける — その場合、個別のA/Bテストの方がコミュニケーションが容易である。また、部分要因計画法を使用せずに4つまたは5つ以上の要因が関わる場合は避ける。なぜなら、セルの数と解釈の複雑さが組み合わせ的に増大するためである。

限界と注意点

  • サンプルサイズ要件はセルの数に応じてスケールする。2×2×2設計では、単純な2群テストのセルあたりのNの8倍が必要であり、低トラフィック製品では実行不可能な場合がある。
  • 高次の交互作用(3者間、4者間)は解釈が難しく、大規模な実験でもパワー不足になることが多い。
  • 結果は、実験のユーザー集団とコンテキストに固有であり、異なるプラットフォーム、季節、または市場全体に一般化されない可能性がある。
  • 交互作用効果の分析と伝達には、ステークホルダーが持っていない可能性のある統計的な洗練さが必要である。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 単一の実験で複数の要因をテストし、逐次的なA/Bテストと比較して、総暦時間とトラフィックコストを削減する。
  • 逐次テストでは明らかにできない交互作用効果を検出し定量化し、組み合わせた際の利点が積み重ならないことを防ぐ。
  • 完全要因計画法は統計的に効率的である — 直交要因割り当ては、主効果と交互作用が独立して推定されることを意味する。
  • 明確で事前に定義された分析計画をサポートし、標準的な頻度論的(分散分析、回帰)およびベイズ推論フレームワークと互換性がある。
  • 業界(テクノロジー、eコマース、製薬)で広く採用されており、設計と分析に関する成熟した文献に裏打ちされている。

応用

  • ランディングページで、見出しのコピーとヒーロー画像を同時にテストし、サインアップ率を最大化する最適な組み合わせを特定する。
  • 2つの件名行バリアントと2つの送信時間バリアントをクロスさせて、オープン率を駆動する際にタイミングがメッセージングと相互作用するかどうかを判断するために実行する。
  • 2×2の臨床試験を実施し、参加者を同時に薬剤対プラセボ、および行動介入対標準治療にランダムに割り当てる。
  • ボタンの配置とフォームの長さを同時に変化させて、チェックアウトフローを最適化し、カート放棄率が最も低いセルを見つける。
  • ストリーミングプラットフォームの視聴時間に対するレコメンデーションアルゴリズムと表示レイアウトの共同影響を評価する。
  • 投与経路と用量レベルをクロスさせて、単一プロトコルで主効果と交互作用を推定する製薬用用量反応研究。

使い方

使い方

1

テストする独立要因(変数)を特定し、各要因が取る離散的な水準を指定する。2×2の要因付きA/Bテストでは、各水準が2つの要因があり、4つの処理セルが生成される。より大きな設計(2×2×2、3×2など)も可能だが、サンプルサイズ要件が比例して増加する。

2

要因水準の全ての組み合わせを列挙する — これらが実験セルまたはアームである。完全要因計画法では全ての組み合わせが含まれるが、セルの数が法外に多い場合は、より少ない実験と引き換えに高次の交互作用を推定する能力を犠牲にする部分要因計画法が使用されることがある。

3

ユーザー(またはセッション)は、通常、安定したユーザー識別子のハッシュをセルの数で割ったもので決定される方法を用いて、正確に1つのセルにランダムに割り当てられ、バランスの取れた独立した割り当てが保証される。ランダム化は選択バイアスを除去し、要因付きA/Bテストを観察的多変数解析と区別する特徴である。

4

実験は、各セルあたりの目標サンプルサイズを達成し、週次の季節性効果を考慮するのに十分な期間(通常は少なくとも1週間)実行される。結果指標(コンバージョン率、ユーザーあたりの収益、エンゲージメント時間など)は、露出ウィンドウ全体を通じて、ユーザーまたはセッションレベルで各セルについて記録される。

5

主要な分析では、要因分散分析または回帰フレームワークを使用し、分散を主効果(要因ごとに1つ)と交互作用効果(要因のペアごとに1つ、完全要因計画法の場合は高次の項も)に分割する。効果量、信頼区間、および多重比較調整済みp値(例:ボンフェローニまたはベンジャミニ・ホッホバーグ)が各推定効果について報告される。

6

主効果と交互作用のパターンを解釈する。有意な交互作用が存在する場合、主効果だけでは誤解を招く可能性がある — 最適な組み合わせは、各要因の周辺平均からではなく、セル平均から特定する必要がある。最適なセル(またはセル群)は、その後、全ユーザーの100%に展開される。

よくある落とし穴

  • 有意な交互作用の無視 — 交互作用が存在する場合に主効果のみを報告すると、誤った推奨につながる。個々の要因効果を解釈する前に、必ず交互作用プロットを確認すること。
  • 個々のセルのパワー不足 — 設計者は、しばしば実験全体ではなく、セルごとのパワーを計算するため、実験が各アームの効果を確実に検出できない結果となる。
  • 要因の非独立性 — ある要因水準の実装が別の要因の意味を変える場合(例:テスト中のボタンを隠すレイアウト変更)、要因の直交性の仮定が破られ、交互作用の推定値は無意味になる。
  • 部分要因計画法を使用せずに多くの要因を実行すること — 多くの要因を持つ計画外の完全要因計画法は、扱いにくい数のセルを作成し、多くの効果をテストする際に偽発見率を増加させる。
  • 新規性効果 — 短期間のオンライン実験では、ユーザー行動は安定した好みではなく、変化に対する好奇心を反映する可能性があり、完全ロールアウト後も持続しない効果推定値を誇張する。

よくある質問

要因付きA/Bテストは、複数の独立したA/Bテストを実行することとどのように異なりますか?

逐次的なA/Bテストでは、2つの要因が相互作用するかどうかを検出できません — 各変更が個別にコンバージョンを改善するとわかっても、両方を展開すると実際にはパフォーマンスが悪化する可能性があります。要因付きA/Bテストは、全ての組み合わせを同時に実行するため、交互作用効果を直接推定します。また、十分なトラフィックがあれば、シーケンスではなく1つの実験で全てをテストするため、より速く完了します。

いつ、完全要因計画法ではなく部分要因計画法を使用すべきですか?

完全要因計画法は、全ての要因水準の全ての組み合わせをテストします。要因の数が多い場合(通常は5つ以上)、セルの数が非現実的に多くなります。部分要因計画法は、戦略的に選択されたセルのサブセットのみをテストします — 主効果と低次の交互作用を推定するのに十分ですが、実質的に重要であることが少ない高次の交互作用に関する情報は犠牲になります。多くの要因と限られたトラフィックがある場合は、部分要因計画法または逐次テスト戦略を検討してください。

要因付きA/Bテストで複数の比較をどのように扱いますか?

各主効果と各交互作用項は、個別の仮説です。調整なしでは、ファミリーワイズ偽発見率がテスト数の増加とともに増加します。一般的なアプローチには、ボンフェローニ補正(保守的で、ファミリーワイズエラーを制御する)、ベンジャミニ・ホッホバーグ手順(偽発見率を制御し、より多くのパワーがある)、または全ての効果にわたって不確実性を自然に伝播するベイズフレームワークが含まれます。補正方法は、分析計画で事前に指定する必要があります。

どのくらいのサンプルサイズが必要ですか?

一般的なルールは、各セルを2群A/Bテストと同じようにパワーを計算することです — 期待される効果量と望ましいパワーに必要なNを計算し、それをセルの総数で乗算します。2×2設計の場合、標準的なA/Bテストの各アームあたりのNの4倍を意味します。全てのセルをパワー化することが不可能な場合は、部分要因計画法または要因数を減らすことを検討してください。

要因付きA/Bテストをペアごとの単純なt検定で分析できますか?

いいえ。セル間のペアごとのt検定は、要因構造を無視し、偽発見率を増加させ、そして最も重要なことに、交互作用効果を推定しません。正しい分析は、要因分散分析または各要因とその積(交互作用項)の指示変数を持つ同等の回帰モデルです。このアプローチのみが、分散を主効果と交互作用に正しく分割します。

関連する手法

参考文献

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN:978-1108724265
    コピーしました。
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    ISBN:978-1119113478
    コピーしました。