ブロック化A/Bテスト — ブロックランダム化分割テスト
- 提唱者
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- 年
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- 種類
- Randomized controlled experiment with variance reduction
- 系統
- Experimental design
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
ブロック化A/Bテストとは、実験単位(ユーザー、被験者、またはクラスター)を、ランダムに処置Aまたは処置Bに割り当てる前に、均質なブロックに分割する実験デザインである。ブロック化は、デバイスタイプ、地理的場所、またはユーザーの利用期間などの既知の変動源が条件間で均衡するようにすることで、実験内のノイズを低減し、単純なブロック化されていないA/Bテストよりも処置効果のより正確な推定値をもたらす。
手法の背後にある直感
Eコマースサイトで新しいチェックアウトボタンの色をテストすることを想像してください。購入率はモバイルユーザーとデスクトップユーザーの間で著しく異なるため、単純なランダム分割では一方のバリアントに偶然より多くのモバイルユーザーが割り当てられる可能性があります。ブロック化はこの問題を解決します。まず、すべてのユーザーをモバイルとデスクトップのブロックに分割し、次に各ブロック内で公正なコインを投げてAまたはBを割り当てます。これにより、両方のバリアントがモバイルユーザーとデスクトップユーザーのほぼ均等な割合を占めるようになります。処置の比較はブロック内で行われるため、デバイス駆動の変動は誤差項から除去され、実験はボタン色の実際の効果に対してより敏感になります。
歴史学
実験デザインにおけるブロック化の原則は、R. A. Fisherによって1926年のフィールド実験配置に関する論文で形式化され、1935年の著書『The Design of Experiments』でさらに発展した。Fisherは、既知の不均一性の源を分離し除去する方法としてブロック化を導入し、それによって処置比較の精度を向上させた。このアプローチはその後、ランダム化完全ブロックデザイン(RCBD)として成文化された。2000年代から2010年代にかけて、テクノロジー企業は、ユーザー属性(デバイスタイプやアカウント年齢など)をブロック変数として使用し、ウェブ実験からより信頼性の高い因果推定値を得るために、ブロック化を大規模オンラインA/Bテストに適用した。
使うべき場面
共変量(デバイスタイプ、ユーザーセグメント、地理的地域、期間)が主要指標と相関していることが事前にわかっており、その共変量における不均衡が誤差推定値を膨張させるのを防ぎたい場合に、ブロック化A/Bテストを使用する。これは、サンプルサイズが中程度で、単純なランダム化が残す分散を許容できない場合に特に価値がある。意味のある予後的共変量がない場合はブロック化を使用しない。その場合、オーバーヘッドは不要であり、ブロックサイズの制約が検出力を低下させる可能性がある。ブロック変数が細かすぎて各条件に少なくとも数単位を含むブロックが得られない場合、またはブロックメンバーシップが割り当て前に決定できない場合は回避する。
限界と注意点
- ブロック変数の事前特定が必要。割り当て前に知られていない、または測定されていない変数はブロックに使用できない。
- 非常に小さいブロックサイズ(例:ブロックあたりわずか2〜4単位)は、ブロック内ランダム化の信頼性を低下させ、助けになるどころか検出力を損なう可能性がある。
- 分析は単純な2標本t検定よりも複雑である。ブロック構造を統計モデルに正しく組み込む必要がある。
- 間違った変数(結果と相関しない変数)でブロック化しても分散低減は得られず、分析オーバーヘッドが増加する。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 既知の予後的共変量に起因する実験誤差分散を低減し、サンプルサイズを増やさずに統計的検出力を向上させる。
- 有限サンプルにおける処置効果推定値の偏りを引き起こす可能性のある偶発的な共変量不均衡を防ぐ。
- ブロック推定値自体が、セグメント間の異質な処置効果に関する有用な洞察を提供する可能性がある。
- 標準的な統計パッケージ(分散分析、指標を用いた回帰、混合モデル)で広くサポートされている。
- 臨床および農業研究で使用される標準的なブロックデザインに直接類似しており、アプローチに強力な方法論的信頼性を与える。
応用
- UIバリアントを比較するために、デバイスタイプ(モバイル対デスクトップ)またはプラットフォームでブロック化されたオンライン製品実験。
- 2つの処置プロトコルを比較するために、臨床サイトまたはベースライン重症度でブロック化された臨床パイロットスタディ。
- 新しい学習ツールの効果を評価するために、学校または学年でブロック化された教育テクノロジー実験。
- 件名行のバリアントが開封率に与える影響を測定するために、顧客ライフサイクル段階でブロック化されたマーケティングメールテスト。
- 作物品種または介入を比較するために、フィールドの場所または土壌タイプでブロック化された農業および環境研究。
使い方
使い方
仮説(例:バリアントBはコンバージョン率を増加させる)を指定し、主要な指標を選択し、結果に影響を与えることが知られている、または疑われる特性であるブロック変数(群変数)を特定する。良好なブロック変数は、処置割り当ての前に測定可能であり、結果と相関があり、処置自体によって引き起こされないものである。
選択されたブロック変数に基づいて、すべての適格な単位を相互に排他的で網羅的なブロックに分割する。各ブロックは、それらの変数に関して可能な限り類似した単位をグループ化する。ブロックの数は管理可能な範囲に保つべきである。非常に細かいブロック化は、ブロックサイズが小さくなりすぎると統計的検出力を低下させる可能性がある。
各ブロック内で、単位を等しい(または事前に指定された)確率で条件A(対照)または条件B(処置)にランダムに割り当てる。このブロック内ランダム化は、デザインを公正かつ分析可能にする中核的なステップである。暴露が始まる前に、各単位のブロックメンバーシップを記録する。
実験期間全体を通じて、各単位に割り当てられたバリアントを提供する。汚染を防ぐために、条件間の分離を維持する。ブロック識別子とともに結果データを収集し、分析段階までブロック構造が維持されるようにする。
ブロックを考慮したモデル(通常は二元配置分散分析またはブロック指標を共変量とする回帰分析、あるいは各ブロックに条件ごとにちょうど1単位が含まれる場合のペア比較等価法)を使用して結果を分析する。ブロック項は、ブロック変数に起因する分散を吸収し、処置効果のよりクリーンな推定値とよりタイトな信頼区間をもたらす。
よくある落とし穴
- 分析時にブロック構造を無視すること(ブロック指標なしで通常のt検定を実行すること)は、ブロック化が意図していた分散低減を失わせ、p値を膨張させる可能性がある。
- 事後ブロック化(結果を見てからブロックを定義すること)は偏りを導入し、有効なブロック化デザインではない。
- 多すぎるブロック変数での過剰なブロック化は、小さく非実用的なブロックサイズを生み出し、デザインの統計的利点をなくす可能性がある。
- ブロック化と層別サンプリングの混同。ブロック化は、実験単位の固定された母集団に適用される割り当てメカニズムであり、サンプリング戦略ではない。
よくある質問
ブロック化A/Bテストと層別A/Bテストの違いは何ですか?
これらの用語は、応用設定ではしばしば同義的に使用される。厳密には、ブロック化はデザイン概念(グループ内での単位の割り当て)であり、層別化はデザインまたは分析(事後再重み付け)のいずれかを指すことができる。ブロック化A/Bテストでは、暴露前に各ブロック内でランダム化が行われる。層別分析では、ブロック化せずにランダム化したが、事後に層別によって再重み付けまたは調整する可能性がある。デザイン時のブロック化は、一般的に分析時の層別化よりも強力である。
どの変数でブロック化するかをどうやって選びますか?
(1)処置を割り当てる前に測定できる、(2)主要な結果指標と相関すると予想される、(3)処置自体によって引き起こされない変数でブロック化する。オンライン実験で一般的な選択肢には、デバイスタイプ、ユーザー利用期間コホート、地理的地域が含まれる。カテゴリが多い変数は、十分なブロックサイズを維持するのに十分なサンプルサイズがない限り、ブロック化を避ける。
ブロック化はサンプルサイズの要件を変更しますか?
ブロック化は、ブロック変数に起因する分散を誤差項から除去するため、所定の検出レベルを達成するために必要なサンプルサイズを削減できる。効率の向上は、ブロック変数が結果とどれだけ強く相関しているかに依存する。相関が低い場合、ブロック化による利益はほとんどなく、単純なA/Bテストの方が分析リソースが少なく済む可能性がある。
2つ以上のバリアントでブロック化デザインを使用できますか?
はい。3つ以上の条件がある場合、そのデザインはブロック化多腕実験または多重処置を有するランダム化完全ブロックデザインと呼ばれる。各ブロック内の単位は、k個の条件のいずれかにランダムに割り当てられる。分析は、ブロックおよび処置指標を用いた分散分析または回帰分析に一般化され、その後、計画的または事後的な比較が行われる。
分析にブロック指標を含めるのを忘れた場合はどうなりますか?
ブロック指標を省略すると、ブロック化による分散低減が失われる。さらに悪いことに、ブロックサイズが不均等な場合、単純な推定値が偏る可能性がある。ブロック化デザインを尊重し、効率の向上を回復するために、常に統計モデルにブロック固定効果(またはランダム効果項)を含める。
関連する手法
参考文献
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
出版物の文献を開くコピーしました。Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN:9781108724265コピーしました。