Test A/B bloqué — Test fractionné randomisé par blocs
- Introduite par
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- Année
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- Type
- Randomized controlled experiment with variance reduction
- Famille
- Experimental design
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Un test A/B bloqué est une conception expérimentale qui partitionne les unités (utilisateurs, sujets ou grappes) en blocs homogènes avant de les assigner aléatoirement au traitement A ou au traitement B au sein de chaque bloc.
Le blocage réduit le bruit intra-expérimental en garantissant que les sources de variation connues — telles que le type d'appareil, la géographie ou l'ancienneté de l'utilisateur — sont équilibrées entre les conditions, ce qui permet d'obtenir des estimations plus précises de l'effet du traitement qu'un simple test A/B non bloqué.
L’intuition derrière la méthode
Imaginez tester une nouvelle couleur de bouton de paiement sur un site de commerce électronique. Les taux d'achat diffèrent nettement entre les utilisateurs mobiles et de bureau, de sorte qu'une division aléatoire naïve pourrait accidentellement attribuer plus d'utilisateurs mobiles à une variante. Le blocage résout ce problème : divisez d'abord tous les utilisateurs en blocs mobiles et de bureau, puis tirez à pile ou face au sein de chaque bloc pour attribuer A ou B. Désormais, les deux variantes voient des parts proportionnellement égales d'utilisateurs mobiles et de bureau. La comparaison des traitements est effectuée au sein des blocs, de sorte que la variation due à l'appareil est retirée du terme d'erreur, ce qui rend l'expérience plus sensible à l'effet réel de la couleur du bouton.
Histoire
Le principe du blocage dans la conception expérimentale a été formalisé par R. A. Fisher dans son article de 1926 sur l'agencement des expériences de terrain et développé davantage dans son livre de 1935 The Design of Experiments. Fisher a introduit le blocage comme un moyen d'isoler et d'éliminer les sources connues d'hétérogénéité, améliorant ainsi la précision des comparaisons de traitements. L'approche a ensuite été codifiée dans le plan en blocs complets randomisés (RCBD). Dans les années 2000 et 2010, les entreprises technologiques ont adapté le blocage aux tests A/B en ligne à grande échelle, en utilisant des attributs d'utilisateur tels que le type d'appareil ou l'âge du compte comme variables de blocage pour obtenir des estimations causales plus fiables à partir d'expériences web.
Quand l’utiliser
Utilisez un test A/B bloqué lorsque vous savez à l'avance qu'une covariable (type d'appareil, segment d'utilisateurs, région géographique, période) est corrélée avec votre métrique principale et que vous voulez éviter que le déséquilibre sur cette covariable n'augmente votre estimation d'erreur. Il est particulièrement utile lorsque les tailles d'échantillon sont modérées et que vous ne pouvez pas vous permettre la variance que la randomisation simple laisserait. N'utilisez pas le blocage lorsque vous n'avez pas de covariables pronostiques significatives — la surcharge est inutile et les contraintes de taille de bloc peuvent réduire la puissance. Évitez-le lorsque la variable de blocage est trop fine pour produire des blocs avec au moins quelques unités par condition, ou lorsque l'appartenance au bloc ne peut pas être déterminée avant l'attribution.
Limites et points d’attention
- Nécessite une pré-identification des variables de blocage ; les variables non connues ou non mesurées avant l'attribution ne peuvent pas être utilisées pour le blocage.
- De très petites tailles de bloc (par exemple, seulement 2 à 4 unités par bloc) réduisent la fiabilité de la randomisation intra-bloc et peuvent nuire à la puissance plutôt que de l'améliorer.
- L'analyse est plus complexe qu'un simple test t à deux échantillons ; la structure de bloc doit être correctement incorporée dans le modèle statistique.
- Le blocage sur la mauvaise variable (une variable non corrélée avec le résultat) n'apporte aucune réduction de variance et ajoute une surcharge analytique.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Réduit la variance de l'erreur expérimentale attribuable aux covariables pronostiques connues, augmentant la puissance statistique sans augmenter la taille de l'échantillon.
- Protège contre un déséquilibre accidentel des covariables qui pourrait biaiser les estimations de l'effet du traitement dans des échantillons finis.
- Les estimations de bloc peuvent elles-mêmes fournir des informations utiles sur les effets hétérogènes du traitement entre les segments.
- Largement pris en charge par les progiciels statistiques standard (ANOVA, régression avec indicateurs, modèles mixtes).
- Directement analogue à la conception en blocs de référence utilisée dans la recherche clinique et agricole, ce qui confère à l'approche une forte crédibilité méthodologique.
Applications
- Expériences de produits en ligne bloquant par type d'appareil (mobile vs. ordinateur de bureau) ou plateforme pour comparer les variantes d'interface utilisateur.
- Études pilotes cliniques bloquant par site clinique ou gravité de base pour comparer deux protocoles de traitement.
- Expériences en technologie éducative bloquant par école ou niveau scolaire pour évaluer l'effet d'un nouvel outil d'apprentissage.
- Tests d'e-mails marketing bloquant par étape du cycle de vie du client pour mesurer l'impact des variantes de ligne d'objet sur les taux d'ouverture.
- Études agricoles et environnementales bloquant par emplacement de champ ou type de sol pour comparer les variétés de cultures ou les interventions.
Comment ça marche
Comment ça marche
Spécifiez l'hypothèse (par exemple, la variante B augmente le taux de conversion), choisissez la métrique principale et identifiez les variables de blocage — caractéristiques connues ou suspectées d'influencer le résultat. Les bonnes variables de blocage sont mesurables avant l'attribution du traitement, corrélées avec le résultat et non causées par le traitement lui-même.
Partitionnez toutes les unités éligibles en blocs mutuellement exclusifs et exhaustifs, basés sur les variables de blocage choisies. Chaque bloc regroupe des unités aussi similaires que possible sur ces variables. Le nombre de blocs doit rester gérable ; un blocage très fin peut réduire la puissance statistique si la taille des blocs devient trop petite.
Au sein de chaque bloc, attribuez aléatoirement les unités à la condition A (contrôle) ou à la condition B (traitement) avec une probabilité égale (ou pré-spécifiée). Cette randomisation intra-bloc est l'étape centrale qui rend la conception à la fois équitable et analytiquement traitable. Enregistrez l'appartenance au bloc pour chaque unité avant le début de l'exposition.
Délivrez la variante assignée à chaque unité pendant toute la période expérimentale. Maintenez la séparation entre les conditions pour éviter la contamination. Collectez les données de résultat ainsi que les identifiants de bloc afin que la structure de bloc soit préservée jusqu'à la phase d'analyse.
Analysez les résultats en utilisant un modèle qui tient compte des blocs — typiquement une ANOVA à deux facteurs ou une régression avec des indicateurs de bloc comme covariables, ou l'équivalent de comparaison appariée si les blocs contiennent exactement une unité par condition. Les termes de bloc absorbent la variance attribuable à la variable de blocage, ce qui permet une estimation plus propre de l'effet du traitement et un intervalle de confiance plus étroit.
Pièges courants
- Ignorer la structure de bloc au moment de l'analyse — exécuter un test t ordinaire sans indicateurs de bloc annule la réduction de variance que le blocage était censé apporter et peut gonfler la valeur p.
- Le blocage post-hoc — définir des blocs après avoir observé les résultats introduit un biais et n'est pas une conception bloquée valide.
- Un sur-blocage avec trop de variables de blocage produit des tailles de bloc minuscules et peu pratiques et peut annuler les gains statistiques de la conception.
- Confondre le blocage avec l'échantillonnage stratifié — le blocage est un mécanisme d'attribution appliqué à une population fixe d'unités expérimentales, et non une stratégie d'échantillonnage.
Questions fréquentes
Quelle est la différence entre un test A/B bloqué et un test A/B stratifié ?
Les termes sont souvent utilisés de manière interchangeable dans des contextes appliqués. Strictement, le blocage est un concept de conception (attribution d'unités au sein de groupes) tandis que la stratification peut se référer à la conception ou à l'analyse (repondération post-hoc). Dans un test A/B bloqué, la randomisation se produit séparément au sein de chaque bloc avant l'exposition. Dans une analyse stratifiée, vous avez peut-être randomisé sans blocage mais repondéré ou ajusté post-hoc par strate. Le blocage au moment de la conception est généralement plus puissant que la stratification au moment de l'analyse.
Comment choisir les variables sur lesquelles bloquer ?
Bloquez sur les variables qui (1) peuvent être mesurées avant d'attribuer le traitement, (2) sont censées être corrélées avec la métrique de résultat principale, et (3) ne sont pas causées par le traitement lui-même. Les choix courants dans les expériences en ligne incluent le type d'appareil, la cohorte d'ancienneté de l'utilisateur et la région géographique. Évitez de bloquer sur des variables avec de nombreuses catégories à moins que votre échantillon ne soit suffisamment grand pour maintenir des tailles de bloc adéquates.
Le blocage modifie-t-il les exigences en matière de taille d'échantillon ?
Le blocage peut réduire la taille d'échantillon nécessaire pour atteindre un niveau de puissance donné, car il supprime la variance attribuable à la variable de blocage du terme d'erreur. Le gain d'efficacité dépend de la force de la corrélation entre la variable de blocage et le résultat. Si la corrélation est faible, le blocage n'apporte que peu d'avantages et un simple test A/B peut nécessiter moins de ressources analytiques.
Puis-je utiliser une conception bloquée avec plus de deux variantes ?
Oui. Lorsqu'il y a plus de deux conditions, la conception est appelée une expérience multi-bras bloquée ou une conception en blocs complets randomisés avec plusieurs traitements. Les unités au sein de chaque bloc sont assignées aléatoirement à l'une des k conditions. L'analyse se généralise à l'ANOVA ou à la régression avec des indicateurs de bloc et de traitement, suivie de comparaisons planifiées ou post-hoc.
Que se passe-t-il si j'oublie d'inclure les indicateurs de bloc dans mon analyse ?
Omettre les indicateurs de bloc signifie que la réduction de variance due au blocage est perdue. Pire encore, si les tailles de bloc sont inégales, l'estimation naïve peut être biaisée. Incluez toujours des effets fixes de bloc (ou un terme d'effets aléatoires) dans le modèle statistique pour respecter la conception bloquée et récupérer les gains d'efficacité.
Méthodes associées
Sources
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
Ouvrir la référence de la publicationCopié.Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN : 9781108724265Copié.