Skip to content
Retour aux résultats

Test A/B Factoriel — Expérience Contrôlée en Ligne Multi-Facteurs

Introduite par
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
Année
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
Type
Controlled online/field experiment
Famille
Experimental design

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Un test A/B factoriel est une expérience en ligne contrôlée qui manipule simultanément deux facteurs indépendants ou plus, chacun à deux niveaux ou plus, exposant différents groupes d'utilisateurs à chaque combinaison de niveaux de facteurs.

Issu de la conception factorielle de Fisher et opérationnalisé à grande échelle par les entreprises technologiques, il permet aux chercheurs d'estimer à la fois l'effet principal indépendant de chaque facteur et les effets d'interaction entre les facteurs — le tout à partir d'une seule exécution expérimentale.

L’intuition derrière la méthode

Supposons que vous souhaitiez savoir si un nouveau titre améliore les conversions, et aussi si une nouvelle couleur de bouton aide — mais vous suspectez également que les deux changements pourraient interagir. Un simple test A/B peut répondre à une question à la fois ; un test A/B factoriel exécute toutes les combinaisons simultanément (titre ancien + bouton ancien, titre ancien + bouton nouveau, titre nouveau + bouton ancien, titre nouveau + bouton nouveau) et vous indique non seulement quels facteurs sont importants, mais aussi si leurs effets s'amplifient ou s'annulent mutuellement. Vous obtenez plus de réponses avec le même trafic, et vous évitez le piège de déployer deux changements dont les bénéfices individuels disparaissent lorsqu'ils sont combinés.

Histoire

Les fondements mathématiques de la planification factorielle ont été posés par Ronald A. Fisher et Frank Yates à la Rothamsted Experimental Station dans les années 1920 et 1930, codifiés dans The Design of Experiments (1935) de Fisher. Pendant des décennies, la méthode a été principalement utilisée dans l'agriculture, la fabrication et les essais cliniques. Avec l'essor des plateformes en ligne à grande échelle dans les années 2000, Google, Microsoft et Amazon ont industrialisé l'approche sous le nom de tests A/B factoriels, permettant l'évaluation simultanée rapide de multiples changements de produits sur des millions d'utilisateurs. Le manuel de Kohavi et al. de 2020 a systématisé les pratiques actuelles de l'industrie.

Quand l’utiliser

Utilisez un test A/B factoriel lorsque vous devez évaluer deux changements indépendants ou plus dans une seule expérience et lorsque vous avez des raisons de suspecter que ces facteurs pourraient interagir. C'est le bon choix lorsque le trafic est suffisant pour alimenter toutes les cellules simultanément — une règle générale est que vous avez besoin du même échantillon par cellule qu'un test A/B standard, multiplié par le nombre de cellules. Ne l'utilisez pas lorsque le trafic est rare et que vous ne pouvez pas alimenter toutes les cellules ; dans ce cas, exécutez des tests A/B séquentiels à la place. Évitez-le lorsque les facteurs sont connus pour être totalement indépendants et que les effets d'interaction sont théoriquement implausibles — dans ce cas, des tests A/B séparés sont plus simples à communiquer. Évitez-le également lorsque plus de quatre ou cinq facteurs sont impliqués sans stratégie factorielle fractionnaire, car le nombre de cellules et la complexité de l'interprétation croissent de manière combinatoire.

Limites et points d’attention

  • Les exigences de taille d'échantillon augmentent avec le nombre de cellules ; une conception 2×2×2 nécessite huit fois la N par cellule d'un test simple à deux bras, ce qui peut être irréalisable pour les produits à faible trafic.
  • Les interactions d'ordre supérieur (à trois voies, à quatre voies) sont difficiles à interpréter et souvent sous-dimensionnées même dans de grandes expériences.
  • Les résultats sont spécifiques à la population d'utilisateurs et au contexte de l'expérience et peuvent ne pas se généraliser à différentes plateformes, saisons ou marchés.
  • L'analyse et la communication des effets d'interaction nécessitent une sophistication statistique que les parties prenantes peuvent ne pas posséder.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Teste plusieurs facteurs dans une seule expérience, réduisant le temps calendaire total et le coût de trafic par rapport aux tests A/B séquentiels.
  • Détecte et quantifie les effets d'interaction que les tests séquentiels ne peuvent révéler, empêchant le déploiement de combinaisons dont les bénéfices ne s'additionnent pas.
  • Les conceptions factorielles complètes sont statistiquement efficaces — l'assignation orthogonale des facteurs signifie que les effets principaux et les interactions sont estimés indépendamment.
  • Prend en charge des plans d'analyse clairs et prédéfinis et est compatible avec les cadres d'inférence fréquentistes standard (ANOVA, régression) et bayésiens.
  • Largement adopté dans l'industrie (technologie, commerce électronique, pharmacie) et soutenu par une littérature mature sur la conception et l'analyse.

Applications

  • Tester simultanément la copie du titre et l'image principale sur une page de destination pour identifier la combinaison gagnante qui maximise le taux d'inscription.
  • Évaluer deux variantes d'objet d'e-mail croisées avec deux variantes d'heure d'envoi pour déterminer si le moment interagit avec le message dans la génération des taux d'ouverture.
  • Mener un essai clinique 2×2 qui randomise simultanément les participants entre le médicament et le placebo, et entre l'intervention comportementale et les soins standards.
  • Optimiser le flux de paiement en faisant varier simultanément le placement des boutons et la longueur du formulaire pour trouver la cellule avec le taux d'abandon de panier le plus bas.
  • Évaluer l'impact conjoint de l'algorithme de recommandation et de la mise en page d'affichage sur le temps de visionnage de la plateforme de streaming.
  • Études de dose-réponse pharmaceutique qui croisent le niveau de dose avec la voie d'administration pour estimer les effets principaux et l'interaction dans un seul protocole.

Comment ça marche

Comment ça marche

1

Identifier les facteurs (variables) indépendants à tester et spécifier les niveaux discrets que chaque facteur prendra. Dans un test A/B factoriel 2×2, il y a deux facteurs chacun à deux niveaux, produisant quatre cellules de traitement. Des conceptions plus larges (2×2×2, 3×2, etc.) sont possibles mais multiplient les exigences de taille d'échantillon proportionnellement.

2

Énumérer toutes les combinaisons de niveaux de facteurs — ce sont les cellules ou bras expérimentaux. Pour une conception factorielle complète, chaque combinaison est incluse ; si le nombre de cellules est prohibitif, une conception factorielle fractionnaire peut être utilisée, sacrifiant la capacité d'estimer les interactions d'ordre supérieur au profit d'une expérience plus petite.

3

Les utilisateurs (ou sessions) sont assignés aléatoirement à exactement une cellule, typiquement en utilisant un hachage d'un identifiant utilisateur stable modulo le nombre de cellules, assurant une allocation équilibrée et indépendante. La randomisation élimine le biais de sélection et est la caractéristique qui distingue un test A/B factoriel de l'analyse multivariée observationnelle.

4

L'expérience est menée pendant une durée prédéterminée — suffisamment longue pour atteindre la taille d'échantillon cible par cellule et pour tenir compte des effets de saisonnalité hebdomadaire (typiquement au moins une semaine complète). Les métriques de résultat (taux de conversion, revenus par utilisateur, temps d'engagement, etc.) sont enregistrées au niveau de l'utilisateur ou de la session pour chaque cellule tout au long de la fenêtre d'exposition.

5

L'analyse primaire utilise un cadre ANOVA factorielle ou de régression qui partitionne la variance en effets principaux (un par facteur) et effets d'interaction (un par paire de facteurs, et termes d'ordre supérieur si la conception est factorielle complète). Les tailles d'effet, les intervalles de confiance et les valeurs p ajustées pour la multiplicité (par exemple, Bonferroni ou Benjamini-Hochberg) sont rapportés pour chaque effet estimé.

6

Interpréter le schéma des effets principaux et des interactions. S'il existe une interaction significative, les effets principaux seuls peuvent être trompeurs — la combinaison gagnante doit être identifiée à partir des moyennes de cellules plutôt qu'à partir de la moyenne marginale de chaque facteur. La cellule (ou les cellules) gagnante est alors déployée à 100 % des utilisateurs.

Pièges courants

  • Ignorer les interactions significatives — rapporter uniquement les effets principaux lorsqu'une interaction est présente produit des recommandations incorrectes ; inspectez toujours les graphiques d'interaction avant d'interpréter les effets des facteurs individuels.
  • Sous-dimensionnement des cellules individuelles — les concepteurs calculent parfois la puissance pour l'expérience complète plutôt que par cellule, ce qui conduit à des expériences qui ne peuvent pas détecter de manière fiable les effets d'intérêt dans chaque bras.
  • Non-indépendance des facteurs — si la mise en œuvre d'un niveau de facteur modifie la signification d'un autre (par exemple, un changement de mise en page qui masque le bouton testé), l'hypothèse factorielle d'orthogonalité est violée et les estimations d'interaction sont dénuées de sens.
  • Exécuter trop de facteurs sans stratégie factorielle fractionnaire — une factorielle complète non planifiée avec de nombreux facteurs crée un nombre de cellules ingérable et augmente le taux de fausses découvertes lorsque de nombreux effets sont testés.
  • Effets de nouveauté — dans les expériences en ligne de courte durée, le comportement des utilisateurs peut refléter la curiosité face au changement plutôt que des préférences stables, gonflant les estimations d'effet qui ne persistent pas après le déploiement complet.

Questions fréquentes

En quoi un test A/B factoriel diffère-t-il de l'exécution de plusieurs tests A/B distincts ?

Les tests A/B séquentiels ne peuvent pas détecter si deux facteurs interagissent — vous pourriez constater que chaque changement améliore la conversion individuellement, mais que le déploiement des deux nuit en fait aux performances. Un test A/B factoriel exécute toutes les combinaisons simultanément, il estime donc directement les effets d'interaction. Il se termine également plus rapidement si vous avez un trafic adéquat, car vous testez tout en une seule expérience plutôt qu'en séquence.

Quand dois-je utiliser une conception factorielle fractionnaire plutôt qu'une conception factorielle complète ?

Une factorielle complète teste chaque combinaison de chaque niveau de facteur. Lorsque le nombre de facteurs est important (typiquement cinq ou plus), le nombre de cellules devient pratiquement ingérable. Une conception factorielle fractionnaire teste seulement un sous-ensemble de cellules choisi stratégiquement — suffisant pour estimer les effets principaux et les interactions d'ordre inférieur, tout en sacrifiant des informations sur les interactions d'ordre supérieur qui sont rarement d'importance pratique. Si vous avez de nombreux facteurs et un trafic limité, envisagez une conception factorielle fractionnaire ou une stratégie de test séquentiel.

Comment gérer les comparaisons multiples dans un test A/B factoriel ?

Chaque effet principal et chaque terme d'interaction est une hypothèse distincte. Sans ajustement, le taux de fausses découvertes global augmente avec le nombre de tests. Les approches courantes incluent la correction de Bonferroni (conservatrice, contrôle l'erreur globale), la procédure de Benjamini-Hochberg (contrôle le taux de fausses découvertes, plus de puissance), ou un cadre bayésien qui propage naturellement l'incertitude à travers tous les effets. La méthode de correction doit être prédéfinie dans le plan d'analyse.

Quelle taille d'échantillon me faut-il ?

Une règle générale consiste à dimensionner chaque cellule comme vous le feriez pour un test A/B à deux bras — calculez le N requis pour votre taille d'effet attendue et la puissance souhaitée, puis multipliez par le nombre total de cellules. Pour une conception 2×2, cela signifie quatre fois le N par bras d'un test A/B standard. Si le dimensionnement de toutes les cellules est irréalisable, envisagez une conception factorielle fractionnaire ou une réduction du nombre de facteurs.

Puis-je analyser un test A/B factoriel avec un simple test t par paire ?

Non. Les tests t par paire entre cellules ignorent la structure factorielle, gonflent le taux de fausses découvertes et — plus important encore — n'estiment pas les effets d'interaction. L'analyse correcte est une ANOVA factorielle ou un modèle de régression équivalent avec des variables indicatrices pour chaque facteur et leurs produits (termes d'interaction). Seule cette approche partitionne correctement la variance en effets principaux et interactions.

Méthodes associées

Sources

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN : 978-1108724265
    Copié.
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    ISBN : 978-1119113478
    Copié.