Saltar al contenido
Volver a los resultados

Test A/B Factorial — Experimento Controlado Online Multifactorial

Propuesto por
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
Año
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
Tipo
Controlled online/field experiment
Familia
Experimental design

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Una prueba A/B factorial es un experimento online controlado que manipula simultáneamente dos o más factores independientes, cada uno en dos o más niveles, exponiendo a diferentes grupos de usuarios a cada combinación de niveles de factores.

Arraigado en el diseño factorial de Fisher y operacionalizado a escala por empresas tecnológicas, permite a los investigadores estimar tanto el efecto principal independiente de cada factor como los efectos de interacción entre factores, todo ello a partir de una única ejecución experimental.

La intuición detrás del método

Suponga que desea saber si un nuevo titular mejora las conversiones y también si un nuevo color de botón ayuda, pero también sospecha que los dos cambios podrían interactuar. Una prueba A/B simple puede responder a una pregunta a la vez; una prueba A/B factorial ejecuta todas las combinaciones a la vez (titular antiguo + botón antiguo, titular antiguo + botón nuevo, titular nuevo + botón antiguo, titular nuevo + botón nuevo) y le dice no solo qué factores importan, sino si sus efectos se amplifican o se cancelan mutuamente. Obtiene más respuestas con el mismo tráfico y evita la trampa de implementar dos cambios cuyos beneficios individuales desaparecen al combinarse.

Historia

Los fundamentos matemáticos de la experimentación factorial fueron sentados por Ronald A. Fisher y Frank Yates en la Estación Experimental de Rothamsted en las décadas de 1920 y 1930, codificados en "The Design of Experiments" (1935) de Fisher. Durante décadas, el método se utilizó principalmente en agricultura, manufactura y ensayos clínicos. Con el auge de las plataformas online a gran escala en la década de 2000, Google, Microsoft y Amazon industrializaron el enfoque como pruebas A/B factoriales, permitiendo la evaluación simultánea rápida de múltiples cambios de producto en millones de usuarios. El manual de Kohavi et al. de 2020 sistematizó la práctica actual de la industria.

Cuándo usarlo

Utilizar una prueba A/B factorial cuando necesite evaluar dos o más cambios independientes en un solo experimento y cuando tenga razones para sospechar que esos factores podrían interactuar. Es la opción correcta cuando el tráfico es suficiente para potenciar todas las celdas simultáneamente; una regla general es que necesita la misma muestra por celda que una prueba A/B estándar, multiplicada por el número de celdas. No la utilice cuando el tráfico sea escaso y no pueda potenciar todas las celdas; en ese caso, ejecute pruebas A/B secuenciales en su lugar. Evítela cuando se sepa que los factores son completamente independientes y los efectos de interacción sean teóricamente implausibles; en ese caso, las pruebas A/B separadas son más sencillas de comunicar. Evítela también cuando intervengan más de cuatro o cinco factores sin una estrategia factorial fraccional, ya que el número de celdas y la complejidad de la interpretación crecen combinatoriamente.

Limitaciones y consideraciones

  • Los requisitos de tamaño de muestra escalan con el número de celdas; un diseño 2×2×2 necesita ocho veces el N por celda de una prueba simple de dos brazos, lo que puede ser inviable para productos con poco tráfico.
  • Las interacciones de orden superior (de tres vías, de cuatro vías) son difíciles de interpretar y a menudo tienen poca potencia incluso en experimentos grandes.
  • Los resultados son específicos de la población de usuarios y el contexto del experimento y pueden no generalizarse a diferentes plataformas, temporadas o mercados.
  • El análisis y la comunicación de los efectos de interacción requieren una sofisticación estadística que los interesados pueden no tener.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Prueba múltiples factores en un solo experimento, reduciendo el tiempo calendario total y el costo de tráfico en comparación con las pruebas A/B secuenciales.
  • Detecta y cuantifica efectos de interacción que las pruebas secuenciales no pueden revelar, previniendo la implementación de combinaciones cuyos beneficios no se suman.
  • Los diseños factoriales completos son estadísticamente eficientes: la asignación ortogonal de factores significa que los efectos principales y las interacciones se estiman de forma independiente.
  • Soporta planes de análisis claros y preespecificados y es compatible con marcos estándar de inferencia frecuentista (ANOVA, regresión) y bayesiana.
  • Ampliamente adoptado en la industria (tecnología, comercio electrónico, farmacéutica) y respaldado por una literatura madura sobre diseño y análisis.

Aplicaciones

  • Probar simultáneamente la copia del titular y la imagen principal en una página de destino para identificar la combinación ganadora que maximiza la tasa de registro.
  • Evaluar dos variantes de línea de asunto de correo electrónico cruzadas con dos variantes de hora de envío para determinar si el momento interactúa con el mensaje en la generación de tasas de apertura.
  • Ejecutar un ensayo clínico 2×2 que aleatoriza simultáneamente a los participantes a fármaco versus placebo y a intervención conductual versus atención estándar.
  • Optimizar el flujo de pago variando simultáneamente la ubicación del botón y la longitud del formulario para encontrar la celda con la menor tasa de abandono del carrito.
  • Evaluar el impacto conjunto del algoritmo de recomendación y el diseño de visualización en el tiempo de visualización de la plataforma de streaming.
  • Estudios de respuesta a dosis farmacéutica que cruzan el nivel de dosis con la vía de administración para estimar efectos principales e interacciones en un solo protocolo.

Cómo funciona

Cómo funciona

1

Identificar los factores (variables) independientes que se van a probar y especificar los niveles discretos que tomará cada factor. En una prueba A/B factorial de 2×2, hay dos factores cada uno en dos niveles, produciendo cuatro celdas de tratamiento. Son posibles diseños más grandes (2×2×2, 3×2, etc.), pero multiplican los requisitos de tamaño de muestra proporcionalmente.

2

Enumerar todas las combinaciones de niveles de factores: estas son las celdas o brazos experimentales. Para un diseño factorial completo, se incluye cada combinación; si el número de celdas es prohibitivamente grande, se puede utilizar un diseño factorial fraccional, sacrificando la capacidad de estimar interacciones de orden superior a cambio de un experimento más pequeño.

3

Los usuarios (o sesiones) se asignan aleatoriamente a exactamente una celda, típicamente utilizando una función hash de un identificador de usuario estable módulo el número de celdas, asegurando una asignación equilibrada e independiente. La aleatorización elimina el sesgo de selección y es la característica que distingue una prueba A/B factorial del análisis multivariante observacional.

4

El experimento se ejecuta durante una duración predeterminada, lo suficientemente larga como para alcanzar el tamaño de muestra objetivo por celda y tener en cuenta los efectos de estacionalidad semanal (típicamente al menos una semana completa). Las métricas de resultado (tasa de conversión, ingresos por usuario, tiempo de participación, etc.) se registran a nivel de usuario o sesión para cada celda durante la ventana de exposición.

5

El análisis primario utiliza un marco de ANOVA factorial o de regresión que particiona la varianza en efectos principales (uno por factor) y efectos de interacción (uno por par de factores, y términos de orden superior si el diseño es factorial completo). Se reportan tamaños del efecto, intervalos de confianza y valores p ajustados por multiplicidad (por ejemplo, Bonferroni o Benjamini-Hochberg) para cada efecto estimado.

6

Interpretar el patrón de efectos principales e interacciones. Si existe una interacción significativa, los efectos principales por sí solos pueden ser engañosos: la combinación ganadora debe identificarse a partir de las medias de las celdas en lugar del promedio marginal de cada factor. La celda (o celdas) ganadora se implementa entonces al 100% de los usuarios.

Errores comunes

  • Ignorar interacciones significativas: reportar solo efectos principales cuando existe una interacción produce recomendaciones incorrectas; siempre inspeccione los gráficos de interacción antes de interpretar los efectos de cada factor.
  • Subestimar la potencia de las celdas individuales: los diseñadores a veces calculan la potencia para el experimento completo en lugar de por celda, lo que lleva a experimentos que no pueden detectar de manera confiable los efectos de interés en cada brazo.
  • No independencia de los factores: si la implementación de un nivel de factor cambia el significado de otro (por ejemplo, un cambio de diseño que oculta el botón que se está probando), la suposición factorial de ortogonalidad se viola y las estimaciones de interacción no tienen sentido.
  • Ejecutar demasiados factores sin una estrategia factorial fraccional: un factorial completo no planificado con muchos factores crea un número de celdas difícil de manejar y aumenta la tasa de falsos descubrimientos cuando se prueban muchos efectos.
  • Efectos de novedad: en experimentos online de corta duración, el comportamiento del usuario puede reflejar curiosidad por el cambio en lugar de preferencias estables, inflando las estimaciones del efecto que no persisten después de la implementación completa.

Preguntas frecuentes

¿En qué se diferencia una prueba A/B factorial de la ejecución de múltiples pruebas A/B separadas?

Las pruebas A/B secuenciales no pueden detectar si dos factores interactúan: podría descubrir que cada cambio mejora la conversión individualmente, pero que la implementación de ambos en realidad perjudica el rendimiento. Una prueba A/B factorial ejecuta todas las combinaciones simultáneamente, por lo que estima los efectos de interacción directamente. También termina más rápido si tiene tráfico adecuado, ya que prueba todo en un experimento en lugar de en secuencia.

¿Cuándo debo usar un diseño factorial fraccional en lugar de uno completo?

Un factorial completo prueba cada combinación de cada nivel de factor. Cuando el número de factores es grande (típicamente cinco o más), el número de celdas se vuelve imprácticamente grande. Un diseño factorial fraccional prueba solo un subconjunto de celdas elegido estratégicamente, suficiente para estimar efectos principales e interacciones de bajo orden, sacrificando información sobre interacciones de orden superior que rara vez son prácticamente importantes. Si tiene muchos factores y tráfico limitado, considere una estrategia de prueba factorial fraccional o secuencial.

¿Cómo manejo las comparaciones múltiples en una prueba A/B factorial?

Cada efecto principal y cada término de interacción son una hipótesis separada. Sin ajuste, la tasa de falsos descubrimientos familiar aumenta con el número de pruebas. Los enfoques comunes incluyen la corrección de Bonferroni (conservadora, controla el error familiar), el procedimiento de Benjamini-Hochberg (controla la tasa de falsos descubrimientos, más potencia) o un marco bayesiano que propaga naturalmente la incertidumbre a través de todos los efectos. El método de corrección debe preespecificarse en el plan de análisis.

¿Qué tamaño de muestra necesito?

Una regla estándar es potenciar cada celda como lo haría para una prueba A/B de dos brazos: calcule el N requerido para su tamaño del efecto esperado y la potencia deseada, luego multiplíquelo por el número total de celdas. Para un diseño 2×2, eso significa cuatro veces el N por brazo de una prueba A/B estándar. Si potenciar todas las celdas es inviable, considere un diseño factorial fraccional o reducir el número de factores.

¿Puedo analizar una prueba A/B factorial con una simple prueba t por pares?

No. Las pruebas t por pares entre celdas ignoran la estructura factorial, inflan la tasa de falsos descubrimientos y, lo que es más importante, no estiman los efectos de interacción. El análisis correcto es un ANOVA factorial o un modelo de regresión equivalente con variables indicadoras para cada factor y sus productos (términos de interacción). Solo este enfoque particiona correctamente la varianza en efectos principales e interacciones.

Métodos relacionados

Fuentes

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 978-1108724265
    Copiado.
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    ISBN: 978-1119113478
    Copiado.