Prueba A/B Bloqueada — Prueba Dividida Aleatorizada por Bloques
- Propuesto por
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- Año
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- Tipo
- Randomized controlled experiment with variance reduction
- Familia
- Experimental design
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Una prueba A/B bloqueada es un diseño experimental que particiona las unidades (usuarios, sujetos o clústeres) en bloques homogéneos antes de asignarlas aleatoriamente al tratamiento A o al tratamiento B dentro de cada bloque.
El bloqueo reduce el ruido dentro del experimento al asegurar que las fuentes conocidas de variación —como el tipo de dispositivo, la geografía o la antigüedad del usuario— estén balanceadas entre las condiciones, produciendo estimaciones más precisas del efecto del tratamiento que una simple prueba A/B sin bloquear.
La intuición detrás del método
Imagine probar un nuevo color de botón de pago en un sitio de comercio electrónico. Las tasas de compra difieren marcadamente entre usuarios móviles y de escritorio, por lo que una división aleatoria ingenua puede dar accidentalmente a una variante más usuarios móviles. El bloqueo resuelve esto: primero divida a todos los usuarios en bloques móviles y de escritorio, luego lance una moneda justa dentro de cada bloque para asignar A o B. Ahora ambas variantes verán proporciones iguales de usuarios móviles y de escritorio. La comparación del tratamiento se realiza dentro de los bloques, por lo que la variación impulsada por el dispositivo se elimina del término de error, haciendo que el experimento sea más sensible al efecto real del color del botón.
Historia
El principio de bloqueo en el diseño experimental fue formalizado por R. A. Fisher en su artículo de 1926 sobre la disposición de experimentos de campo y desarrollado posteriormente en su libro de 1935 The Design of Experiments. Fisher introdujo el bloqueo como una forma de aislar y eliminar fuentes conocidas de heterogeneidad, mejorando así la precisión de las comparaciones de tratamientos. El enfoque se codificó posteriormente en el diseño de bloques aleatorizados completos (RCBD). En las décadas de 2000 y 2010, las empresas de tecnología adaptaron el bloqueo a las pruebas A/B en línea a gran escala, utilizando atributos de usuario como el tipo de dispositivo o la antigüedad de la cuenta como variables de bloqueo para obtener estimaciones causales más fiables de los experimentos web.
Cuándo usarlo
Utilice una prueba A/B bloqueada cuando sepa de antemano que una covariable (tipo de dispositivo, segmento de usuario, región geográfica, período de tiempo) está correlacionada con su métrica principal y desea evitar que el desequilibrio en esa covariable infle su estimación de error. Es especialmente valioso cuando los tamaños de muestra son moderados y no puede permitirse la varianza que la aleatorización simple dejaría. No utilice el bloqueo cuando no tenga covariables pronósticas significativas —la sobrecarga es innecesaria y las restricciones de tamaño de bloque pueden reducir la potencia. Evítelo cuando la variable de bloqueo sea demasiado granular para producir bloques con al menos unas pocas unidades por condición, o cuando la pertenencia al bloque no se pueda determinar antes de la asignación.
Limitaciones y consideraciones
- Requiere la preidentificación de variables de bloqueo; las variables no conocidas o no medidas antes de la asignación no pueden utilizarse para el bloqueo.
- Tamaños de bloque muy pequeños (p. ej., solo 2-4 unidades por bloque) reducen la fiabilidad de la aleatorización dentro del bloque y pueden perjudicar la potencia en lugar de ayudarla.
- El análisis es más complejo que una simple prueba t de dos muestras; la estructura del bloque debe incorporarse correctamente en el modelo estadístico.
- El bloqueo en la variable incorrecta (una no correlacionada con el resultado) no proporciona reducción de varianza y añade sobrecarga analítica.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Reduce la varianza del error experimental atribuible a covariables pronósticas conocidas, aumentando la potencia estadística sin aumentar el tamaño de la muestra.
- Protege contra desequilibrios accidentales de covariables que podrían sesgar las estimaciones del efecto del tratamiento en muestras finitas.
- Las estimaciones de bloque pueden proporcionar información útil sobre efectos heterogéneos del tratamiento entre segmentos.
- Ampliamente soportado en paquetes estadísticos estándar (ANOVA, regresión con indicadores, modelos mixtos).
- Directamente análogo al diseño de bloques de referencia (gold standard) utilizado en investigación clínica y agrícola, lo que otorga al enfoque una sólida credibilidad metodológica.
Aplicaciones
- Experimentos de productos en línea que bloquean por tipo de dispositivo (móvil vs. escritorio) o plataforma para comparar variantes de interfaz de usuario.
- Estudios piloto clínicos que bloquean por sitio clínico o gravedad basal para comparar dos protocolos de tratamiento.
- Experimentos de tecnología educativa que bloquean por escuela o nivel de grado para evaluar el efecto de una nueva herramienta de aprendizaje.
- Pruebas de marketing por correo electrónico que bloquean por etapa del ciclo de vida del cliente para medir el impacto de las variantes de la línea de asunto en las tasas de apertura.
- Estudios agrícolas y ambientales que bloquean por ubicación de campo o tipo de suelo para comparar variedades de cultivos o intervenciones.
Cómo funciona
Cómo funciona
Especifique la hipótesis (p. ej., la variante B aumenta la tasa de conversión), elija la métrica principal e identifique las variables de bloqueo —características conocidas o sospechosas de influir en el resultado. Las buenas variables de bloqueo son medibles antes de la asignación del tratamiento, están correlacionadas con el resultado y no son causadas por el tratamiento en sí.
Particione todas las unidades elegibles en bloques mutuamente excluyentes y exhaustivos basados en las variables de bloqueo elegidas. Cada bloque agrupa unidades que son lo más similares posible en esas variables. El número de bloques debe mantenerse manejable; un bloqueo muy granular puede reducir la potencia estadística si los tamaños de bloque se vuelven demasiado pequeños.
Dentro de cada bloque, asigne aleatoriamente las unidades a la condición A (control) o B (tratamiento) con probabilidad igual (o preestablecida). Esta aleatorización dentro del bloque es el paso central que hace que el diseño sea justo y analíticamente tratable. Registre la pertenencia al bloque para cada unidad antes de que comience la exposición.
Entregue la variante asignada a cada unidad durante todo el período experimental. Mantenga la separación entre las condiciones para evitar la contaminación. Recopile los datos de resultados junto con los identificadores de bloque para que la estructura del bloque se preserve hasta la fase de análisis.
Analice los resultados utilizando un modelo que tenga en cuenta los bloques —típicamente un ANOVA de dos vías o una regresión con indicadores de bloque como covariables, o el equivalente de comparación pareada si los bloques contienen exactamente una unidad por condición. Los términos de bloque absorben la varianza atribuible a la variable de bloqueo, dejando una estimación más limpia del efecto del tratamiento y un intervalo de confianza más estrecho.
Errores comunes
- Ignorar la estructura de bloque en el momento del análisis —realizar una prueba t ordinaria sin indicadores de bloque descarta la reducción de varianza que el bloqueo pretendía proporcionar y puede inflar el valor p.
- El bloqueo post-hoc —definir bloques después de ver los resultados introduce sesgos y no es un diseño bloqueado válido.
- El sobrebloqueo con demasiadas variables de bloqueo produce tamaños de bloque diminutos e imprácticos y puede eliminar las ganancias estadísticas del diseño.
- Confundir bloqueo con muestreo estratificado —el bloqueo es un mecanismo de asignación aplicado a una población fija de unidades experimentales, no una estrategia de muestreo.
Preguntas frecuentes
¿Cuál es la diferencia entre una prueba A/B bloqueada y una prueba A/B estratificada?
Los términos se utilizan a menudo indistintamente en entornos aplicados. Estrictamente, el bloqueo es un concepto de diseño (asignación de unidades dentro de grupos) mientras que la estratificación puede referirse al diseño o al análisis (reponderación post-hoc). En una prueba A/B bloqueada, la aleatorización ocurre por separado dentro de cada bloque antes de la exposición. En un análisis estratificado, puede haber aleatorizado sin bloqueo pero reponderado o ajustado post-hoc por estrato. El bloqueo en el momento del diseño es generalmente más potente que la estratificación en el momento del análisis.
¿Cómo elijo en qué variables bloquear?
Bloquee en variables que (1) pueda medir antes de asignar el tratamiento, (2) se espere que se correlacionen con la métrica de resultado principal y (3) no sean causadas por el tratamiento en sí. Las opciones comunes en experimentos en línea incluyen el tipo de dispositivo, la cohorte de antigüedad del usuario y la región geográfica. Evite bloquear en variables con muchas categorías a menos que su muestra sea lo suficientemente grande como para mantener tamaños de bloque adecuados.
¿El bloqueo cambia el requisito de tamaño de muestra?
El bloqueo puede reducir el tamaño de muestra necesario para lograr un nivel de potencia dado, ya que elimina la varianza atribuible a la variable de bloqueo del término de error. La ganancia de eficiencia depende de cuán fuertemente la variable de bloqueo se correlacione con el resultado. Si la correlación es baja, el bloqueo ofrece poco beneficio y una prueba A/B simple puede requerir menos recursos analíticos.
¿Puedo usar un diseño bloqueado con más de dos variantes?
Sí. Cuando hay más de dos condiciones, el diseño se llama experimento multivariable bloqueado o diseño de bloques aleatorizados completos con múltiples tratamientos. Las unidades dentro de cada bloque se asignan aleatoriamente a una de k condiciones. El análisis se generaliza a ANOVA o regresión con indicadores de bloque y tratamiento, seguido de comparaciones planificadas o post-hoc.
¿Qué sucede si olvido incluir los indicadores de bloque en mi análisis?
Omitir los indicadores de bloque significa que se pierde la reducción de varianza del bloqueo. Peor aún, si los tamaños de bloque no son iguales, la estimación ingenua puede estar sesgada. Siempre incluya efectos fijos de bloque (o un término de efectos aleatorios) en el modelo estadístico para honrar el diseño bloqueado y recuperar las ganancias de eficiencia.
Métodos relacionados
Fuentes
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
Abrir referencia de la publicaciónCopiado.Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN: 9781108724265Copiado.