Saltar al contenido
Volver a los resultados

Prueba A/B Adaptativa — Pruebas A/B Adaptativas

Propuesto por
Herbert Robbins (bandit framework); Thompson Sampling formalized by William R. Thompson
Año
1952 (Robbins); applied to A/B testing from ~2010s onward
Tipo
Adaptive experimental design
Familia
Experimental design

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Una prueba A/B adaptativa es un diseño experimental que reasigna dinámicamente el tráfico o los participantes hacia las variantes con mejor rendimiento durante el experimento mismo, en lugar de mantener las asignaciones fijas hasta el final. Basándose en algoritmos de bandit multi-brazo como el Muestreo de Thompson o el Límite Superior de Confianza (UCB, por sus siglas en inglés), equilibra la exploración de variantes inciertas con la explotación de aquellas que ya muestran un rendimiento superior, produciendo típicamente resultados agregados más altos y, al mismo tiempo, conclusiones inferenciales válidas.

La intuición detrás del método

En una prueba A/B clásica se divide a los visitantes 50/50 entre dos versiones y se espera hasta el final para declarar un ganador; mientras tanto, la mitad del tráfico sigue accediendo a la variante inferior. Una prueba A/B adaptativa funciona más como un sistema de aprendizaje: comienza aproximadamente de forma equitativa, pero a medida que se acumula evidencia de que la variante B supera a la variante A, se desvía gradualmente más tráfico hacia B. El experimento continúa recopilando datos para la inferencia estadística, pero el costo de ejecutar la opción peor se minimiza activamente en tiempo real. La analogía es un jugador de máquinas tragamonedas que rastrea qué máquinas pagan más y ajusta su juego en consecuencia, mientras sigue muestreando todas las máquinas lo suficiente como para mantenerse seguro en la comparación.

Historia

La base teórica de las pruebas A/B adaptativas se encuentra en el problema del bandit multi-brazo, formalizado por primera vez por Herbert Robbins en 1952. William R. Thompson había propuesto anteriormente una estrategia de muestreo Bayesiana para ensayos clínicos en 1933, más tarde llamada Muestreo de Thompson, que se convirtió en uno de los algoritmos más implementados. El interés académico en la aleatorización de respuesta adaptativa en ensayos clínicos creció durante las décadas de 1970-1990. La aplicación de algoritmos de bandit a las pruebas A/B en línea a escala de Internet se popularizó aproximadamente a partir de 2010, impulsada por empresas de tecnología que buscaban reducir los costos de oportunidad durante la experimentación y por investigadores que vinculaban los métodos de bandit con marcos de inferencia causal.

Cuándo usarlo

Las pruebas A/B adaptativas son más valiosas cuando (1) la exposición a una variante inferior conlleva un costo significativo —en atención médica, productos digitales con alto tráfico o campañas de tiempo limitado; (2) el experimento se ejecuta el tiempo suficiente para que el algoritmo de asignación cambie significativamente (típicamente cientos a miles de observaciones); y (3) los resultados se observan rápidamente en relación con la duración del experimento. También es adecuada cuando se prueban múltiples variantes simultáneamente (entorno multi-brazo) y cuando el objetivo es maximizar los resultados agregados durante el ensayo, no solo después de él. No utilice pruebas A/B adaptativas cuando: el resultado se retrasa en relación con la época de decisión (la retroalimentación retardada hace que las actualizaciones no sean fiables); cuando se requiere interpretabilidad de las proporciones de asignación para la revisión regulatoria (p. ej., algunos contextos de ensayos clínicos); cuando el tamaño de la muestra es muy pequeño (menos de ~200 observaciones totales), ya que el algoritmo tiene datos insuficientes para adaptarse significativamente; o cuando un diseño equilibrado simple es suficiente y la complejidad operativa no está justificada.

Limitaciones y consideraciones

  • Requiere observación de resultados en tiempo casi real o de baja latencia; la retroalimentación retardada (p. ej., resultados medidos semanas después del tratamiento) interrumpe el ciclo de actualización y socava la adaptación.
  • La inferencia estadística es más compleja que en los diseños de asignación fija: las pruebas t estándar no son válidas; se requieren procedimientos de prueba secuenciales o Bayesianos especializados.
  • La asignación adaptativa puede crear grupos desequilibrados, lo que reduce la potencia para detectar efectos pequeños y complica los análisis de subgrupos.
  • La implementación requiere infraestructura técnica para la recopilación de datos en tiempo real, la actualización posterior y el enrutamiento de tráfico; no está fácilmente disponible en plataformas de encuestas o laboratorios estándar.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Reduce la exposición acumulada a variantes inferiores en comparación con la asignación fija e igual, lo cual es importante cuando la métrica de resultado es moral o comercialmente importante.
  • Bien adaptada a entornos multi-brazo donde se prueban muchas variantes simultáneamente y la asignación fija dispersaría demasiado la muestra.
  • Produce inferencia estadística válida cuando se combina con reglas de detención pre-registradas, a pesar de la asignación no fija.
  • Se integra naturalmente con la actualización Bayesiana, permitiendo la cuantificación transparente de la incertidumbre y la evidencia en cualquier punto del ensayo.
  • Flexible al contexto: aplicable en experimentación en línea, ensayos clínicos (aleatorización de respuesta adaptativa) y experimentos de campo conductuales.

Aplicaciones

  • Experimentación de productos en línea — dirigir el tráfico web hacia variantes de páginas web con mayor conversión durante la prueba para minimizar la pérdida de ingresos por diseños inferiores.
  • Intervenciones de salud digital — asignar adaptativamente pacientes a brazos de tratamiento más efectivos en ensayos clínicos remotos o basados en aplicaciones.
  • Campañas de correo electrónico y notificaciones push — cambiar dinámicamente la entrega de mensajes hacia líneas de asunto o variantes de contenido con tasas de apertura o clics más altas.
  • Tecnología educativa — asignar estudiantes a variantes instruccionales más efectivas en tiempo real basándose en señales de resultados de aprendizaje.
  • Sistemas de precios y recomendaciones — probar múltiples niveles de precios o algoritmos de recomendación mientras se dirige a los usuarios hacia opciones de mejor rendimiento durante el período de prueba.

Cómo funciona

Cómo funciona

1

El investigador especifica las variantes a comparar (típicamente dos o más versiones de una página web, mensaje, tratamiento o producto), la métrica de resultado principal (p. ej., tasa de conversión, tasa de clics, finalización de tareas), el tamaño mínimo del efecto detectable y la regla de detención, ya sea un horizonte fijo (tamaño de muestra máximo) o un límite secuencial (regla de gasto alfa pre-registrada).

2

A cada variante se le asigna una creencia previa sobre su rendimiento, expresada como una distribución de probabilidad sobre el resultado esperado (p. ej., una distribución Beta para resultados binarios). En enfoques UCB frecuentistas, los intervalos de confianza iniciales se establecen amplios para reflejar una incertidumbre igual. Todas las variantes comienzan con una asignación igual o casi igual para garantizar una exploración temprana suficiente.

3

En cada época de decisión —que puede ser cada nuevo participante, lote de participantes o unidad de tiempo— el algoritmo adaptativo determina cómo asignar la(s) siguiente(s) unidad(es) de tráfico. Bajo el Muestreo de Thompson, se muestrea una probabilidad de éxito de la distribución posterior actual de cada variante y la variante con el valor muestreado más alto recibe la siguiente unidad; bajo UCB, se elige la variante con el límite superior de confianza más alto. Este paso se repite continuamente durante todo el experimento.

4

Después de cada observación, se registra el resultado y se actualiza la distribución de creencias de la variante elegida (actualización posterior Bayesiana) o se recalcula su intervalo de confianza (actualización frecuentista). Las creencias actualizadas informan inmediatamente la siguiente decisión de asignación, por lo que el diseño aprende incrementalmente de la evidencia acumulada.

5

El experimento se detiene cuando se cumple un criterio pre-registrado: ya sea que se alcance el tamaño de muestra máximo, se cruce un límite secuencial, o la probabilidad posterior de que una variante sea la mejor supere un umbral pre-especificado (p. ej., 95%). Las reglas de detención deben declararse antes de la recopilación de datos para controlar la inflación del error de Tipo I que surge del monitoreo continuo.

6

El investigador informa el tamaño del efecto estimado y la incertidumbre para cada variante, la proporción de participantes asignados a cada variante y la ganancia métrica general en relación con un punto de referencia de asignación fija. Las declaraciones inferenciales se realizan utilizando el marco de regla de detención pre-registrada (frecuentista o Bayesiana) en lugar de las pruebas t convencionales al final del estudio, que no tienen en cuenta la asignación adaptativa.

Errores comunes

  • Observar sin una regla de detención —monitorear los resultados continuamente y detenerse cuando se alcanza la significancia por primera vez sin una regla de gasto alfa pre-registrada infla sustancialmente la tasa de error de Tipo I; siempre pre-registre el criterio de detención.
  • Ignorar resultados retardados — si la métrica de resultado se retrasa respecto al tratamiento (p. ej., retención a 30 días medida para una variante asignada hoy), el algoritmo se actualiza con datos incompletos y asigna incorrectamente; utilice diseños que tengan en cuenta la retroalimentación retardada o cambie a un diseño fijo.
  • Aplicar análisis de asignación fija — informar intervalos de confianza estándar o valores p de pruebas t al final del estudio después de una asignación adaptativa produce estimaciones sesgadas; utilice pruebas secuenciales de razón de verosimilitud, intervalos creíbles posteriores o estimadores de corrección fuera de política (off-policy).
  • Muy pocas observaciones para que la adaptación sea significativa — con una muestra total muy pequeña, el algoritmo apenas cambia la asignación antes de que termine el experimento; en entornos de muestra pequeña, un diseño aleatorio equilibrado es más eficiente.
  • Confundir el objetivo de exploración con el objetivo de inferencia — la asignación adaptativa optimiza los resultados agregados durante el ensayo; si el único objetivo es la estimación precisa del efecto de cada variante, un diseño equilibrado fijo proporciona errores estándar más estrechos.

Preguntas frecuentes

¿Es una prueba A/B adaptativa estadísticamente válida?

Sí, siempre que la regla de detención y el método de análisis se pre-registren y coincidan con el diseño adaptativo. Las pruebas t estándar y los intervalos de confianza de muestra fija no son válidos después de la asignación adaptativa. Las alternativas válidas incluyen pruebas secuenciales de gasto alfa (p. ej., límites de O'Brien-Fleming), Muestreo de Thompson con intervalos creíbles Bayesianos, o estimadores de corrección fuera de política (off-policy) como la ponderación por propensión inversa. La disciplina clave es comprometerse con la regla de detención antes de que comience la recopilación de datos.

¿En qué se diferencia de un experimento estándar multi-brazo?

Un experimento estándar multi-brazo asigna participantes a variantes en proporciones fijas (a menudo iguales) durante todo el ensayo y analiza todos los datos al final. Una prueba A/B adaptativa actualiza continuamente las proporciones de asignación durante el ensayo basándose en los datos de resultados acumulados, por lo que los brazos con mejor rendimiento reciben más participantes con el tiempo. La maquinaria inferencial debe tener en cuenta esta asignación no fija, mientras que el análisis estándar multi-brazo asume una aleatorización fija.

¿Qué es el Muestreo de Thompson y por qué es popular?

El Muestreo de Thompson es un algoritmo Bayesiano que en cada paso de decisión muestrea una estimación de rendimiento de la distribución posterior de cada variante y asigna la siguiente unidad a la variante con el valor muestreado más alto. Es popular porque es simple de implementar, equilibra naturalmente la exploración y la explotación, y ha demostrado teórica y empíricamente lograr resultados acumulativos casi óptimos. Para resultados binarios utiliza distribuciones Beta conjugadas, lo que hace que la actualización posterior sea un cálculo de una sola línea.

¿Cuándo debería seguir con una prueba A/B clásica de asignación fija?

Utilice un diseño fijo cuando: los resultados se retrasan sustancialmente (el retardo de retroalimentación excede el intervalo inter-decisión); la muestra es pequeña y el algoritmo no puede adaptarse significativamente; los requisitos regulatorios exigen una asignación equilibrada (p. ej., ciertos ensayos clínicos de Fase III); o el único objetivo es la estimación precisa del efecto en lugar de maximizar los resultados durante el ensayo. En estas situaciones, un diseño aleatorio controlado y equilibrado proporciona una inferencia más clara con un análisis más simple.

¿Se puede utilizar la prueba A/B adaptativa para más de dos variantes?

Sí. El marco del bandit multi-brazo se extiende naturalmente a cualquier número de brazos (variantes). Con muchas variantes, la asignación adaptativa es especialmente valiosa porque la asignación fija e igual en un entorno multi-brazo dispersa la muestra de manera muy escasa entre los brazos de bajo rendimiento. Algoritmos como el Muestreo de Thompson, UCB y Successive Rejects se escalan directamente a entornos multi-brazo.

Métodos relacionados

Fuentes

  1. Russo, D., Van Roy, B., Kazerouni, A., Osband, I., & Wen, Z. (2018). A Tutorial on Thompson Sampling. Foundations and Trends in Machine Learning, 11(1), 1–96.

    Abrir referencia DOI
    Copiado.
  2. Offer-Westort, M., Coppock, A., & Green, D. P. (2021). Adaptive Experimental Design: Prospects and Applications in Political Science. American Journal of Political Science, 65(4), 826–844.

    Abrir referencia DOI
    Copiado.