Skip to content
Voltar aos resultados

Teste A/B Bloqueado — Teste Dividido por Blocos

Proposto por
R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
Ano
1926 (blocking principle); 2000s–2010s (online A/B testing application)
Tipo
Randomized controlled experiment with variance reduction
Família
Experimental design

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Um teste A/B bloqueado é um delineamento experimental que particiona unidades (usuários, sujeitos ou clusters) em blocos homogêneos antes de atribuí-los aleatoriamente ao tratamento A ou ao tratamento B dentro de cada bloco.

O bloqueio reduz o ruído dentro do experimento ao garantir que fontes conhecidas de variação — como tipo de dispositivo, geografia ou tempo de permanência do usuário — sejam balanceadas entre as condições, gerando estimativas mais precisas do efeito do tratamento do que um simples teste A/B não bloqueado.

A intuição por trás do método

Imagine testar uma nova cor de botão de checkout em um site de comércio eletrônico. As taxas de compra diferem acentuadamente entre usuários de dispositivos móveis e de desktop, portanto, uma divisão aleatória ingênua pode acidentalmente atribuir mais usuários de dispositivos móveis a uma variante. O bloqueio resolve isso: primeiro, divida todos os usuários em blocos de dispositivos móveis e de desktop, depois, lance uma moeda justa dentro de cada bloco para atribuir A ou B. Agora, ambas as variantes verão proporções iguais de usuários de dispositivos móveis e de desktop. A comparação do tratamento é feita dentro dos blocos, de modo que a variação impulsionada pelo dispositivo é removida do termo de erro, tornando o experimento mais sensível ao efeito real da cor do botão.

História

O princípio do bloqueio em delineamento experimental foi formalizado por R. A. Fisher em seu artigo de 1926 sobre o arranjo de experimentos de campo e desenvolvido posteriormente em seu livro de 1935 The Design of Experiments. Fisher introduziu o bloqueio como uma forma de isolar e remover fontes conhecidas de heterogeneidade, melhorando assim a precisão das comparações de tratamento. A abordagem foi subsequentemente codificada no delineamento de blocos completos randomizados (RCBD). Nas décadas de 2000 e 2010, empresas de tecnologia adaptaram o bloqueio para testes A/B em larga escala online, usando atributos do usuário como tipo de dispositivo ou idade da conta como variáveis de bloqueio para obter estimativas causais mais confiáveis de experimentos na web.

Quando usar

Use um teste A/B bloqueado quando você souber antecipadamente que uma covariável (tipo de dispositivo, segmento de usuário, região geográfica, período de tempo) está correlacionada com sua métrica primária e você deseja evitar que o desbalanceamento dessa covariável infle sua estimativa de erro. É especialmente valioso quando os tamanhos da amostra são moderados e você não pode arcar com a variância que a randomização simples deixaria. Não use bloqueio quando não houver covariáveis prognósticas significativas — a sobrecarga é desnecessária e as restrições de tamanho de bloco podem reduzir o poder. Evite-o quando a variável de bloqueio for muito granular para gerar blocos com pelo menos algumas unidades por condição, ou quando a afiliação ao bloco não puder ser determinada antes da atribuição.

Limitações e considerações

  • Requer pré-identificação de variáveis de bloqueio; variáveis não conhecidas ou não medidas antes da atribuição não podem ser usadas para bloqueio.
  • Tamanhos de bloco muito pequenos (por exemplo, apenas 2–4 unidades por bloco) reduzem a confiabilidade da randomização intra-bloco e podem prejudicar o poder em vez de ajudar.
  • A análise é mais complexa do que um simples teste t de duas amostras; a estrutura de blocos deve ser corretamente incorporada no modelo estatístico.
  • O bloqueio em uma variável errada (uma não correlacionada com o resultado) não fornece redução de variância e adiciona sobrecarga analítica.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz a variância do erro experimental atribuível a covariáveis prognósticas conhecidas, aumentando o poder estatístico sem aumentar o tamanho da amostra.
  • Protege contra desbalanceamento acidental de covariáveis que poderiam enviesar as estimativas do efeito do tratamento em amostras finitas.
  • As estimativas de bloco podem, elas próprias, fornecer insights úteis sobre efeitos de tratamento heterogêneos entre segmentos.
  • Amplamente suportado em pacotes estatísticos padrão (ANOVA, regressão com indicadores, modelos mistos).
  • Diretamente análogo ao delineamento em blocos padrão-ouro usado em pesquisa clínica e agrícola, conferindo ao método forte credibilidade metodológica.

Aplicações

  • Experimentos de produtos online com bloqueio por tipo de dispositivo (móvel vs. desktop) ou plataforma para comparar variantes de UI.
  • Estudos piloto clínicos com bloqueio por local clínico ou gravidade basal para comparar dois protocolos de tratamento.
  • Experimentos de tecnologia educacional com bloqueio por escola ou nível de série para avaliar o efeito de uma nova ferramenta de aprendizado.
  • Testes de e-mail de marketing com bloqueio por estágio do ciclo de vida do cliente para medir o impacto de variantes de linha de assunto nas taxas de abertura.
  • Estudos agrícolas e ambientais com bloqueio por localização de campo ou tipo de solo para comparar variedades de culturas ou intervenções.

Como funciona

Como funciona

1

Especifique a hipótese (por exemplo, a variante B aumenta a taxa de conversão), escolha a métrica primária e identifique as variáveis de bloqueio — características conhecidas ou suspeitas de influenciar o resultado. Boas variáveis de bloqueio são mensuráveis antes da atribuição do tratamento, correlacionadas com o resultado e não causadas pelo próprio tratamento.

2

Particione todas as unidades elegíveis em blocos mutuamente exclusivos e exaustivos com base nas variáveis de bloqueio escolhidas. Cada bloco agrupa unidades que são o mais semelhantes possível nessas variáveis. O número de blocos deve ser gerenciável; um bloqueio muito granular pode reduzir o poder estatístico se os tamanhos dos blocos se tornarem muito pequenos.

3

Dentro de cada bloco, atribua aleatoriamente unidades à condição A (controle) ou à condição B (tratamento) com probabilidade igual (ou pré-especificada). Essa randomização intra-bloco é o passo central que torna o delineamento justo e analiticamente tratável. Registre a afiliação ao bloco para cada unidade antes do início da exposição.

4

Entregue a variante atribuída a cada unidade durante todo o período experimental. Mantenha a separação entre as condições para evitar contaminação. Colete dados de resultados juntamente com os identificadores de bloco para que a estrutura de blocos seja preservada até a fase de análise.

5

Analise os resultados usando um modelo que leve em conta os blocos — tipicamente uma ANOVA de dois fatores ou uma regressão com indicadores de bloco como covariáveis, ou o equivalente de comparação pareada se os blocos contiverem exatamente uma unidade por condição. Os termos de bloco absorvem a variância atribuível à variável de bloqueio, deixando uma estimativa mais limpa do efeito do tratamento e um intervalo de confiança mais estreito.

Erros comuns

  • Ignorar a estrutura de blocos na análise — executar um teste t comum sem indicadores de bloco descarta a redução de variância que o bloqueio deveria fornecer e pode inflar o valor p.
  • Bloqueio post-hoc — definir blocos após a visualização dos resultados introduz viés e não é um delineamento bloqueado válido.
  • Bloqueio excessivo com muitas variáveis de bloqueio produz tamanhos de bloco minúsculos e impraticáveis e pode eliminar os ganhos estatísticos do delineamento.
  • Confundir bloqueio com amostragem estratificada — bloqueio é um mecanismo de atribuição aplicado a uma população fixa de unidades experimentais, não uma estratégia de amostragem.

Perguntas frequentes

Qual é a diferença entre um teste A/B bloqueado e um teste A/B estratificado?

Os termos são frequentemente usados de forma intercambiável em ambientes aplicados. Estritamente, bloqueio é um conceito de delineamento (atribuição de unidades dentro de grupos) enquanto estratificação pode se referir a delineamento ou análise (reponderação post-hoc). Em um teste A/B bloqueado, a randomização ocorre separadamente dentro de cada bloco antes da exposição. Em uma análise estratificada, você pode ter randomizado sem bloqueio, mas reponderado ou ajustado post-hoc por estrato. O bloqueio no momento do delineamento é geralmente mais poderoso do que a estratificação no momento da análise.

Como escolho em quais variáveis bloquear?

Bloqueie em variáveis que (1) você pode medir antes de atribuir o tratamento, (2) espera-se que se correlacionem com a métrica de resultado primária e (3) não são causadas pelo próprio tratamento. Escolhas comuns em experimentos online incluem tipo de dispositivo, coorte de tempo de permanência do usuário e região geográfica. Evite bloquear em variáveis com muitas categorias, a menos que sua amostra seja grande o suficiente para manter tamanhos de bloco adequados.

O bloqueio altera o requisito de tamanho da amostra?

O bloqueio pode reduzir o tamanho da amostra necessário para atingir um determinado nível de poder, pois remove a variância atribuível à variável de bloqueio do termo de erro. O ganho de eficiência depende de quão fortemente a variável de bloqueio se correlaciona com o resultado. Se a correlação for baixa, o bloqueio oferece pouco benefício e um teste A/B simples pode exigir menos recursos analíticos.

Posso usar um delineamento bloqueado com mais de duas variantes?

Sim. Quando há mais de duas condições, o delineamento é chamado de experimento multi-braço bloqueado ou um delineamento de blocos completos randomizados com múltiplos tratamentos. As unidades dentro de cada bloco são atribuídas aleatoriamente a uma de k condições. A análise generaliza para ANOVA ou regressão com indicadores de bloco e tratamento, seguida por comparações planejadas ou post-hoc.

O que acontece se eu esquecer de incluir os indicadores de bloco em minha análise?

Omitir os indicadores de bloco significa que a redução de variância do bloqueio é perdida. Pior ainda, se os tamanhos dos blocos forem desiguais, a estimativa ingênua pode ser enviesada. Sempre inclua efeitos fixos de bloco (ou um termo de efeitos aleatórios) no modelo estatístico para honrar o delineamento bloqueado e recuperar os ganhos de eficiência.

Métodos relacionados

Fontes

  1. Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.

    Abrir referência da publicação
    Copiado.
  2. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 9781108724265
    Copiado.