Skip to content
Voltar aos resultados

Teste A/B Fatorial — Experimento Controlado Online Multifatorial

Proposto por
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
Ano
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
Tipo
Controlled online/field experiment
Família
Experimental design

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Um teste A/B fatorial é um experimento online controlado que manipula simultaneamente dois ou mais fatores independentes, cada um em dois ou mais níveis, expondo diferentes grupos de usuários a cada combinação de níveis de fatores.

Enraizado no delineamento fatorial de Fisher e operacionalizado em escala por empresas de tecnologia, ele permite que pesquisadores estimem tanto o efeito principal independente de cada fator quanto os efeitos de interação entre os fatores — tudo a partir de uma única execução experimental.

A intuição por trás do método

Suponha que você queira saber se um novo título melhora as conversões e também se uma nova cor de botão ajuda — mas você também suspeita que as duas mudanças podem interagir. Um teste A/B simples pode responder a uma pergunta por vez; um teste A/B fatorial executa todas as combinações de uma vez (título antigo + botão antigo, título antigo + botão novo, título novo + botão antigo, título novo + botão novo) e informa não apenas quais fatores importam, mas também se seus efeitos se amplificam ou se anulam. Você obtém mais respostas com o mesmo tráfego e evita a armadilha de implantar duas mudanças cujos benefícios individuais desaparecem quando combinadas.

História

Os fundamentos matemáticos da experimentação fatorial foram estabelecidos por Ronald A. Fisher e Frank Yates na Rothamsted Experimental Station nas décadas de 1920 e 1930, codificados em The Design of Experiments (1935) de Fisher. Por décadas, o método foi usado principalmente na agricultura, manufatura e ensaios clínicos. Com o surgimento de plataformas online em larga escala nos anos 2000, Google, Microsoft e Amazon industrializaram a abordagem como teste A/B fatorial, permitindo a rápida avaliação simultânea de múltiplas mudanças de produto em milhões de usuários. O manual de Kohavi et al. de 2020 sistematizou a prática atual da indústria.

Quando usar

Use um teste A/B fatorial quando precisar avaliar duas ou mais mudanças independentes em um único experimento e quando tiver motivos para suspeitar que esses fatores possam interagir. É a escolha certa quando o tráfego é suficiente para alimentar todas as células simultaneamente — uma regra geral é que você precisa da mesma amostra por célula que um teste A/B padrão, multiplicada pelo número de células. Não o use quando o tráfego for escasso e você não puder alimentar todas as células; nesse caso, execute testes A/B sequenciais. Evite-o quando os fatores são conhecidos por serem totalmente independentes e os efeitos de interação são teoricamente implausíveis — nesse caso, testes A/B separados são mais simples de comunicar. Também evite-o quando mais de quatro ou cinco fatores estão envolvidos sem uma estratégia fatorial fracionada, pois o número de células e a complexidade da interpretação crescem combinatoriamente.

Limitações e considerações

  • Os requisitos de tamanho da amostra aumentam com o número de células; um delineamento 2×2×2 precisa de oito vezes o N por célula de um teste simples de dois braços, o que pode ser inviável para produtos de baixo tráfego.
  • Interações de alta ordem (três vias, quatro vias) são difíceis de interpretar e frequentemente subdimensionadas mesmo em grandes experimentos.
  • Os resultados são específicos para a população de usuários e o contexto do experimento e podem não se generalizar para diferentes plataformas, estações ou mercados.
  • A análise e comunicação dos efeitos de interação exigem sofisticação estatística que as partes interessadas podem não possuir.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Testa múltiplos fatores em um único experimento, reduzindo o tempo total de calendário e o custo de tráfego em comparação com testes A/B sequenciais.
  • Detecta e quantifica efeitos de interação que o teste sequencial não pode revelar, prevenindo a implantação de combinações cujos benefícios não se somam.
  • Delineamentos fatoriais completos são estatisticamente eficientes — a atribuição ortogonal de fatores significa que os efeitos principais e as interações são estimados independentemente.
  • Suporta planos de análise claros e pré-especificados e é compatível com estruturas de inferência frequentista (ANOVA, regressão) e Bayesiana padrão.
  • Amplamente adotado na indústria (tecnologia, e-commerce, farmacêutica) e apoiado por uma literatura madura sobre delineamento e análise.

Aplicações

  • Testar simultaneamente o texto do título e a imagem principal em uma página de destino para identificar a combinação vencedora que maximiza a taxa de inscrição.
  • Avaliar duas variantes de linha de assunto de e-mail cruzadas com duas variantes de tempo de envio para determinar se o tempo interage com a mensagem na condução das taxas de abertura.
  • Realizar um ensaio clínico 2×2 que randomiza simultaneamente os participantes para medicamento versus placebo e para intervenção comportamental versus tratamento padrão.
  • Otimizar o fluxo de checkout variando simultaneamente o posicionamento do botão e o comprimento do formulário para encontrar a célula com a menor taxa de abandono de carrinho.
  • Avaliar o impacto conjunto do algoritmo de recomendação e do layout de exibição no tempo de visualização da plataforma de streaming.
  • Estudos de dose-resposta farmacêuticos que cruzam o nível de dose com a via de administração para estimar os efeitos principais e a interação em um único protocolo.

Como funciona

Como funciona

1

Identifique os fatores independentes (variáveis) a serem testados e especifique os níveis discretos que cada fator assumirá. Em um teste A/B fatorial 2×2, há dois fatores, cada um em dois níveis, produzindo quatro células de tratamento. Delineamentos maiores (2×2×2, 3×2, etc.) são possíveis, mas multiplicam proporcionalmente os requisitos de tamanho da amostra.

2

Enumere todas as combinações de níveis de fatores — estas são as células ou braços experimentais. Para um delineamento fatorial completo, todas as combinações são incluídas; se o número de células for proibitivamente grande, um delineamento fatorial fracionado pode ser usado, sacrificando a capacidade de estimar interações de alta ordem em troca de um experimento menor.

3

Os usuários (ou sessões) são atribuídos aleatoriamente a exatamente uma célula, tipicamente usando um hash de um identificador de usuário estável módulo o número de células, garantindo uma alocação equilibrada e independente. A randomização remove o viés de seleção e é a característica que distingue um teste A/B fatorial da análise multivariada observacional.

4

O experimento é executado por uma duração predeterminada — tempo suficiente para atingir o tamanho de amostra alvo por célula e para considerar os efeitos de sazonalidade semanal (tipicamente pelo menos uma semana completa). As métricas de resultado (taxa de conversão, receita por usuário, tempo de engajamento, etc.) são registradas no nível do usuário ou da sessão para cada célula durante a janela de exposição.

5

A análise primária utiliza uma ANOVA fatorial ou um modelo de regressão que particiona a variância em efeitos principais (um por fator) e efeitos de interação (um por par de fatores, e termos de ordem superior se o delineamento for fatorial completo). Tamanhos de efeito, intervalos de confiança e p-valores ajustados para multiplicidade (por exemplo, Bonferroni ou Benjamini-Hochberg) são relatados para cada efeito estimado.

6

Interprete o padrão de efeitos principais e interações. Se uma interação significativa existir, os efeitos principais sozinhos podem enganar — a combinação vencedora deve ser identificada a partir das médias das células, e não da média marginal de cada fator. A célula (ou células) vencedora é então implantada para 100% dos usuários.

Erros comuns

  • Ignorar interações significativas — relatar apenas efeitos principais quando uma interação está presente produz recomendações incorretas; sempre inspecione os gráficos de interação antes de interpretar os efeitos de fatores individuais.
  • Subdimensionar células individuais — os delineadores às vezes calculam o poder para o experimento completo em vez de por célula, levando a experimentos que não conseguem detectar de forma confiável os efeitos de interesse em cada braço.
  • Não independência dos fatores — se a implementação de um nível de fator altera o significado de outro (por exemplo, uma mudança de layout que oculta o botão que está sendo testado), a suposição fatorial de ortogonalidade é violada e as estimativas de interação são sem sentido.
  • Executar muitos fatores sem uma estratégia fatorial fracionada — um fatorial completo não planejado com muitos fatores cria um número incontrolável de células e aumenta a taxa de falsa descoberta quando muitos efeitos são testados.
  • Efeitos de novidade — em experimentos online de curta duração, o comportamento do usuário pode refletir curiosidade sobre a mudança em vez de preferências estáveis, inflando as estimativas de efeito que não persistem após a implantação completa.

Perguntas frequentes

Como um teste A/B fatorial difere da execução de múltiplos testes A/B separados?

Testes A/B sequenciais não conseguem detectar se dois fatores interagem — você pode descobrir que cada mudança melhora a conversão individualmente, mas que a implantação de ambas realmente prejudica o desempenho. Um teste A/B fatorial executa todas as combinações simultaneamente, então ele estima os efeitos de interação diretamente. Ele também termina mais rápido se você tiver tráfego adequado, já que você testa tudo em um experimento em vez de em sequência.

Quando devo usar um delineamento fatorial fracionado em vez de um completo?

Um fatorial completo testa todas as combinações de cada nível de fator. Quando o número de fatores é grande (tipicamente cinco ou mais), o número de células se torna impraticavelmente grande. Um delineamento fatorial fracionado testa apenas um subconjunto de células estrategicamente escolhido — o suficiente para estimar os efeitos principais e as interações de baixa ordem, sacrificando informações sobre interações de alta ordem que raramente são praticamente importantes. Se você tem muitos fatores e tráfego limitado, considere um fatorial fracionado ou uma estratégia de teste sequencial.

Como lido com múltiplas comparações em um teste A/B fatorial?

Cada efeito principal e cada termo de interação é uma hipótese separada. Sem ajuste, a taxa de falsa descoberta familiar aumenta com o número de testes. Abordagens comuns incluem a correção de Bonferroni (conservadora, controla o erro familiar), o procedimento de Benjamini-Hochberg (controla a taxa de falsa descoberta, mais poder) ou uma estrutura Bayesiana que naturalmente propaga a incerteza em todos os efeitos. O método de correção deve ser pré-especificado no plano de análise.

Qual tamanho de amostra eu preciso?

Uma regra padrão é dimensionar cada célula como você faria em um teste A/B de dois braços — calcule o N necessário para o seu tamanho de efeito esperado e poder desejado, então multiplique pelo número total de células. Para um delineamento 2×2, isso significa quatro vezes o N por braço de um teste A/B padrão. Se dimensionar todas as células for inviável, considere um delineamento fatorial fracionado ou a redução do número de fatores.

Posso analisar um teste A/B fatorial com um simples teste t por par?

Não. Testes t pareados entre células ignoram a estrutura fatorial, inflam a taxa de falsa descoberta e — o mais crítico — não estimam os efeitos de interação. A análise correta é uma ANOVA fatorial ou um modelo de regressão equivalente com variáveis indicadoras para cada fator e seus produtos (termos de interação). Somente essa abordagem particiona corretamente a variância em efeitos principais e interações.

Métodos relacionados

Fontes

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 978-1108724265
    Copiado.
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    ISBN: 978-1119113478
    Copiado.