Test A/B Bloccato — Test Diviso con Blocco Casuale
- Introdotto da
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- Anno
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- Tipo
- Randomized controlled experiment with variance reduction
- Famiglia
- Experimental design
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Un test A/B bloccato è un disegno sperimentale che partiziona le unità (utenti, soggetti o cluster) in blocchi omogenei prima di assegnarle casualmente al trattamento A o al trattamento B all'interno di ciascun blocco.
Il blocco riduce il rumore all'interno dell'esperimento assicurando che fonti note di variazione — come tipo di dispositivo, geografia o anzianità dell'utente — siano bilanciate tra le condizioni, producendo stime più precise dell'effetto del trattamento rispetto a un semplice test A/B non bloccato.
L’intuizione alla base del metodo
Immagina di testare un nuovo colore del pulsante di checkout su un sito di e-commerce. I tassi di acquisto differiscono notevolmente tra utenti mobile e desktop, quindi una divisione casuale ingenua potrebbe accidentalmente assegnare a una variante più utenti mobile. Il blocco risolve questo problema: prima dividi tutti gli utenti in blocchi mobile e desktop, poi lancia una moneta equa all'interno di ciascun blocco per assegnare A o B. Ora entrambe le varianti vedono quote proporzionalmente uguali di utenti mobile e desktop. Il confronto del trattamento viene effettuato all'interno dei blocchi, quindi la variazione guidata dal dispositivo viene rimossa dal termine di errore, rendendo l'esperimento più sensibile all'effetto reale del colore del pulsante.
Storia
Il principio del blocco nel disegno sperimentale è stato formalizzato da R. A. Fisher nel suo articolo del 1926 sulla disposizione degli esperimenti sul campo e sviluppato ulteriormente nel suo libro del 1935 The Design of Experiments. Fisher introdusse il blocco come modo per isolare e rimuovere fonti note di eterogeneità, migliorando così la precisione dei confronti tra trattamenti. L'approccio è stato successivamente codificato nel disegno a blocchi randomizzati completi (RCBD). Negli anni 2000 e 2010, le aziende tecnologiche hanno adattato il blocco ai test A/B online su larga scala, utilizzando attributi degli utenti come tipo di dispositivo o età dell'account come variabili di blocco per ottenere stime causali più affidabili da esperimenti web.
Quando usarlo
Utilizzare un test A/B bloccato quando si sa in anticipo che una covariata (tipo di dispositivo, segmento di utenti, regione geografica, periodo di tempo) è correlata con la metrica primaria e si desidera impedire che uno squilibrio su tale covariata gonfi la stima dell'errore. È particolarmente prezioso quando le dimensioni del campione sono moderate e non ci si può permettere la varianza che la semplice randomizzazione lascerebbe. Non utilizzare il blocco quando non si hanno covariate prognostiche significative — l'overhead è non necessario e i vincoli sulla dimensione del blocco possono ridurre la potenza. Evitarlo quando la variabile di blocco è troppo granulare per produrre blocchi con almeno poche unità per condizione, o quando l'appartenenza al blocco non può essere determinata prima dell'assegnazione.
Limiti e considerazioni
- Richiede la pre-identificazione delle variabili di blocco; le variabili non note o non misurate prima dell'assegnazione non possono essere utilizzate per il blocco.
- Dimensioni dei blocchi molto piccole (ad es., solo 2-4 unità per blocco) riducono l'affidabilità della randomizzazione intra-blocco e possono danneggiare la potenza anziché aiutarla.
- L'analisi è più complessa di un semplice test t a due campioni; la struttura del blocco deve essere correttamente incorporata nel modello statistico.
- Il blocco su una variabile errata (una non correlata con l'esito) non fornisce riduzione della varianza e aggiunge overhead analitico.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Riduce la varianza dell'errore sperimentale attribuibile a covariate prognostiche note, aumentando la potenza statistica senza aumentare la dimensione del campione.
- Protegge da squilibri accidentali delle covariate che potrebbero distorcere le stime dell'effetto del trattamento in campioni finiti.
- Le stime dei blocchi possono di per sé fornire spunti utili sugli effetti eterogenei del trattamento tra i segmenti.
- Ampiamente supportato nei pacchetti statistici standard (ANOVA, regressione con indicatori, modelli misti).
- Direttamente analogo al disegno a blocchi standard di riferimento utilizzato nella ricerca clinica e agricola, conferendo all'approccio una solida credibilità metodologica.
Applicazioni
- Esperimenti di prodotto online con blocco per tipo di dispositivo (mobile vs. desktop) o piattaforma per confrontare varianti dell'interfaccia utente.
- Studi pilota clinici con blocco per sito clinico o gravità basale per confrontare due protocolli di trattamento.
- Esperimenti di tecnologia educativa con blocco per scuola o livello di grado per valutare l'effetto di un nuovo strumento di apprendimento.
- Test di email di marketing con blocco per fase del ciclo di vita del cliente per misurare l'impatto delle varianti della riga dell'oggetto sui tassi di apertura.
- Studi agricoli e ambientali con blocco per posizione del campo o tipo di suolo per confrontare varietà di colture o interventi.
Come funziona
Come funziona
Specificare l'ipotesi (ad es., la variante B aumenta il tasso di conversione), scegliere la metrica primaria e identificare le variabili di blocco — caratteristiche note o sospettate di influenzare l'esito. Le buone variabili di blocco sono misurabili prima dell'assegnazione del trattamento, correlate con l'esito e non causate dal trattamento stesso.
Partizionare tutte le unità idonee in blocchi mutuamente esclusivi ed esaustivi basati sulle variabili di blocco scelte. Ciascun blocco raggruppa unità il più possibile simili su tali variabili. Il numero di blocchi dovrebbe essere mantenuto gestibile; un blocco troppo granulare può ridurre la potenza statistica se le dimensioni dei blocchi diventano troppo piccole.
All'interno di ciascun blocco, assegnare casualmente le unità alla condizione A (controllo) o alla condizione B (trattamento) con probabilità uguale (o pre-specificata). Questa randomizzazione intra-blocco è il passaggio fondamentale che rende il disegno sia equo che analiticamente trattabile. Registrare l'appartenenza al blocco per ciascuna unità prima che inizi l'esposizione.
Fornire la variante assegnata a ciascuna unità per l'intero periodo sperimentale. Mantenere la separazione tra le condizioni per prevenire la contaminazione. Raccogliere i dati sull'esito insieme agli identificatori di blocco in modo che la struttura del blocco sia preservata fino alla fase di analisi.
Analizzare i risultati utilizzando un modello che tenga conto dei blocchi — tipicamente un'ANOVA a due vie o una regressione con indicatori di blocco come covariate, o l'equivalente del confronto a coppie se i blocchi contengono esattamente un'unità per condizione. I termini di blocco assorbono la varianza attribuibile alla variabile di blocco, lasciando una stima più pulita dell'effetto del trattamento e un intervallo di confidenza più stretto.
Errori comuni
- Ignorare la struttura del blocco al momento dell'analisi — eseguire un test t ordinario senza indicatori di blocco scarta la riduzione della varianza che il blocco intendeva fornire e può gonfiare il valore p.
- Blocco post-hoc — definire i blocchi dopo aver visto gli esiti introduce distorsioni e non è un disegno bloccato valido.
- Un blocco eccessivo con troppe variabili di blocco produce dimensioni di blocco minuscole e impraticabili e può eliminare i guadagni statistici del disegno.
- Confondere il blocco con il campionamento stratificato — il blocco è un meccanismo di assegnazione applicato a una popolazione fissa di unità sperimentali, non una strategia di campionamento.
Domande frequenti
Qual è la differenza tra un test A/B bloccato e un test A/B stratificato?
I termini sono spesso usati in modo intercambiabile in contesti applicati. Strettamente parlando, il blocco è un concetto di disegno (assegnazione delle unità all'interno dei gruppi) mentre la stratificazione può riferirsi sia al disegno che all'analisi (rivalutazione post-hoc). In un test A/B bloccato, la randomizzazione avviene separatamente all'interno di ciascun blocco prima dell'esposizione. In un'analisi stratificata, si potrebbe aver randomizzato senza blocco ma rivalutare o aggiustare post-hoc per strato. Il blocco al momento del disegno è generalmente più potente della stratificazione al momento dell'analisi.
Come scelgo le variabili su cui bloccare?
Bloccare su variabili che (1) si possono misurare prima di assegnare il trattamento, (2) ci si aspetta che siano correlate con la metrica dell'esito primario e (3) non sono causate dal trattamento stesso. Scelte comuni negli esperimenti online includono il tipo di dispositivo, la coorte di anzianità dell'utente e la regione geografica. Evitare di bloccare su variabili con molte categorie a meno che il campione non sia abbastanza grande da mantenere dimensioni di blocco adeguate.
Il blocco modifica il requisito della dimensione del campione?
Il blocco può ridurre la dimensione del campione necessaria per raggiungere un dato livello di potenza, poiché rimuove dal termine di errore la varianza attribuibile alla variabile di blocco. Il guadagno di efficienza dipende da quanto fortemente la variabile di blocco è correlata con l'esito. Se la correlazione è bassa, il blocco offre pochi benefici e un semplice test A/B potrebbe richiedere meno risorse analitiche.
Posso usare un disegno bloccato con più di due varianti?
Sì. Quando ci sono più di due condizioni, il disegno è chiamato esperimento multi-braccio bloccato o disegno a blocchi randomizzati completi con trattamenti multipli. Le unità all'interno di ciascun blocco vengono assegnate casualmente a una delle k condizioni. L'analisi si generalizza all'ANOVA o alla regressione con indicatori di blocco e trattamento, seguita da confronti pianificati o post-hoc.
Cosa succede se dimentico di includere gli indicatori di blocco nella mia analisi?
Omettere gli indicatori di blocco significa che la riduzione della varianza dovuta al blocco viene persa. Peggio ancora, se le dimensioni dei blocchi sono disuguali, la stima ingenua può essere distorta. Includere sempre gli effetti fissi di blocco (o un termine di effetti casuali) nel modello statistico per onorare il disegno bloccato e recuperare i guadagni di efficienza.
Metodi correlati
Fonti
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
Apri il riferimento della pubblicazioneCopiato.Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN: 9781108724265Copiato.