Zablokowany test A/B — test podziału z blokowaniem losowym
- Autor metody
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- Rok
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- Typ
- Randomized controlled experiment with variance reduction
- Rodzina
- Experimental design
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Zablokowany test A/B to projekt eksperymentalny, który dzieli jednostki (użytkowników, badanych lub klastry) na jednorodne bloki przed losowym przypisaniem ich do grupy kontrolnej A lub grupy eksperymentalnej B w ramach każdego bloku.
Blokowanie redukuje szum wewnątrzeksperymentalny, zapewniając, że znane źródła zmienności — takie jak typ urządzenia, geografia lub staż użytkownika — są zrównoważone między warunkami, co daje dokładniejsze oszacowania efektu interwencji niż prosty nieblokowany test A/B.
Intuicja stojąca za metodą
Wyobraźmy sobie testowanie nowego koloru przycisku zakupu na stronie e-commerce. Wskaźniki zakupu znacznie różnią się między użytkownikami mobilnymi i stacjonarnymi, więc naiwny losowy podział może przypadkowo przydzielić jednemu wariantowi więcej użytkowników mobilnych. Blokowanie rozwiązuje ten problem: najpierw podziel wszystkich użytkowników na bloki mobilne i stacjonarne, a następnie w ramach każdego bloku rzuć uczciwą monetą, aby przypisać A lub B. Teraz oba warianty zobaczą proporcjonalnie równe udziały użytkowników mobilnych i stacjonarnych. Porównanie interwencji jest przeprowadzane w ramach bloków, więc zmienność zależna od urządzenia jest usuwana z członu błędu, co czyni eksperyment bardziej wrażliwym na rzeczywisty efekt koloru przycisku.
Historia
Zasada blokowania w projektowaniu eksperymentów została sformalizowana przez R. A. Fishera w jego artykule z 1926 roku na temat układu doświadczeń polowych i dalej rozwinięta w jego książce z 1935 roku The Design of Experiments. Fisher wprowadził blokowanie jako sposób izolowania i usuwania znanych źródeł heterogeniczności, tym samym poprawiając precyzję porównań interwencji. Podejście to zostało następnie skodyfikowane w postaci losowego, kompletnego projektu blokowego (RCBD). W latach 2000. i 2010. firmy technologiczne zaadaptowały blokowanie do wielkoskalowych testów A/B online, wykorzystując atrybuty użytkowników, takie jak typ urządzenia lub wiek konta, jako zmienne blokujące w celu uzyskania bardziej wiarygodnych oszacowań przyczynowych z eksperymentów internetowych.
Kiedy stosować
Użyj zablokowanego testu A/B, gdy z góry wiesz, że kowariant (typ urządzenia, segment użytkowników, region geograficzny, okres czasu) jest skorelowany z Twoją główną metryką i chcesz zapobiec temu, aby nierównowaga w tym kowariancie zwiększyła Twoje oszacowanie błędu. Jest to szczególnie cenne, gdy wielkość próby jest umiarkowana i nie możesz pozwolić sobie na wariancję, którą pozostawiłoby proste losowanie. Nie używaj blokowania, gdy nie masz znaczących kowariantów prognostycznych — narzut jest niepotrzebny, a ograniczenia rozmiaru bloku mogą zmniejszyć moc. Unikaj go, gdy zmienna blokująca jest zbyt drobna, aby uzyskać bloki z co najmniej kilkoma jednostkami na warunek, lub gdy przynależność do bloku nie może być określona przed przypisaniem.
Ograniczenia i uwagi
- Wymaga wcześniejszej identyfikacji zmiennych blokujących; zmienne nieznane lub niemierzone przed przypisaniem nie mogą być używane do blokowania.
- Bardzo małe rozmiary bloków (np. tylko 2–4 jednostki na blok) zmniejszają niezawodność losowania wewnątrz bloku i mogą zaszkodzić mocy, zamiast jej pomagać.
- Analiza jest bardziej złożona niż prosty test t dla dwóch prób; struktura blokowa musi być prawidłowo uwzględniona w modelu statystycznym.
- Blokowanie na niewłaściwej zmiennej (nie skorelowanej z wynikiem) nie zapewnia redukcji wariancji i dodaje narzut analityczny.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Redukuje wariancję błędu eksperymentalnego przypisywaną znanym kowariantom prognostycznym, zwiększając moc statystyczną bez zwiększania wielkości próby.
- Chroni przed przypadkową nierównowagą kowariantów, która mogłaby zniekształcić oszacowania efektu interwencji w skończonych próbach.
- Oszacowania blokowe same w sobie mogą dostarczyć użytecznych spostrzeżeń na temat heterogenicznych efektów interwencji w różnych segmentach.
- Szeroko wspierane w standardowych pakietach statystycznych (ANOVA, regresja ze wskaźnikami, modele mieszane).
- Bezpośrednio analogiczne do złotego standardu projektu blokowego stosowanego w badaniach klinicznych i rolniczych, co nadaje podejściu silną wiarygodność metodologiczną.
Zastosowania
- Eksperymenty produktowe online z blokowaniem według typu urządzenia (mobilne vs. stacjonarne) lub platformy w celu porównania wariantów interfejsu użytkownika.
- Pilotażowe badania kliniczne z blokowaniem według ośrodka klinicznego lub nasilenia objawów wyjściowych w celu porównania dwóch protokołów leczenia.
- Eksperymenty z technologiami edukacyjnymi z blokowaniem według szkoły lub poziomu klasy w celu oceny wpływu nowego narzędzia do nauki.
- Testy marketingowe e-maili z blokowaniem według etapu cyklu życia klienta w celu zmierzenia wpływu wariantów linii tematu na wskaźniki otwarć.
- Badania rolnicze i środowiskowe z blokowaniem według lokalizacji pola lub typu gleby w celu porównania odmian upraw lub interwencji.
Jak to działa
Jak to działa
Określ hipotezę (np. wariant B zwiększa współczynnik konwersji), wybierz główną metrykę i zidentyfikuj zmienne blokujące — cechy znane lub podejrzewane o wpływ na wynik. Dobre zmienne blokujące są mierzalne przed przypisaniem interwencji, skorelowane z wynikiem i nie są spowodowane samą interwencją.
Podziel wszystkie kwalifikujące się jednostki na wzajemnie wykluczające się, wyczerpujące bloki na podstawie wybranych zmiennych blokujących. Każdy blok grupuje jednostki, które są jak najbardziej podobne pod względem tych zmiennych. Liczba bloków powinna być utrzymana na rozsądnym poziomie; bardzo drobne blokowanie może zmniejszyć moc statystyczną, jeśli rozmiary bloków staną się zbyt małe.
W ramach każdego bloku losowo przypisz jednostki do warunku A (kontrolnego) lub warunku B (eksperymentalnego) z równym (lub predefiniowanym) prawdopodobieństwem. To losowanie wewnątrz bloku jest kluczowym krokiem, który sprawia, że projekt jest zarówno uczciwy, jak i analitycznie wykonalny. Zapisz przynależność do bloku dla każdej jednostki przed rozpoczęciem ekspozycji.
Dostarcz przypisany wariant każdej jednostce przez cały okres eksperymentalny. Utrzymuj separację między warunkami, aby zapobiec zanieczyszczeniu. Zbieraj dane o wynikach wraz z identyfikatorami bloków, aby struktura blokowa była zachowana do fazy analizy.
Analizuj wyniki za pomocą modelu, który uwzględnia bloki — zazwyczaj dwukierunkowa ANOVA lub regresja ze wskaźnikami bloków jako kowariancjami, lub równoważna metoda porównań parami, jeśli bloki zawierają dokładnie jedną jednostkę na warunek. Człony blokowe absorbują wariancję przypisywaną zmiennej blokującej, pozostawiając czystsze oszacowanie efektu interwencji i węższy przedział ufności.
Częste pułapki
- Ignorowanie struktury blokowej podczas analizy — przeprowadzanie zwykłego testu t bez wskaźników bloków oznacza utratę redukcji wariancji, którą miało zapewnić blokowanie, i może zwiększyć wartość p.
- Blokowanie post-hoc — definiowanie bloków po zaobserwowaniu wyników wprowadza błąd i nie jest prawidłowym projektem z blokowaniem.
- Nadmierne blokowanie z zbyt wieloma zmiennymi blokującymi prowadzi do bardzo małych, niepraktycznych rozmiarów bloków i może wyeliminować korzyści statystyczne projektu.
- Mylenie blokowania ze stratyfikacją — blokowanie jest mechanizmem przypisania stosowanym do ustalonej populacji jednostek eksperymentalnych, a nie strategią próbkowania.
Najczęściej zadawane pytania
Jaka jest różnica między zablokowanym testem A/B a testem A/B z warstwami?
Terminy te są często używane zamiennie w zastosowaniach praktycznych. Ściśle rzecz biorąc, blokowanie jest koncepcją projektową (przypisanie jednostek w grupach), podczas gdy stratyfikacja może odnosić się zarówno do projektu, jak i analizy (post-hoc ponowne ważenie). W zablokowanym teście A/B losowanie odbywa się oddzielnie w każdym bloku przed ekspozycją. W analizie stratyfikowanej można było losować bez blokowania, ale następnie zastosować ponowne ważenie lub korektę post-hoc według warstwy. Blokowanie na etapie projektowania jest zazwyczaj potężniejsze niż stratyfikacja na etapie analizy.
Jak wybrać zmienne do blokowania?
Blokuj na zmiennych, które (1) można zmierzyć przed przypisaniem interwencji, (2) oczekuje się, że będą skorelowane z główną metryką wyniku, i (3) nie są spowodowane samą interwencją. Typowe wybory w eksperymentach online obejmują typ urządzenia, kohortę stażu użytkownika i region geograficzny. Unikaj blokowania na zmiennych z wieloma kategoriami, chyba że próba jest wystarczająco duża, aby utrzymać odpowiednie rozmiary bloków.
Czy blokowanie zmienia wymagania dotyczące wielkości próby?
Blokowanie może zmniejszyć wielkość próby potrzebną do osiągnięcia danego poziomu mocy, ponieważ usuwa wariancję przypisywaną zmiennej blokującej z członu błędu. Zysk wydajności zależy od tego, jak silnie zmienna blokująca jest skorelowana z wynikiem. Jeśli korelacja jest niska, blokowanie przynosi niewielkie korzyści, a prosty test A/B może wymagać mniejszych zasobów analitycznych.
Czy mogę użyć projektu z blokowaniem dla więcej niż dwóch wariantów?
Tak. Gdy istnieje więcej niż dwa warunki, projekt nazywa się zablokowanym eksperymentem wieloramiennym lub losowym, kompletnym projektem blokowym z wieloma interwencjami. Jednostki w każdym bloku są losowo przypisywane do jednego z k warunków. Analiza uogólnia się na ANOVA lub regresję ze wskaźnikami bloków i interwencji, a następnie na zaplanowane lub post-hoc porównania.
Co się stanie, jeśli zapomnę uwzględnić wskaźniki bloków w mojej analizie?
Pominięcie wskaźników bloków oznacza utratę redukcji wariancji uzyskanej dzięki blokowaniu. Co gorsza, jeśli rozmiary bloków są nierówne, naiwne oszacowanie może być obciążone. Zawsze uwzględniaj stałe efekty bloków (lub człon losowy) w modelu statystycznym, aby uszanować projekt z blokowaniem i odzyskać zyski wydajności.
Pokrewne metody
Źródła
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
Otwórz odnośnik do publikacjiSkopiowano.Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN: 9781108724265Skopiowano.