Przejdź do treści
Wróć do wyników wyszukiwania

Faktorialny test A/B — wieloczynnikowy kontrolowany eksperyment online

Autor metody
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
Rok
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
Typ
Controlled online/field experiment
Rodzina
Experimental design

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Faktorialny test A/B to kontrolowany eksperyment online, który jednocześnie manipuluje dwoma lub więcej niezależnymi czynnikami, każdy na dwóch lub więcej poziomach, eksponując różne grupy użytkowników na każdą kombinację poziomów czynników.

Zakorzeniony w projekcie faktorialnym Fishera i zoperacjonalizowany na dużą skalę przez firmy technologiczne, umożliwia badaczom oszacowanie zarówno niezależnego efektu głównego każdego czynnika, jak i efektów interakcji między czynnikami — wszystko z pojedynczego przebiegu eksperymentalnego.

Intuicja stojąca za metodą

Załóżmy, że chcesz wiedzieć, czy nowy nagłówek poprawia konwersje, a także czy nowy kolor przycisku pomaga — ale podejrzewasz również, że te dwie zmiany mogą ze sobą oddziaływać. Prosty test A/B może odpowiedzieć na jedno pytanie naraz; faktorialny test A/B uruchamia wszystkie kombinacje jednocześnie (stary nagłówek + stary przycisk, stary nagłówek + nowy przycisk, nowy nagłówek + stary przycisk, nowy nagłówek + nowy przycisk) i mówi nie tylko, które czynniki mają znaczenie, ale także, czy ich efekty wzmacniają się, czy znoszą. Uzyskujesz więcej odpowiedzi przy tym samym ruchu i unikasz pułapki wdrażania dwóch zmian, których indywidualne korzyści znikają po połączeniu.

Historia

Matematyczne podstawy eksperymentów faktorialnych zostały położone przez Ronalda A. Fishera i Franka Yatesa w Rothamsted Experimental Station w latach 20. i 30. XX wieku, skodyfikowane w pracy Fishera The Design of Experiments (1935). Przez dziesięciolecia metoda była używana głównie w rolnictwie, przemyśle i badaniach klinicznych. Wraz z rozwojem platform internetowych na dużą skalę w latach 2000., Google, Microsoft i Amazon uprzemysłowiły podejście jako faktorialne testy A/B, umożliwiając szybką, jednoczesną ocenę wielu zmian produktu na milionach użytkowników. Podręcznik Kohavi et al. z 2020 roku usystematyzował obecną praktykę branżową.

Kiedy stosować

Użyj faktorialnego testu A/B, gdy musisz ocenić dwie lub więcej niezależnych zmian w jednym eksperymencie i gdy masz powody, by podejrzewać, że te czynniki mogą ze sobą oddziaływać. Jest to właściwy wybór, gdy ruch jest wystarczający do zasilenia wszystkich komórek jednocześnie — ogólna zasada mówi, że potrzebujesz tej samej próby na komórkę co w standardowym teście A/B, pomnożonej przez liczbę komórek. Nie używaj go, gdy ruch jest niewielki i nie możesz zasilić wszystkich komórek; w takim przypadku zamiast tego przeprowadź sekwencyjne testy A/B. Unikaj go, gdy czynniki są znane jako w pełni niezależne, a efekty interakcji są teoretycznie nieprawdopodobne — w takim przypadku oddzielne testy A/B są prostsze do komunikowania. Unikaj go również, gdy zaangażowanych jest więcej niż cztery lub pięć czynników bez strategii ułamkowego projektu faktorialnego, ponieważ liczba komórek i złożoność interpretacji rosną kombinatorycznie.

Ograniczenia i uwagi

  • Wymagania dotyczące wielkości próby skalują się wraz z liczbą komórek; projekt 2×2×2 wymaga ośmiokrotnie większej liczby N na komórkę niż prosty test dwuramienny, co może być niewykonalne dla produktów o niskim ruchu.
  • Interakcje wyższego rzędu (trójczynnikowe, czteroczynnikowe) są trudne do interpretacji i często niedostatecznie zasilane nawet w dużych eksperymentach.
  • Wyniki są specyficzne dla populacji użytkowników i kontekstu eksperymentu i mogą nie uogólniać się na różne platformy, sezony czy rynki.
  • Analiza i komunikacja efektów interakcji wymaga statystycznego wyrafinowania, którego interesariusze mogą nie posiadać.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Testuje wiele czynników w jednym eksperymencie, skracając całkowity czas kalendarzowy i koszt ruchu w porównaniu do sekwencyjnych testów A/B.
  • Wykrywa i kwantyfikuje efekty interakcji, których sekwencyjne testowanie nie może ujawnić, zapobiegając wdrażaniu kombinacji, których korzyści się nie sumują.
  • Pełne projekty faktorialne są statystycznie wydajne — ortogonalne przypisanie czynników oznacza, że efekty główne i interakcje są szacowane niezależnie.
  • Obsługuje jasne, z góry określone plany analizy i jest zgodny ze standardowymi ramami wnioskowania częstościowego (ANOVA, regresja) i bayesowskiego.
  • Szeroko stosowany w przemyśle (technologia, e-commerce, farmacja) i poparty dojrzałą literaturą dotyczącą projektowania i analizy.

Zastosowania

  • Jednoczesne testowanie treści nagłówka i obrazu głównego na stronie docelowej w celu zidentyfikowania zwycięskiej kombinacji, która maksymalizuje wskaźnik rejestracji.
  • Ocena dwóch wariantów tematu wiadomości e-mail skrzyżowanych z dwoma wariantami czasu wysyłki w celu ustalenia, czy czas oddziałuje z komunikatem w zwiększaniu wskaźników otwarć.
  • Przeprowadzenie badania klinicznego 2×2, które jednocześnie randomizuje uczestników do grupy przyjmującej lek versus placebo oraz do interwencji behawioralnej versus standardowej opieki.
  • Optymalizacja procesu realizacji zamówienia poprzez jednoczesne zmienianie umiejscowienia przycisku i długości formularza w celu znalezienia komórki z najniższym wskaźnikiem porzuceń koszyka.
  • Ocena wspólnego wpływu algorytmu rekomendacji i układu wyświetlania na czas oglądania na platformie streamingowej.
  • Badania zależności dawka-odpowiedź w farmacji, które krzyżują poziom dawki z drogą podania w celu oszacowania efektów głównych i interakcji w jednym protokole.

Jak to działa

Jak to działa

1

Zidentyfikuj niezależne czynniki (zmienne) do przetestowania i określ dyskretne poziomy, jakie przyjmie każdy czynnik. W faktorialnym teście A/B 2×2 istnieją dwa czynniki, każdy na dwóch poziomach, co daje cztery komórki traktowania. Większe projekty (2×2×2, 3×2 itd.) są możliwe, ale proporcjonalnie zwiększają wymagania dotyczące wielkości próby.

2

Wymień wszystkie kombinacje poziomów czynników — są to komórki eksperymentalne lub ramiona. W przypadku pełnego projektu faktorialnego uwzględniona jest każda kombinacja; jeśli liczba komórek jest zbyt duża, można zastosować ułamkowy projekt faktorialny, poświęcając zdolność do oszacowania interakcji wyższego rzędu w zamian za mniejszy eksperyment.

3

Użytkownicy (lub sesje) są losowo przypisywani do dokładnie jednej komórki, zazwyczaj za pomocą funkcji skrótu stabilnego identyfikatora użytkownika modulo liczba komórek, co zapewnia zrównoważoną i niezależną alokację. Randomizacja eliminuje błąd selekcji i jest cechą, która odróżnia faktorialny test A/B od obserwacyjnej analizy wielowymiarowej.

4

Eksperyment jest prowadzony przez z góry określony czas — wystarczająco długi, aby osiągnąć docelową wielkość próby na komórkę i uwzględnić tygodniowe efekty sezonowości (zazwyczaj co najmniej jeden pełny tydzień). Metryki wyników (współczynnik konwersji, przychód na użytkownika, czas zaangażowania itp.) są rejestrowane na poziomie użytkownika lub sesji dla każdej komórki przez cały okres ekspozycji.

5

Główna analiza wykorzystuje faktorialną ANOVA lub ramy regresji, które dzielą wariancję na efekty główne (jeden na czynnik) i efekty interakcji (jeden na parę czynników oraz człony wyższego rzędu, jeśli projekt jest pełnym projektem faktorialnym). Wielkości efektów, przedziały ufności i skorygowane pod kątem wielokrotności wartości p (np. Bonferroniego lub Benjamini-Hochberga) są raportowane dla każdego oszacowanego efektu.

6

Interpretuj wzorzec efektów głównych i interakcji. Jeśli istnieje znacząca interakcja, same efekty główne mogą wprowadzać w błąd — zwycięską kombinację należy zidentyfikować na podstawie średnich komórek, a nie na podstawie średniej marginalnej każdego czynnika. Zwycięska komórka (lub komórki) jest następnie wdrażana dla 100% użytkowników.

Częste pułapki

  • Ignorowanie znaczących interakcji — raportowanie tylko efektów głównych, gdy występuje interakcja, prowadzi do błędnych rekomendacji; zawsze należy sprawdzać wykresy interakcji przed interpretacją efektów poszczególnych czynników.
  • Niedostateczne zasilanie poszczególnych komórek — projektanci czasami obliczają moc dla całego eksperymentu, a nie na komórkę, co prowadzi do eksperymentów, które nie mogą wiarygodnie wykryć interesujących efektów w każdym ramieniu.
  • Niezależność czynników — jeśli implementacja jednego poziomu czynnika zmienia znaczenie innego (np. zmiana układu, która ukrywa testowany przycisk), założenie faktorialne ortogonalności jest naruszone, a oszacowania interakcji są bezsensowne.
  • Uruchamianie zbyt wielu czynników bez strategii ułamkowego projektu faktorialnego — nieplanowany pełny projekt faktorialny z wieloma czynnikami tworzy nieporęczną liczbę komórek i zwiększa wskaźnik fałszywych odkryć, gdy testowanych jest wiele efektów.
  • Efekty nowości — w krótkotrwałych eksperymentach online zachowanie użytkowników może odzwierciedlać ciekawość zmiany, a nie stabilne preferencje, zawyżając oszacowania efektów, które nie utrzymują się po pełnym wdrożeniu.

Najczęściej zadawane pytania

Czym różni się faktorialny test A/B od przeprowadzania wielu oddzielnych testów A/B?

Sekwencyjne testy A/B nie są w stanie wykryć, czy dwa czynniki oddziałują — możesz odkryć, że każda zmiana indywidualnie poprawia konwersję, ale wdrożenie obu faktycznie szkodzi wydajności. Faktorialny test A/B uruchamia wszystkie kombinacje jednocześnie, więc bezpośrednio szacuje efekty interakcji. Kończy się również szybciej, jeśli masz odpowiedni ruch, ponieważ testujesz wszystko w jednym eksperymencie, a nie sekwencyjnie.

Kiedy powinienem użyć ułamkowego, a nie pełnego projektu faktorialnego?

Pełny projekt faktorialny testuje każdą kombinację każdego poziomu czynnika. Gdy liczba czynników jest duża (zazwyczaj pięć lub więcej), liczba komórek staje się niepraktycznie duża. Ułamkowy projekt faktorialny testuje tylko strategicznie wybraną podgrupę komórek — wystarczającą do oszacowania efektów głównych i interakcji niskiego rzędu, poświęcając informacje o interakcjach wysokiego rzędu, które rzadko są praktycznie ważne. Jeśli masz wiele czynników i ograniczony ruch, rozważ ułamkowy projekt faktorialny lub strategię testowania sekwencyjnego.

Jak radzić sobie z wieloma porównaniami w faktorialnym teście A/B?

Każdy efekt główny i każdy człon interakcji to oddzielna hipoteza. Bez korekty, rodzinny wskaźnik fałszywych odkryć wzrasta wraz z liczbą testów. Typowe podejścia obejmują korektę Bonferroniego (konserwatywna, kontroluje błąd rodzinny), procedurę Benjamini-Hochberga (kontroluje wskaźnik fałszywych odkryć, większa moc) lub ramy bayesowskie, które naturalnie propagują niepewność we wszystkich efektach. Metoda korekcji powinna być z góry określona w planie analizy.

Jakiej wielkości próby potrzebuję?

Standardowa zasada to zasilanie każdej komórki tak, jak w dwuramiennym teście A/B — oblicz wymaganą liczbę N dla oczekiwanej wielkości efektu i pożądanej mocy, a następnie pomnóż przez całkowitą liczbę komórek. Dla projektu 2×2 oznacza to czterokrotnie większą liczbę N na ramię niż w standardowym teście A/B. Jeśli zasilanie wszystkich komórek jest niewykonalne, rozważ ułamkowy projekt faktorialny lub zmniejszenie liczby czynników.

Czy mogę analizować faktorialny test A/B za pomocą prostego testu t dla każdej pary?

Nie. Parowe testy t między komórkami ignorują strukturę faktorialną, zawyżają wskaźnik fałszywych odkryć i — co najważniejsze — nie szacują efektów interakcji. Prawidłową analizą jest faktorialna ANOVA lub równoważny model regresji ze zmiennymi wskaźnikowymi dla każdego czynnika i ich iloczynów (członów interakcji). Tylko to podejście prawidłowo dzieli wariancję na efekty główne i interakcje.

Pokrewne metody

Źródła

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 978-1108724265
    Skopiowano.
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    ISBN: 978-1119113478
    Skopiowano.