Blocked A/B Test — Block-Randomisierter Split-Test
- Eingeführt von
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- Jahr
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- Typ
- Randomized controlled experiment with variance reduction
- Familie
- Experimental design
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Ein Block-A/B-Test ist ein experimentelles Design, das Einheiten (Benutzer, Subjekte oder Cluster) vor der zufälligen Zuweisung zur Behandlung A oder B innerhalb jedes Blocks in homogene Blöcke unterteilt.
Blockbildung reduziert das Rauschen innerhalb des Experiments, indem sichergestellt wird, dass bekannte Variationsquellen – wie Gerätetyp, Geografie oder Nutzungsdauer – über die Bedingungen hinweg ausgeglichen sind, was präzisere Schätzungen des Behandlungseffekts als ein einfacher, nicht geblockter A/B-Test liefert.
Die Intuition hinter der Methode
Stellen Sie sich vor, Sie testen eine neue Farbe für die Checkout-Schaltfläche auf einer E-Commerce-Website. Die Kaufraten unterscheiden sich erheblich zwischen Mobil- und Desktop-Benutzern. Eine naive zufällige Aufteilung kann versehentlich einer Variante mehr Mobilbenutzer zuweisen. Die Blockbildung löst dieses Problem: Teilen Sie zunächst alle Benutzer in Mobil- und Desktop-Blöcke auf und werfen Sie dann innerhalb jedes Blocks eine faire Münze, um A oder B zuzuweisen. Nun sehen beide Varianten proportional gleiche Anteile von Mobil- und Desktop-Benutzern. Der Behandlungsvergleich wird innerhalb der Blöcke durchgeführt, sodass gerätebedingte Variationen aus dem Fehlerterm entfernt werden, was das Experiment empfindlicher für die tatsächlichen Auswirkungen der Schaltflächenfarbe macht.
Geschichte
Das Prinzip der Blockbildung im experimentellen Design wurde von R. A. Fisher in seiner Arbeit von 1926 über die Anordnung von Feldversuchen formalisiert und in seinem Buch The Design of Experiments von 1935 weiterentwickelt. Fisher führte die Blockbildung als Mittel zur Isolierung und Entfernung bekannter Heterogenitätsquellen ein, wodurch die Präzision von Behandlungsvergleichen verbessert wurde. Der Ansatz wurde anschließend im randomisierten vollständigen Blockdesign (RCBD) kodifiziert. In den 2000er und 2010er Jahren passten Technologieunternehmen die Blockbildung für groß angelegte Online-A/B-Tests an und nutzten Benutzerattribute wie Gerätetyp oder Kontenalter als Blockvariablen, um zuverlässigere kausale Schätzungen aus Web-Experimenten zu erhalten.
Wann wird sie eingesetzt?
Verwenden Sie einen Block-A/B-Test, wenn Sie im Voraus wissen, dass eine Kovariate (Gerätetyp, Benutzersegment, geografische Region, Zeitraum) mit Ihrer primären Metrik korreliert ist und Sie verhindern möchten, dass eine Ungleichheit bei dieser Kovariate Ihre Fehlerschätzung aufbläht. Er ist besonders wertvoll, wenn die Stichprobengrößen moderat sind und Sie sich die Varianz, die eine einfache Randomisierung hinterlassen würde, nicht leisten können. Verwenden Sie keine Blockbildung, wenn Sie keine aussagekräftigen prognostischen Kovariaten haben – der Aufwand ist unnötig und die Blockgrößenbeschränkungen können die Aussagekraft verringern. Vermeiden Sie sie, wenn die Blockvariable zu feingranular ist, um Blöcke mit mindestens einigen Einheiten pro Bedingung zu ergeben, oder wenn die Blockzugehörigkeit nicht vor der Zuweisung bestimmt werden kann.
Grenzen und Hinweise
- Erfordert die Vorabidentifizierung von Blockvariablen; Variablen, die vor der Zuweisung nicht bekannt oder nicht gemessen wurden, können nicht zur Blockbildung verwendet werden.
- Sehr kleine Blockgrößen (z. B. nur 2–4 Einheiten pro Block) verringern die Zuverlässigkeit der Randomisierung innerhalb des Blocks und können die Aussagekraft beeinträchtigen, anstatt sie zu verbessern.
- Die Analyse ist komplexer als ein einfacher Zwei-Stichproben-t-Test; die Blockstruktur muss korrekt in das statistische Modell einbezogen werden.
- Die Blockbildung auf der falschen Variable (einer, die nicht mit dem Ergebnis korreliert) bietet keine Varianzreduktion und erhöht den analytischen Aufwand.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Reduziert die experimentelle Fehlervarianz, die bekannten prognostischen Kovariaten zuzurechnen ist, und erhöht die statistische Aussagekraft, ohne die Stichprobengröße zu erhöhen.
- Schützt vor versehentlicher Kovariaten-Ungleichheit, die die Schätzungen des Behandlungseffekts bei endlichen Stichproben verzerren könnte.
- Blockschätzungen können selbst nützliche Einblicke in heterogene Behandlungseffekte über Segmente hinweg liefern.
- Weitgehend unterstützt in Standard-Statistikpaketen (ANOVA, Regression mit Indikatoren, gemischte Modelle).
- Direkt analog zum Goldstandard-Blockdesign in der klinischen und landwirtschaftlichen Forschung, was dem Ansatz eine starke methodische Glaubwürdigkeit verleiht.
Anwendungen
- Online-Produktexperimente, die nach Gerätetyp (Mobil vs. Desktop) oder Plattform geblockt werden, um UI-Varianten zu vergleichen.
- Klinische Pilotstudien, die nach klinischem Standort oder Basis-Schweregrad geblockt werden, um zwei Behandlungsprotokolle zu vergleichen.
- Experimente mit Bildungstechnologie, die nach Schule oder Klassenstufe geblockt werden, um die Wirkung eines neuen Lernwerkzeugs zu bewerten.
- Marketing-E-Mail-Tests, die nach der Lebenszyklusphase des Kunden geblockt werden, um die Auswirkung von Betreffzeilenvarianten auf die Öffnungsraten zu messen.
- Agrar- und Umweltstudien, die nach Standort oder Bodentyp geblockt werden, um verschiedene Pflanzensorten oder Interventionen zu vergleichen.
So funktioniert es
So funktioniert es
Formulieren Sie die Hypothese (z. B. Variante B erhöht die Konversionsrate), wählen Sie die primäre Metrik und identifizieren Sie die Blockvariablen – Merkmale, von denen bekannt ist oder vermutet wird, dass sie das Ergebnis beeinflussen. Gute Blockvariablen sind vor der Zuweisung der Behandlung messbar, korrelieren mit dem Ergebnis und werden nicht durch die Behandlung selbst verursacht.
Teilen Sie alle berechtigten Einheiten basierend auf den ausgewählten Blockvariablen in sich gegenseitig ausschließende, erschöpfende Blöcke auf. Jeder Block gruppiert Einheiten, die in Bezug auf diese Variablen so ähnlich wie möglich sind. Die Anzahl der Blöcke sollte überschaubar bleiben; eine sehr feingranulare Blockbildung kann die statistische Aussagekraft verringern, wenn die Blockgrößen zu klein werden.
Innerhalb jedes Blocks weisen Sie Einheiten mit gleicher (oder vordefinierter) Wahrscheinlichkeit zufällig der Bedingung A (Kontrolle) oder B (Behandlung) zu. Diese Randomisierung innerhalb des Blocks ist der Kernschritt, der das Design sowohl fair als auch analytisch handhabbar macht. Erfassen Sie die Blockzugehörigkeit für jede Einheit, bevor die Exposition beginnt.
Liefern Sie die zugewiesene Variante für die gesamte experimentelle Periode an jede Einheit. Halten Sie die Trennung zwischen den Bedingungen aufrecht, um eine Kontamination zu verhindern. Sammeln Sie die Ergebnisdaten zusammen mit den Blockidentifikatoren, damit die Blockstruktur bis zur Analysephase erhalten bleibt.
Analysieren Sie die Ergebnisse mit einem Modell, das die Blöcke berücksichtigt – typischerweise eine Zwei-Wege-ANOVA oder eine Regression mit Blockindikatoren als Kovariaten oder das paarweise Vergleichsäquivalent, wenn Blöcke genau eine Einheit pro Bedingung enthalten. Die Blockterme absorbieren die Varianz, die den Blockvariablen zuzurechnen ist, und hinterlassen eine sauberere Schätzung des Behandlungseffekts und ein engeres Konfidenzintervall.
Häufige Fallstricke
- Das Ignorieren der Blockstruktur bei der Analyse – die Durchführung eines gewöhnlichen t-Tests ohne Blockindikatoren verwirft die Varianzreduktion, die die Blockbildung liefern sollte, und kann den p-Wert aufblähen.
- Post-hoc-Blockbildung – die Definition von Blöcken nach der Betrachtung der Ergebnisse führt zu Verzerrungen und ist kein gültiges Blockdesign.
- Übermäßige Blockbildung mit zu vielen Blockvariablen führt zu winzigen, unpraktischen Blockgrößen und kann die statistischen Gewinne des Designs zunichtemachen.
- Verwechslung von Blockbildung mit geschichteter Stichprobenziehung – Blockbildung ist ein Zuweisungsmechanismus, der auf eine feste Population von experimentellen Einheiten angewendet wird, keine Stichprobenstrategie.
Häufig gestellte Fragen
Was ist der Unterschied zwischen einem Block-A/B-Test und einem geschichteten A/B-Test?
Die Begriffe werden in der angewandten Praxis oft austauschbar verwendet. Streng genommen ist Blockbildung ein Designkonzept (Zuweisung von Einheiten innerhalb von Gruppen), während Schichtung sich entweder auf das Design oder die Analyse (post-hoc-Neugewichtung) beziehen kann. Bei einem Block-A/B-Test erfolgt die Randomisierung getrennt innerhalb jedes Blocks vor der Exposition. Bei einer geschichteten Analyse haben Sie möglicherweise ohne Blockbildung randomisiert, aber nachträglich nach Schicht neu gewichtet oder angepasst. Die Blockbildung zum Zeitpunkt des Designs ist im Allgemeinen aussagekräftiger als die Schichtung zur Analysezeit.
Wie wähle ich aus, auf welche Variablen ich blocken soll?
Blocken Sie auf Variablen, die (1) Sie vor der Zuweisung der Behandlung messen können, (2) voraussichtlich mit der primären Ergebnis-Metrik korrelieren und (3) nicht durch die Behandlung selbst verursacht werden. Häufige Auswahlmöglichkeiten bei Online-Experimenten sind Gerätetyp, Benutzer-Kohorte und geografische Region. Vermeiden Sie die Blockbildung auf Variablen mit vielen Kategorien, es sei denn, Ihre Stichprobe ist groß genug, um angemessene Blockgrößen aufrechtzuerhalten.
Ändert die Blockbildung die Stichprobengrößenanforderung?
Die Blockbildung kann die zur Erzielung eines bestimmten Aussagekraftniveaus erforderliche Stichprobengröße reduzieren, da sie die Varianz, die der Blockvariablen zuzurechnen ist, aus dem Fehlerterm entfernt. Die Effizienzsteigerung hängt davon ab, wie stark die Blockvariable mit dem Ergebnis korreliert. Wenn die Korrelation gering ist, bringt die Blockbildung wenig Nutzen und ein einfacher A/B-Test erfordert möglicherweise weniger analytische Ressourcen.
Kann ich ein Blockdesign mit mehr als zwei Varianten verwenden?
Ja. Wenn es mehr als zwei Bedingungen gibt, wird das Design als Block-Mehrarm-Experiment oder als randomisiertes vollständiges Blockdesign mit mehreren Behandlungen bezeichnet. Einheiten innerhalb jedes Blocks werden zufällig einer von k Bedingungen zugewiesen. Die Analyse verallgemeinert sich auf ANOVA oder Regression mit Block- und Behandlungsindikatoren, gefolgt von geplanten oder Post-hoc-Vergleichen.
Was passiert, wenn ich vergesse, Blockindikatoren in meine Analyse aufzunehmen?
Das Weglassen von Blockindikatoren bedeutet, dass die Varianzreduktion durch die Blockbildung verloren geht. Schlimmer noch, wenn die Blockgrößen ungleich sind, kann die naive Schätzung verzerrt sein. Fügen Sie immer Block-Festwerteffekte (oder einen Zufallseffekttterm) in das statistische Modell ein, um das Blockdesign zu berücksichtigen und die Effizienzgewinne zu erzielen.
Verwandte Methoden
Quellen
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
Publikationsreferenz öffnenKopiert.Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN: 9781108724265Kopiert.