İçeriğe atla
Arama sonuçlarına dön

Engelli A/B Testi — Bloklu Rastgele Bölme Testi

Ortaya koyan
R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
Yıl
1926 (blocking principle); 2000s–2010s (online A/B testing application)
Tür
Randomized controlled experiment with variance reduction
Aile
Experimental design

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Engelli bir A/B testi, birimlerin (kullanıcılar, denekler veya kümeler) her blok içinde tedavi A veya tedavi B'ye rastgele atanmadan önce homojen bloklara ayrıldığı bir deneysel tasarımdır.

Bloklama, varyasyonun bilinen kaynaklarının — cihaz türü, coğrafya veya kullanıcı süresi gibi — koşullar arasında dengelenmesini sağlayarak deney içi gürültüyü azaltır ve basit engelsiz bir A/B testinden daha kesin tedavi etkisi tahminleri sağlar.

Yöntemin mantığı

Bir e-ticaret sitesinde yeni bir ödeme düğmesi rengini test ettiğinizi hayal edin. Satın alma oranları mobil ve masaüstü kullanıcıları arasında belirgin şekilde farklılık gösterir, bu nedenle naif bir rastgele bölme, bir varyanta yanlışlıkla daha fazla mobil kullanıcı verebilir. Bloklama bunu çözer: önce tüm kullanıcıları mobil ve masaüstü bloklarına ayırın, ardından her blok içinde adil bir yazı tura atarak A veya B'yi atayın. Şimdi her iki varyant da mobil ve masaüstü kullanıcılarının orantılı olarak eşit paylarını görür. Tedavi karşılaştırması bloklar içinde yapılır, böylece cihaz kaynaklı varyasyon hata teriminden çıkarılır ve deney düğme renginin gerçek etkisine daha duyarlı hale gelir.

Tarih

Deneysel tasarımda bloklama ilkesi, R. A. Fisher tarafından 1926 tarihli saha deneylerinin düzenlenmesi üzerine yazdığı makalede biçimlendirilmiş ve 1935 tarihli The Design of Experiments kitabında daha da geliştirilmiştir. Fisher, bloklamayı heterojenliğin bilinen kaynaklarını izole etmek ve kaldırmak, böylece tedavi karşılaştırmalarının kesinliğini iyileştirmek için bir yol olarak tanıttı. Yaklaşım daha sonra rastgele tam blok tasarımı (RCBD) olarak kodlanmıştır. 2000'ler ve 2010'larda teknoloji şirketleri, web deneylerinden daha güvenilir nedensel tahminler elde etmek için kullanıcı özniteliklerini (cihaz türü veya hesap yaşı gibi) bloklama değişkenleri olarak kullanarak bloklamayı büyük ölçekli çevrimiçi A/B testlerine uyarladı.

Ne zaman kullanılır?

Bir kovaryetin (cihaz türü, kullanıcı segmenti, coğrafi bölge, zaman perdesc) birincil metriğinizle ilişkili olduğunu önceden bildiğinizde ve o kovaryet üzerindeki dengesizliğin hata tahmininizi şişirmesini önlemek istediğinizde engelli bir A/B testi kullanın. Özellikle örneklem boyutlarının orta düzeyde olduğu ve basit rastgeleleştirmenin hata içinde bırakacağı varyansı karşılayamayacağınız durumlarda değerlidir. Anlamlı prognostik kovaryetleriniz olmadığında bloklama kullanmayın — ek yük gereksizdir ve blok boyutu kısıtlamaları gücü azaltabilir. Bloklama değişkeninin her koşulda en az birkaç birim içeren bloklar oluşturamayacak kadar ince taneli olduğu veya blok üyeliğinin atamadan önce belirlenemediği durumlarda kaçının.

Sınırlar ve dikkat edilmesi gerekenler

  • Bloklama değişkenlerinin önceden tanımlanmasını gerektirir; atamadan önce bilinmeyen veya ölçülmeyen değişkenler bloklama için kullanılamaz.
  • Çok küçük blok boyutları (örneğin, blok başına yalnızca 2-4 birim) blok içi rastgeleleştirmenin güvenilirliğini azaltır ve güce yardımcı olmak yerine zarar verebilir.
  • Analiz, basit bir iki örneklem t-testinden daha karmaşıktır; blok yapısı istatistiksel modele doğru bir şekilde dahil edilmelidir.
  • Yanlış değişkene bloklama (sonuçla ilişkisiz olan) varyans azaltımı sağlamaz ve analitik ek yük ekler.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Bilinen prognostik kovaryetlere atfedilebilen deneysel hata varyansını azaltır, örneklem boyutunu artırmadan istatistiksel gücü artırır.
  • Sonlu örneklemlerde tedavi etkisi tahminlerini yanlı hale getirebilecek kazara kovaryet dengesizliğine karşı korur.
  • Blok tahminleri, segmentler arasında heterojen tedavi etkileri hakkında faydalı bilgiler sağlayabilir.
  • Standart istatistiksel paketlerde (ANOVA, göstergelerle regresyon, karma modeller) yaygın olarak desteklenir.
  • Klinik ve tarımsal araştırmalarda kullanılan altın standart blok tasarımına doğrudan benzer, yaklaşıma güçlü metodolojik güvenilirlik kazandırır.

Uygulama alanları

  • Çevrimiçi ürün deneylerinde UI varyantlarını karşılaştırmak için cihaz türüne (mobil vs. masaüstü) veya platforma göre bloklama.
  • Klinik pilot çalışmalarında iki tedavi protokolünü karşılaştırmak için klinik siteye veya başlangıç ​​şiddetine göre bloklama.
  • Eğitim teknolojisi deneylerinde yeni bir öğrenme aracının etkisini değerlendirmek için okula veya sınıf düzeyine göre bloklama.
  • Pazarlama e-postası testlerinde, konu satırı varyantlarının açılma oranları üzerindeki etkisini ölçmek için müşteri yaşam döngüsü aşamasına göre bloklama.
  • Tarım ve çevre çalışmaları, ürün çeşitlerini veya müdahaleleri karşılaştırmak için saha konumuna veya toprak türüne göre bloklama.

Nasıl çalışır?

Nasıl çalışır?

1

Hipotezi belirtin (örneğin, varyant B dönüşüm oranını artırır), birincil metriği seçin ve bloklama değişkenlerini belirleyin — sonucu etkilediği bilinen veya şüphelenilen özellikler. İyi bloklama değişkenleri tedavi atamasından önce ölçülebilir, sonuçla ilişkili ve tedavinin kendisi tarafından neden olunmayan değişkenlerdir.

2

Tüm uygun birimleri seçilen bloklama değişkenlerine göre karşılıklı dışlayıcı, tam bloklara ayırın. Her blok, bu değişkenler üzerinde mümkün olduğunca benzer birimleri gruplandırır. Blok sayısı yönetilebilir tutulmalıdır; çok ince taneli bloklama, blok boyutları çok küçük olursa istatistiksel gücü azaltabilir.

3

Her blok içinde, birimleri eşit (veya önceden belirlenmiş) olasılıkla A (kontrol) veya B (tedavi) koşuluna rastgele atayın. Bu blok içi rastgeleleştirme, tasarımı hem adil hem de analitik olarak çözülebilir hale getiren temel adımdır. Maruz kalma başlamadan önce her birim için blok üyeliğini kaydedin.

4

Atanan varyantı deneysel süre boyunca her birime sunun. Kirlenmeyi önlemek için koşullar arasında ayrımı koruyun. Blok tanımlayıcılarıyla birlikte sonuç verilerini toplayın, böylece blok yapısı analiz aşamasına kadar korunur.

5

Blokları hesaba katan bir model kullanarak sonuçları analiz edin — tipik olarak iki yönlü bir ANOVA veya blok göstergelerini kovaryet olarak içeren bir regresyon veya bloklar tam olarak koşul başına bir birim içeriyorsa eşleştirilmiş karşılaştırma eşdeğeri. Blok terimleri, bloklama değişkeninden kaynaklanan varyansı emer, tedavi etkisinin daha temiz bir tahminini ve daha dar bir güven aralığını bırakır.

Sık yapılan hatalar

  • Analiz zamanında blok yapısını göz ardı etmek — blok göstergeleri olmadan sıradan bir t-testi çalıştırmak, bloklamanın sağlaması amaçlanan varyans azaltımını ortadan kaldırır ve p-değerini şişirebilir.
  • Analiz sonrası bloklama — sonuçları gördükten sonra blokları tanımlamak yanlılığa neden olur ve geçerli bir engelli tasarım değildir.
  • Çok fazla bloklama değişkeniyle aşırı bloklama, çok küçük, pratik olmayan blok boyutları üretir ve tasarımın istatistiksel kazanımlarını ortadan kaldırabilir.
  • Bloklamayı tabakalı örneklemeden ayırmak — bloklama, deneysel birimlerin sabit bir popülasyonuna uygulanan bir atama mekanizmasıdır, bir örnekleme stratejisi değildir.

Sık sorulan sorular

Engelli bir A/B testi ile tabakalı bir A/B testi arasındaki fark nedir?

Terimler uygulamalı ortamlarda sıklıkla birbirinin yerine kullanılır. Kesin olarak, bloklama bir tasarım kavramıdır (gruplar içindeki birimlerin atanması), tabakalaşma ise hem tasarıma hem de analize (analiz sonrası yeniden ağırlıklandırma) atıfta bulunabilir. Engelli bir A/B testinde, maruz kalmadan önce her blok içinde rastgeleleştirme gerçekleşir. Tabakalı bir analizde, bloklama yapmadan rastgeleleştirmiş olabilirsiniz ancak analiz sonrası tabakaya göre yeniden ağırlıklandırabilir veya ayarlayabilirsiniz. Tasarım zamanında bloklama, analiz zamanında tabakalaşmadan genellikle daha güçlüdür.

Hangi değişkenleri bloklayacağımı nasıl seçerim?

Şunlar olan değişkenlere blok yapın: (1) tedavi atamadan önce ölçebileceğiniz, (2) birincil sonuç metriği ile ilişkili olması beklenen ve (3) tedavinin kendisi tarafından neden olunmayan değişkenler. Çevrimiçi deneylerde yaygın seçimler arasında cihaz türü, kullanıcı süresi kohortu ve coğrafi bölge bulunur. Yeterli blok boyutlarını korumak için yeterince büyük olmadıkça, çok sayıda kategorisi olan değişkenlere blok yapmaktan kaçının.

Bloklama örneklem boyutu gereksinimini değiştirir mi?

Bloklama, bloklama değişkeninden kaynaklanan varyansı hata teriminden çıkardığı için, belirli bir güç seviyesine ulaşmak için gereken örneklem boyutunu azaltabilir. Verimlilik kazancı, bloklama değişkeninin sonuca ne kadar güçlü bir şekilde bağlı olduğuna bağlıdır. Korelasyon düşükse, bloklama çok az fayda sağlar ve basit bir A/B testi daha az analitik kaynak gerektirebilir.

İkiden fazla varyantla engelli bir tasarım kullanabilir miyim?

Evet. İkiden fazla koşul olduğunda tasarıma engelli çok kollu deney veya birden fazla tedavi ile rastgele tam blok tasarımı denir. Her blok içindeki birimler, k koşuldan birine rastgele atanır. Analiz, blok ve tedavi göstergeleriyle ANOVA veya regresyona genelleştirilir, ardından planlanmış veya analiz sonrası karşılaştırmalar yapılır.

Analizime blok göstergelerini dahil etmeyi unutursam ne olur?

Blok göstergelerini atlamak, bloklamadan elde edilen varyans azaltımının kaybolduğu anlamına gelir. Daha da kötüsü, blok boyutları eşit değilse, naif tahmin yanlı olabilir. Engelli tasarımı onurlandırmak ve verimlilik kazanımlarını geri kazanmak için her zaman istatistiksel modelde blok sabit etkilerini (veya rastgele etkiler terimini) dahil edin.

İlgili yöntemler

Kaynaklar

  1. Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.

    Yayın kaynağını aç
    Kopyalandı.
  2. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 9781108724265
    Kopyalandı.