İçeriğe atla
Arama sonuçlarına dön

Faktöriyel A/B Testi — Çok Faktörlü Çevrimiçi Kontrollü Deney

Ortaya koyan
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
Yıl
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
Tür
Controlled online/field experiment
Aile
Experimental design

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Bir faktöriyel A/B testi, her biri iki veya daha fazla seviyede olmak üzere iki veya daha fazla bağımsız faktörü eş zamanlı olarak manipüle eden, farklı kullanıcı gruplarını faktör seviyelerinin her birleşimine maruz bırakan kontrollü bir çevrimiçi deneydir.

Fisher'ın faktöriyel tasarımından türetilen ve teknoloji şirketleri tarafından ölçekte operasyonel hale getirilen bu yöntem, araştırmacıların her bir faktörün bağımsız ana etkisini ve faktörler arasındaki etkileşim etkilerini tek bir deney çalıştırmasından tahmin etmelerini sağlar.

Yöntemin mantığı

Yeni bir başlığın dönüşümleri iyileştirip iyileştirmediğini ve yeni bir düğme renginin yardımcı olup olmadığını bilmek istediğinizi varsayalım — ancak bu iki değişikliğin etkileşime girebileceğinden de şüpheleniyorsunuz. Basit bir A/B testi bir seferde bir soruyu yanıtlayabilir; bir faktöriyel A/B testi tüm kombinasyonları aynı anda çalıştırır (eski başlık + eski düğme, eski başlık + yeni düğme, yeni başlık + eski düğme, yeni başlık + yeni düğme) ve yalnızca hangi faktörlerin önemli olduğunu değil, aynı zamanda etkilerinin birbirini güçlendirip güçlendirmediğini veya iptal edip etmediğini de söyler. Aynı trafikle daha fazla yanıt alırsınız ve birleştirildiğinde bireysel faydaları ortadan kalkan iki değişikliği dağıtma tuzağından kaçınırsınız.

Tarih

Faktöriyel deneylerin matematiksel temelleri, 1920'ler ve 1930'larda Ronald A. Fisher ve Frank Yates tarafından Rothamsted Deneysel İstasyonu'nda atılmış ve Fisher'ın The Design of Experiments (1935) kitabında kodlanmıştır. On yıllar boyunca yöntem öncelikle tarım, imalat ve klinik çalışmalarda kullanıldı. 2000'lerde büyük ölçekli çevrimiçi platformların yükselişiyle birlikte Google, Microsoft ve Amazon, milyonlarca kullanıcı üzerinde birden fazla ürün değişikliğinin hızlı eş zamanlı değerlendirilmesini sağlayan faktöriyel A/B testi olarak bu yaklaşımı endüstrileştirdi. Kohavi ve diğerlerinin 2020 el kitabı, mevcut endüstri uygulamalarını sistematikleştirdi.

Ne zaman kullanılır?

Tek bir deneyde iki veya daha fazla bağımsız değişikliği değerlendirmeniz gerektiğinde ve bu faktörlerin etkileşime girebileceğine dair nedenleriniz olduğunda bir faktöriyel A/B testi kullanın. Yeterli trafiğin tüm hücreleri aynı anda desteklemesi durumunda doğru seçimdir — kaba bir kural, her hücre başına standart bir A/B testinin örneklem büyüklüğünün hücre sayısıyla çarpılmasıdır. Trafiğin yetersiz olduğu ve tüm hücreleri destekleyemediğiniz durumlarda kullanmayın; bu durumda bunun yerine sıralı A/B testleri çalıştırın. Faktörlerin tam olarak bağımsız olduğu biliniyorsa ve etkileşim etkileri teorik olarak olası değilse bundan kaçının — bu durumda ayrı A/B testlerinin iletilmesi daha kolaydır. Ayrıca, kesirli faktöriyel bir strateji olmadan dörtten fazla veya beşten fazla faktör söz konusu olduğunda bundan kaçının, çünkü hücre sayısı ve yorumlama karmaşıklığı birleşerek artar.

Sınırlar ve dikkat edilmesi gerekenler

  • Örneklem büyüklüğü gereksinimleri hücre sayısıyla ölçeklenir; bir 2×2×2 tasarım, basit bir iki kollu testin hücre başına N'sinin sekiz katına ihtiyaç duyar, bu da düşük trafikli ürünler için imkansız olabilir.
  • Yüksek dereceli etkileşimler (üçlü, dörtlü) yorumlanması zordur ve büyük deneylerde bile genellikle yetersiz güçtedir.
  • Sonuçlar, deneyin kullanıcı popülasyonuna ve bağlamına özgüdür ve farklı platformlar, mevsimler veya pazarlar arasında genellenmeyebilir.
  • Etkileşim etkilerinin analizi ve iletişimi, paydaşların sahip olamayabileceği istatistiksel bir uzmanlık gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sıralı A/B testlerine kıyasla toplam takvim süresini ve trafik maliyetini azaltarak tek bir deneyde birden fazla faktörü test eder.
  • Sıralı testlerin ortaya çıkaramayacağı etkileşim etkilerini tespit eder ve ölçer, faydaları istiflenmeyen kombinasyonların dağıtımını önler.
  • Tam faktöriyel tasarımlar istatistiksel olarak verimlidir — ortogonal faktör ataması, ana etkilerin ve etkileşimlerin bağımsız olarak tahmin edildiği anlamına gelir.
  • Açık, önceden belirlenmiş analiz planlarını destekler ve standart sıklıkçı (ANOVA, regresyon) ve Bayesci çıkarım çerçeveleriyle uyumludur.
  • Endüstride (teknoloji, e-ticaret, ilaç) yaygın olarak benimsenmiştir ve tasarım ve analiz üzerine olgun bir literatür tarafından desteklenmektedir.

Uygulama alanları

  • İmza oranı maksimize eden kazanan kombinasyonu belirlemek için bir açılış sayfasındaki başlık metni ve ana görseli eş zamanlı olarak test etmek.
  • Açılma oranlarını yönlendirmede zamanlamanın mesajlaşmayla etkileşime girip girmediğini belirlemek için iki e-posta konu satırı varyantını iki gönderim zamanı varyantıyla çaprazlamak.
  • Tek bir protokolde ana etkileri ve etkileşimi tahmin etmek için katılımcıları rastgele olarak ilaç ve plasebo ile davranışsal müdahale ve standart bakım arasında bölen bir 2×2 klinik çalışma yürütmek.
  • En düşük sepet terk oranı olan hücreyi bulmak için düğme yerleşimini ve form uzunluğunu eş zamanlı olarak değiştirerek ödeme akışını optimize etmek.
  • Öneri algoritmasının ve ekran düzeninin akış platformu izleme süresi üzerindeki ortak etkisini değerlendirmek.
  • Tek bir protokolde doz seviyesini uygulama yoluyla çaprazlayarak ana etkileri ve etkileşimi tahmin eden farmasötik doz-yanıt çalışmaları.

Nasıl çalışır?

Nasıl çalışır?

1

Test edilecek bağımsız faktörleri (değişkenleri) belirleyin ve her faktörün alacağı ayrık seviyeleri belirtin. Bir 2×2 faktöriyel A/B testinde, her biri iki seviyede olmak üzere iki faktör bulunur ve bu da dört tedavi hücresi oluşturur. Daha büyük tasarımlar (2×2×2, 3×2 vb.) mümkündür ancak orantılı olarak örneklem büyüklüğü gereksinimlerini artırır.

2

Deney hücreleri veya kolları olan tüm faktör seviyesi kombinasyonlarını listeleyin. Tam faktöriyel bir tasarımda her kombinasyon dahil edilir; hücre sayısı engellenemeyecek kadar büyükse, daha küçük bir deney karşılığında yüksek dereceli etkileşimleri tahmin etme yeteneğinden ödün veren kesirli bir faktöriyel tasarım kullanılabilir.

3

Kullanıcılar (veya oturumlar), dengeli ve bağımsız bir atama sağlayarak, tipik olarak kararlı bir kullanıcı tanımlayıcısının modülo hücre sayısı karması kullanılarak tam olarak bir hücreye rastgele atanır. Rastgeleleştirme seçim yanlılığını ortadan kaldırır ve bir faktöriyel A/B testini gözlemsel çok değişkenli analizden ayıran özelliktir.

4

Deney, hücre başına hedeflenen örneklem büyüklüğüne ulaşacak ve haftalık mevsimsellik etkilerini hesaba katacak kadar uzun bir süre (tipik olarak en az bir tam hafta) çalıştırılır. Sonuç metrikleri (dönüşüm oranı, kullanıcı başına gelir, etkileşim süresi vb.) maruz kalma penceresi boyunca her hücre için kullanıcı veya oturum düzeyinde kaydedilir.

5

Birincil analiz, varyansı ana etkilere (her faktör için bir tane) ve etkileşim etkilerine (her faktör çifti için bir tane ve tasarım tam faktöriyel ise daha yüksek dereceli terimler) ayıran bir faktöriyel ANOVA veya regresyon çerçevesi kullanır. Etki büyüklükleri, güven aralıkları ve çoklu karşılaştırma düzeltilmiş p-değerleri (örneğin, Bonferroni veya Benjamini-Hochberg) tahmin edilen her etki için raporlanır.

6

Ana etkilerin ve etkileşimlerin örüntüsünü yorumlayın. Anlamlı bir etkileşim varsa, yalnızca ana etkiler yanıltıcı olabilir — kazanan kombinasyon, her faktörün marjinal ortalamasından ziyade hücre ortalamalarından belirlenmelidir. Kazanan hücre (veya hücreler) daha sonra kullanıcıların %100'üne dağıtılır.

Sık yapılan hatalar

  • Önemli etkileşimleri göz ardı etmek — bir etkileşim varken yalnızca ana etkileri raporlamak yanlış önerilere yol açar; bireysel faktör etkilerini yorumlamadan önce her zaman etkileşim grafiklerini inceleyin.
  • Bireysel hücrelerin yetersiz güçlendirilmesi — tasarımcılar bazen tam deney için değil, hücre başına güç hesaplar, bu da her koldaki etkileri güvenilir bir şekilde tespit edemeyen deneylere yol açar.
  • Faktörlerin bağımsız olmaması — bir faktör seviyesinin uygulanması diğerinin anlamını değiştirirse (örneğin, test edilen düğmeyi gizleyen bir düzen değişikliği), faktöriyel ortogonallik varsayımı ihlal edilir ve etkileşim tahminleri anlamsızdır.
  • Kesirli bir faktöriyel strateji olmadan çok fazla faktör çalıştırmak — planlanmamış tam faktöriyel, birçok faktörle birlikte kullanıldığında, çok sayıda hücre oluşturur ve çok sayıda etki test edildiğinde yanlış keşif oranını artırır.
  • Yenilik etkileri — kısa süreli çevrimiçi deneylerde, kullanıcı davranışı kararlı tercihler yerine değişikliğe olan merakı yansıtabilir, bu da tam dağıtımdan sonra devam etmeyen etki tahminlerini şişirir.

Sık sorulan sorular

Bir faktöriyel A/B testi, birden fazla ayrı A/B testi çalıştırmaktan nasıl farklıdır?

Sıralı A/B testleri iki faktörün etkileşime girip girmediğini tespit edemez — her değişikliğin bireysel olarak dönüşümü iyileştirdiğini bulabilirsiniz ancak her ikisini birden dağıtmanın aslında performansı düşürdüğünü görebilirsiniz. Bir faktöriyel A/B testi tüm kombinasyonları eş zamanlı olarak çalıştırır, bu nedenle etkileşim etkilerini doğrudan tahmin eder. Ayrıca, yeterli trafiğiniz varsa daha hızlı biter, çünkü her şeyi sırayla değil tek bir deneyde test edersiniz.

Ne zaman kesirli yerine tam faktöriyel bir tasarım kullanmalıyım?

Tam bir faktöriyel, her faktör seviyesinin her kombinasyonunu test eder. Faktör sayısı fazlaysa (tipik olarak beş veya daha fazla), hücre sayısı pratik olmayacak kadar büyük hale gelir. Kesirli bir faktöriyel tasarım, yalnızca stratejik olarak seçilmiş bir hücre alt kümesini test eder — ana etkileri ve düşük dereceli etkileşimleri tahmin etmek için yeterlidir, ancak nadiren pratik olarak önemli olan yüksek dereceli etkileşimler hakkındaki bilgiden ödün verir. Çok sayıda faktörünüz ve sınırlı trafiğiniz varsa, kesirli bir faktöriyel veya sıralı bir test stratejisi düşünün.

Bir faktöriyel A/B testinde birden fazla karşılaştırmayı nasıl ele alırım?

Her ana etki ve her etkileşim terimi ayrı bir hipotezdir. Ayarlama olmadan, aile bazında yanlış keşif oranı test sayısı ile artar. Yaygın yaklaşımlar arasında Bonferroni düzeltmesi (muhafazakar, aile bazında hatayı kontrol eder), Benjamini-Hochberg prosedürü (yanlış keşif oranını kontrol eder, daha fazla güç) veya tüm etkilere belirsizliği doğal olarak yayan Bayesci bir çerçeve bulunur. Düzeltme yöntemi analiz planında önceden belirlenmelidir.

Ne kadar örneklem büyüklüğüne ihtiyacım var?

Standart bir kural, her hücreyi iki kollu bir A/B testi gibi güçlendirmektir — beklenen etki büyüklüğünüz ve istenen güç için gerekli N'yi hesaplayın, ardından toplam hücre sayısıyla çarpın. Bir 2×2 tasarım için bu, standart bir A/B testinin kol başına N'sinin dört katı anlamına gelir. Tüm hücreleri güçlendirmek imkansızsa, kesirli bir faktöriyel tasarım veya faktör sayısını azaltmayı düşünün.

Bir faktöriyel A/B testi, hücre çiftleri arasındaki basit bir t-testi ile analiz edilebilir mi?

Hayır. Hücreler arasındaki ikili t-testleri faktöriyel yapıyı göz ardı eder, yanlış keşif oranını yükseltir ve — en önemlisi — etkileşim etkilerini tahmin etmez. Doğru analiz, her faktör ve bunların çarpımları (etkileşim terimleri) için gösterge değişkenlerine sahip bir faktöriyel ANOVA veya eşdeğer bir regresyon modelidir. Yalnızca bu yaklaşım varyansı ana etkilere ve etkileşimlere doğru bir şekilde ayırır.

İlgili yöntemler

Kaynaklar

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 978-1108724265
    Kopyalandı.
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    ISBN: 978-1119113478
    Kopyalandı.