Uji-A/B Faktorial — Eksperimen Terkendali Daring Multi-Faktor
- Diperkenalkan oleh
- Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
- Tahun
- Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
- Jenis
- Controlled online/field experiment
- Keluarga
- Experimental design
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Uji-A/B faktorial adalah eksperimen daring terkendali yang secara simultan memanipulasi dua atau lebih faktor independen, masing-masing pada dua atau lebih tingkatan, mengekspos kelompok pengguna yang berbeda ke setiap kombinasi tingkatan faktor.
Berakar pada desain faktorial Fisher dan dioperasionalkan dalam skala besar oleh perusahaan teknologi, ini memungkinkan peneliti untuk memperkirakan baik efek utama independen dari setiap faktor maupun efek interaksi antar faktor — semuanya dari satu kali jalannya eksperimen.
Intuisi di balik metode
Misalkan Anda ingin mengetahui apakah judul baru meningkatkan konversi, dan juga apakah warna tombol baru membantu — tetapi Anda juga menduga kedua perubahan tersebut mungkin berinteraksi. Uji-A/B sederhana dapat menjawab satu pertanyaan pada satu waktu; uji-A/B faktorial menjalankan semua kombinasi sekaligus (judul lama + tombol lama, judul lama + tombol baru, judul baru + tombol lama, judul baru + tombol baru) dan memberi tahu Anda tidak hanya faktor mana yang penting tetapi apakah efeknya saling memperkuat atau membatalkan. Anda mendapatkan lebih banyak jawaban dengan lalu lintas yang sama, dan Anda menghindari jebakan menerapkan dua perubahan yang manfaat individunya hilang ketika digabungkan.
Sejarah
Dasar-dasar matematis eksperimentasi faktorial diletakkan oleh Ronald A. Fisher dan Frank Yates di Rothamsted Experimental Station pada tahun 1920-an dan 1930-an, dikodifikasikan dalam The Design of Experiments (1935) karya Fisher. Selama beberapa dekade metode ini terutama digunakan dalam pertanian, manufaktur, dan uji klinis. Dengan munculnya platform daring skala besar pada tahun 2000-an, Google, Microsoft, dan Amazon mengindustrialisasi pendekatan ini sebagai pengujian-A/B faktorial, memungkinkan evaluasi simultan yang cepat terhadap berbagai perubahan produk pada jutaan pengguna. Buku pegangan Kohavi dkk. tahun 2020 menstandarisasi praktik industri saat ini.
Kapan digunakan
Gunakan uji-A/B faktorial ketika Anda perlu mengevaluasi dua atau lebih perubahan independen dalam satu eksperimen dan ketika Anda memiliki alasan untuk mencurigai faktor-faktor tersebut mungkin berinteraksi. Ini adalah pilihan yang tepat ketika lalu lintas mencukupi untuk mendukung semua sel secara bersamaan — aturan kasar adalah Anda memerlukan sampel per sel yang sama seperti uji-A/B standar, dikalikan dengan jumlah sel. Jangan gunakan ketika lalu lintas langka dan Anda tidak dapat mendukung semua sel; dalam kasus tersebut, jalankan uji-A/B berurutan sebagai gantinya. Hindari ketika faktor diketahui sepenuhnya independen dan efek interaksi secara teoritis tidak mungkin — dalam kasus tersebut, uji-A/B terpisah lebih mudah dikomunikasikan. Juga hindari ketika lebih dari empat atau lima faktor terlibat tanpa strategi faktorial fraksional, karena jumlah sel dan kompleksitas interpretasi tumbuh secara kombinatorial.
Batasan dan pertimbangan
- Persyaratan ukuran sampel berskala dengan jumlah sel; desain 2x2x2 membutuhkan delapan kali N per sel dari tes dua lengan sederhana, yang mungkin tidak layak untuk produk dengan lalu lintas rendah.
- Interaksi tingkat tinggi (tiga arah, empat arah) sulit diinterpretasikan dan seringkali kurang bertenaga bahkan dalam eksperimen besar.
- Hasil spesifik untuk populasi pengguna dan konteks eksperimen dan mungkin tidak dapat digeneralisasi di berbagai platform, musim, atau pasar yang berbeda.
- Analisis dan komunikasi efek interaksi memerlukan kecanggihan statistik yang mungkin tidak dimiliki oleh pemangku kepentingan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menguji banyak faktor dalam satu eksperimen, mengurangi waktu kalender total dan biaya lalu lintas dibandingkan dengan uji-A/B berurutan.
- Mendeteksi dan mengukur efek interaksi yang tidak dapat diungkap oleh pengujian berurutan, mencegah penerapan kombinasi yang manfaatnya tidak bertambah.
- Desain faktorial penuh efisien secara statistik — penugasan faktor ortogonal berarti efek utama dan interaksi diperkirakan secara independen.
- Mendukung rencana analisis yang jelas dan telah ditentukan sebelumnya serta kompatibel dengan kerangka inferensi frekuentis standar (ANOVA, regresi) dan Bayesian.
- Diadopsi secara luas di industri (teknologi, e-niaga, farmasi) dan didukung oleh literatur matang tentang desain dan analisis.
Penerapan
- Menguji salinan judul dan gambar utama secara bersamaan pada halaman arahan untuk mengidentifikasi kombinasi pemenang yang memaksimalkan tingkat pendaftaran.
- Mengevaluasi dua varian baris subjek email yang disilangkan dengan dua varian waktu pengiriman untuk menentukan apakah waktu berinteraksi dengan pesan dalam mendorong tingkat buka.
- Menjalankan uji klinis 2x2 yang secara bersamaan merandomisasi peserta ke obat versus plasebo dan ke intervensi perilaku versus perawatan standar.
- Mengoptimalkan alur pembayaran dengan secara bersamaan memvariasikan penempatan tombol dan panjang formulir untuk menemukan sel dengan tingkat pengabaian keranjang terendah.
- Menilai dampak gabungan algoritma rekomendasi dan tata letak tampilan pada waktu tonton platform streaming.
- Studi respons dosis farmasi yang menyilangkan tingkat dosis dengan rute pemberian untuk memperkirakan efek utama dan interaksi dalam satu protokol.
Cara kerjanya
Cara kerjanya
Identifikasi faktor (variabel) independen yang akan diuji dan tentukan tingkatan diskrit yang akan diambil oleh setiap faktor. Dalam uji-A/B faktorial 2x2 terdapat dua faktor masing-masing pada dua tingkatan, menghasilkan empat sel perlakuan. Desain yang lebih besar (2x2x2, 3x2, dll.) dimungkinkan tetapi secara proporsional melipatgandakan persyaratan ukuran sampel.
Uraikan semua kombinasi tingkatan faktor — ini adalah sel atau lengan eksperimental. Untuk desain faktorial penuh, setiap kombinasi disertakan; jika jumlah sel sangat besar, desain faktorial fraksional dapat digunakan, mengorbankan kemampuan untuk memperkirakan interaksi tingkat tinggi sebagai ganti eksperimen yang lebih kecil.
Pengguna (atau sesi) secara acak ditugaskan ke tepat satu sel, biasanya menggunakan hash pengenal pengguna yang stabil modulo jumlah sel, memastikan alokasi yang seimbang dan independen. Randomisasi menghilangkan bias seleksi dan merupakan fitur yang membedakan uji-A/B faktorial dari analisis multivariat observasional.
Eksperimen dijalankan untuk durasi yang telah ditentukan — cukup lama untuk mencapai ukuran sampel target per sel dan untuk memperhitungkan efek musiman mingguan (biasanya setidaknya satu minggu penuh). Metrik hasil (tingkat konversi, pendapatan per pengguna, waktu keterlibatan, dll.) dicatat pada tingkat pengguna atau sesi untuk setiap sel selama jendela paparan.
Analisis utama menggunakan kerangka ANOVA faktorial atau regresi yang mempartisi varians menjadi efek utama (satu per faktor) dan efek interaksi (satu per pasangan faktor, dan suku tingkat yang lebih tinggi jika desainnya faktorial penuh). Ukuran efek, interval kepercayaan, dan nilai-p yang disesuaikan dengan multiplisitas (misalnya, Bonferroni atau Benjamini-Hochberg) dilaporkan untuk setiap efek yang diperkirakan.
Interpretasikan pola efek utama dan interaksi. Jika interaksi yang signifikan ada, efek utama saja dapat menyesatkan — kombinasi yang menang harus diidentifikasi dari rata-rata sel daripada dari rata-rata marjinal setiap faktor. Sel (atau sel) yang menang kemudian diterapkan ke 100% pengguna.
Kesalahan umum
- Mengabaikan interaksi yang signifikan — melaporkan hanya efek utama ketika interaksi ada menghasilkan rekomendasi yang salah; selalu periksa plot interaksi sebelum menginterpretasikan efek faktor individual.
- Kurangnya kekuatan pada sel individual — desainer terkadang menghitung kekuatan untuk seluruh eksperimen daripada per sel, yang mengarah ke eksperimen yang tidak dapat secara andal mendeteksi efek yang diminati di setiap lengan.
- Ketidakindependenan faktor — jika implementasi satu tingkat faktor mengubah makna faktor lain (misalnya, perubahan tata letak yang menyembunyikan tombol yang sedang diuji), asumsi ortogonalitas faktorial dilanggar dan perkiraan interaksi tidak berarti.
- Menjalankan terlalu banyak faktor tanpa strategi faktorial fraksional — faktorial penuh yang tidak direncanakan dengan banyak faktor menciptakan jumlah sel yang sulit diatur dan meningkatkan tingkat penemuan palsu ketika banyak efek diuji.
- Efek kebaruan — dalam eksperimen daring berdurasi pendek, perilaku pengguna mungkin mencerminkan keingintahuan tentang perubahan daripada preferensi yang stabil, meningkatkan perkiraan efek yang tidak bertahan setelah peluncuran penuh.
Pertanyaan yang sering diajukan
Bagaimana uji-A/B faktorial berbeda dari menjalankan beberapa uji-A/B terpisah?
Uji-A/B berurutan tidak dapat mendeteksi apakah dua faktor berinteraksi — Anda mungkin menemukan bahwa setiap perubahan meningkatkan konversi secara individu tetapi menerapkan keduanya justru merusak kinerja. Uji-A/B faktorial menjalankan semua kombinasi secara bersamaan, sehingga memperkirakan efek interaksi secara langsung. Ini juga selesai lebih cepat jika Anda memiliki lalu lintas yang memadai, karena Anda menguji semuanya dalam satu eksperimen daripada secara berurutan.
Kapan saya harus menggunakan desain faktorial fraksional daripada faktorial penuh?
Faktorial penuh menguji setiap kombinasi dari setiap tingkatan faktor. Ketika jumlah faktor besar (biasanya lima atau lebih), jumlah sel menjadi sangat besar dan tidak praktis. Desain faktorial fraksional menguji hanya subset sel yang dipilih secara strategis — cukup untuk memperkirakan efek utama dan interaksi tingkat rendah sambil mengorbankan informasi tentang interaksi tingkat tinggi yang jarang penting secara praktis. Jika Anda memiliki banyak faktor dan lalu lintas terbatas, pertimbangkan strategi pengujian faktorial fraksional atau berurutan.
Bagaimana cara menangani banyak perbandingan dalam uji-A/B faktorial?
Setiap efek utama dan setiap suku interaksi adalah hipotesis terpisah. Tanpa penyesuaian, tingkat penemuan palsu keluarga meningkat seiring dengan jumlah tes. Pendekatan umum meliputi koreksi Bonferroni (konservatif, mengontrol kesalahan keluarga), prosedur Benjamini-Hochberg (mengontrol tingkat penemuan palsu, lebih banyak kekuatan), atau kerangka Bayesian yang secara alami menyebarkan ketidakpastian di semua efek. Metode koreksi harus ditentukan sebelumnya dalam rencana analisis.
Berapa ukuran sampel yang saya butuhkan?
Aturan standar adalah memberdayakan setiap sel seperti Anda memberdayakan uji-A/B dua lengan — hitung N yang diperlukan untuk ukuran efek yang diharapkan dan kekuatan yang diinginkan, lalu kalikan dengan jumlah total sel. Untuk desain 2x2 itu berarti empat kali N per lengan dari uji-A/B standar. Jika memberdayakan semua sel tidak memungkinkan, pertimbangkan desain faktorial fraksional atau mengurangi jumlah faktor.
Bisakah saya menganalisis uji-A/B faktorial dengan uji-t sederhana per pasangan?
Tidak. Uji-t berpasangan antar sel mengabaikan struktur faktorial, meningkatkan tingkat penemuan palsu, dan — yang paling penting — tidak memperkirakan efek interaksi. Analisis yang benar adalah ANOVA faktorial atau model regresi yang setara dengan variabel indikator untuk setiap faktor dan produknya (suku interaksi). Hanya pendekatan ini yang secara benar mempartisi varians menjadi efek utama dan interaksi.
Metode terkait
Sumber
Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN: 978-1108724265Disalin.Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.
ISBN: 978-1119113478Disalin.