Uji-A/B Terblokir — Uji-Bagi Acak-Terblokir
- Diperkenalkan oleh
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- Tahun
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- Jenis
- Randomized controlled experiment with variance reduction
- Keluarga
- Experimental design
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Uji-A/B terblokir adalah rancangan eksperimental yang mempartisi unit (pengguna, subjek, atau klaster) ke dalam blok-blok homogen sebelum menugaskannya secara acak ke perlakuan A atau perlakuan B di dalam setiap blok.
Pemblokiran mengurangi derau di dalam eksperimen dengan memastikan bahwa sumber variasi yang diketahui — seperti tipe perangkat, geografi, atau masa kepemilikan pengguna — seimbang di seluruh kondisi, menghasilkan estimasi efek perlakuan yang lebih presisi daripada uji-A/B sederhana yang tidak terblokir.
Intuisi di balik metode
Bayangkan menguji warna tombol checkout baru di situs e-niaga. Tingkat pembelian sangat berbeda antara pengguna seluler dan desktop, sehingga pembagian acak biasa dapat secara tidak sengaja memberikan satu varian lebih banyak pengguna seluler. Pemblokiran menyelesaikan ini: pertama bagi semua pengguna ke dalam blok seluler dan desktop, lalu lempar koin yang adil di dalam setiap blok untuk menugaskan A atau B. Sekarang kedua varian melihat proporsi pengguna seluler dan desktop yang sama. Perbandingan perlakuan dibuat di dalam blok, sehingga variasi yang didorong oleh perangkat dihilangkan dari suku galat, membuat eksperimen lebih sensitif terhadap efek sebenarnya dari warna tombol.
Sejarah
Prinsip pemblokiran dalam rancangan eksperimental diformalkan oleh R. A. Fisher dalam makalahnya tahun 1926 tentang pengaturan percobaan lapangan dan dikembangkan lebih lanjut dalam bukunya tahun 1935 The Design of Experiments. Fisher memperkenalkan pemblokiran sebagai cara untuk mengisolasi dan menghilangkan sumber heterogenitas yang diketahui, sehingga meningkatkan presisi perbandingan perlakuan. Pendekatan ini kemudian dikodifikasikan dalam rancangan blok lengkap acak (RCBD). Pada tahun 2000-an dan 2010-an, perusahaan teknologi mengadaptasi pemblokiran ke uji-A/B skala besar secara online, menggunakan atribut pengguna seperti tipe perangkat atau usia akun sebagai variabel pemblokiran untuk mendapatkan estimasi kausal yang lebih andal dari eksperimen web.
Kapan digunakan
Gunakan uji-A/B terblokir ketika Anda tahu sebelumnya bahwa kovariat (tipe perangkat, segmen pengguna, wilayah geografis, periode waktu) berkorelasi dengan metrik utama Anda dan Anda ingin mencegah ketidakseimbangan pada kovariat tersebut memompa estimasi galat Anda. Ini sangat berharga ketika ukuran sampel moderat dan Anda tidak mampu menanggung varians yang akan ditinggalkan oleh pengacakan sederhana. Jangan gunakan pemblokiran ketika Anda tidak memiliki kovariat prognostik yang berarti — biaya tambahan tidak diperlukan dan kendala ukuran blok dapat mengurangi kekuatan. Hindari jika variabel pemblokiran terlalu rinci untuk menghasilkan blok dengan setidaknya beberapa unit per kondisi, atau ketika keanggotaan blok tidak dapat ditentukan sebelum penugasan.
Batasan dan pertimbangan
- Memerlukan identifikasi awal variabel pemblokiran; variabel yang tidak diketahui atau tidak diukur sebelum penugasan tidak dapat digunakan untuk pemblokiran.
- Ukuran blok yang sangat kecil (misalnya, hanya 2–4 unit per blok) mengurangi keandalan pengacakan di dalam blok dan dapat merusak kekuatan alih-alih membantunya.
- Analisis lebih kompleks daripada uji-t dua sampel sederhana; struktur blok harus dimasukkan dengan benar dalam model statistik.
- Pemblokiran pada variabel yang salah (yang tidak berkorelasi dengan hasil) tidak memberikan pengurangan varians dan menambah biaya analitis.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mengurangi varians galat eksperimental yang dapat diatribusikan pada kovariat prognostik yang diketahui, meningkatkan kekuatan statistik tanpa meningkatkan ukuran sampel.
- Melindungi dari ketidakseimbangan kovariat yang tidak disengaja yang dapat membiaskan estimasi efek perlakuan dalam sampel terbatas.
- Estimasi blok itu sendiri dapat memberikan wawasan yang berguna tentang efek perlakuan heterogen di seluruh segmen.
- Didukung secara luas dalam paket statistik standar (ANOVA, regresi dengan indikator, model campuran).
- Secara langsung analog dengan rancangan blok standar emas yang digunakan dalam penelitian klinis dan pertanian, memberikan kredibilitas metodologis yang kuat pada pendekatan ini.
Penerapan
- Eksperimen produk online memblokir berdasarkan tipe perangkat (seluler vs. desktop) atau platform untuk membandingkan varian UI.
- Studi percontohan klinis memblokir berdasarkan lokasi klinis atau tingkat keparahan awal untuk membandingkan dua protokol perlakuan.
- Eksperimen teknologi pendidikan memblokir berdasarkan sekolah atau tingkat kelas untuk menilai efek alat pembelajaran baru.
- Uji email pemasaran memblokir berdasarkan tahap siklus hidup pelanggan untuk mengukur dampak varian baris subjek pada tingkat buka.
- Studi pertanian dan lingkungan memblokir berdasarkan lokasi lapangan atau jenis tanah untuk membandingkan varietas tanaman atau intervensi.
Cara kerjanya
Cara kerjanya
Tentukan hipotesis (misalnya, varian B meningkatkan tingkat konversi), pilih metrik utama, dan identifikasi variabel pemblokiran — karakteristik yang diketahui atau diduga memengaruhi hasil. Variabel pemblokiran yang baik dapat diukur sebelum penugasan perlakuan, berkorelasi dengan hasil, dan tidak disebabkan oleh perlakuan itu sendiri.
Partisi semua unit yang memenuhi syarat ke dalam blok-blok yang saling eksklusif dan lengkap berdasarkan variabel pemblokiran yang dipilih. Setiap blok mengelompokkan unit-unit yang sedekat mungkin pada variabel-variabel tersebut. Jumlah blok harus dijaga agar tetap terkelola; pemblokiran yang sangat rinci dapat mengurangi kekuatan statistik jika ukuran blok menjadi terlalu kecil.
Di dalam setiap blok, tugaskan unit secara acak ke kondisi A (kontrol) atau kondisi B (perlakuan) dengan probabilitas yang sama (atau telah ditentukan sebelumnya). Pengacakan di dalam blok ini adalah langkah inti yang membuat rancangan menjadi adil dan dapat dianalisis. Catat keanggotaan blok untuk setiap unit sebelum paparan dimulai.
Sajikan varian yang ditugaskan ke setiap unit untuk periode eksperimental penuh. Pertahankan pemisahan antar kondisi untuk mencegah kontaminasi. Kumpulkan data hasil bersama dengan pengenal blok sehingga struktur blok tetap terjaga hingga fase analisis.
Analisis hasil menggunakan model yang memperhitungkan blok — biasanya ANOVA dua arah atau regresi dengan indikator blok sebagai kovariat, atau padanan perbandingan berpasangan jika blok berisi tepat satu unit per kondisi. Suku blok menyerap varians yang dapat diatribusikan pada variabel pemblokiran, menyisakan estimasi efek perlakuan yang lebih bersih dan interval kepercayaan yang lebih sempit.
Kesalahan umum
- Mengabaikan struktur blok pada saat analisis — menjalankan uji-t biasa tanpa indikator blok menghilangkan pengurangan varians yang dimaksudkan oleh pemblokiran dan dapat memompa nilai-p.
- Pemblokiran pasca-hoc — mendefinisikan blok setelah melihat hasil menimbulkan bias dan bukan rancangan terblokir yang valid.
- Pemblokiran berlebihan dengan terlalu banyak variabel pemblokiran menghasilkan ukuran blok yang sangat kecil dan tidak praktis serta dapat menghilangkan keuntungan statistik dari rancangan.
- Membingungkan pemblokiran dengan pengambilan sampel bertingkat — pemblokiran adalah mekanisme penugasan yang diterapkan pada populasi unit eksperimental yang tetap, bukan strategi pengambilan sampel.
Pertanyaan yang sering diajukan
Apa perbedaan antara uji-A/B terblokir dan uji-A/B bertingkat?
Istilah-istilah tersebut sering digunakan secara bergantian dalam pengaturan terapan. Secara ketat, pemblokiran adalah konsep rancangan (penugasan unit di dalam kelompok) sedangkan stratifikasi dapat merujuk pada rancangan atau analisis (penimbangan ulang pasca-hoc). Dalam uji-A/B terblokir, pengacakan terjadi secara terpisah di dalam setiap blok sebelum paparan. Dalam analisis bertingkat, Anda mungkin telah mengacak tanpa pemblokiran tetapi menimbang ulang atau menyesuaikan pasca-hoc berdasarkan strata. Pemblokiran pada saat rancangan umumnya lebih kuat daripada stratifikasi pada saat analisis.
Bagaimana cara memilih variabel yang akan diblokir?
Blokir pada variabel yang (1) dapat Anda ukur sebelum menugaskan perlakuan, (2) diharapkan berkorelasi dengan metrik hasil utama, dan (3) tidak disebabkan oleh perlakuan itu sendiri. Pilihan umum dalam eksperimen online termasuk tipe perangkat, kohort masa kepemilikan pengguna, dan wilayah geografis. Hindari pemblokiran pada variabel dengan banyak kategori kecuali jika sampel Anda cukup besar untuk mempertahankan ukuran blok yang memadai.
Apakah pemblokiran mengubah persyaratan ukuran sampel?
Pemblokiran dapat mengurangi ukuran sampel yang diperlukan untuk mencapai tingkat kekuatan tertentu, karena menghilangkan varians yang dapat diatribusikan pada variabel pemblokiran dari suku galat. Peningkatan efisiensi bergantung pada seberapa kuat variabel pemblokiran berkorelasi dengan hasil. Jika korelasinya rendah, pemblokiran memberikan sedikit manfaat dan uji-A/B sederhana mungkin memerlukan lebih sedikit sumber daya analitis.
Bisakah saya menggunakan rancangan terblokir dengan lebih dari dua varian?
Ya. Ketika ada lebih dari dua kondisi, rancangan tersebut disebut eksperimen multi-lengan terblokir atau rancangan blok lengkap acak dengan banyak perlakuan. Unit di dalam setiap blok ditugaskan secara acak ke salah satu dari k kondisi. Analisis digeneralisasi ke ANOVA atau regresi dengan indikator blok dan perlakuan, diikuti oleh perbandingan yang direncanakan atau pasca-hoc.
Apa yang terjadi jika saya lupa memasukkan indikator blok dalam analisis saya?
Menghilangkan indikator blok berarti pengurangan varians dari pemblokiran hilang. Lebih buruk lagi, jika ukuran blok tidak sama, estimasi biasa mungkin bias. Selalu sertakan efek tetap blok (atau suku efek acak) dalam model statistik untuk menghormati rancangan terblokir dan memulihkan peningkatan efisiensi.
Metode terkait
Sumber
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
Buka referensi publikasiDisalin.Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN: 9781108724265Disalin.