การทดสอบ A/B แบบจัดบล็อก — การทดสอบแบบแบ่งกลุ่มด้วยการสุ่มภายในบล็อก (Blocked A/B Test: Block-Randomized Split Test)
- ผู้เสนอ
- R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
- ปี
- 1926 (blocking principle); 2000s–2010s (online A/B testing application)
- ประเภท
- Randomized controlled experiment with variance reduction
- กลุ่มวิธี
- Experimental design
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Blocked A/B test คือการออกแบบการทดลองที่แบ่งหน่วย (ผู้ใช้ ผู้เข้าร่วม หรือกลุ่ม) ออกเป็นบล็อก (blocks) ที่มีความคล้ายคลึงกันก่อนที่จะสุ่มกำหนดให้รับการทดลอง A หรือ B ภายในแต่ละบล็อก การจัดบล็อกช่วยลดความแปรปรวนภายใน (within-experiment noise) โดยทำให้แน่ใจว่าแหล่งที่มาของความแปรปรวนที่ทราบ — เช่น ประเภทอุปกรณ์ ภูมิศาสตร์ หรือระยะเวลาที่ใช้งานของผู้ใช้ — มีความสมดุลระหว่างเงื่อนไขต่างๆ ซึ่งจะให้ค่าประมาณผลกระทบของการทดลองที่แม่นยำกว่าการทดสอบ A/B แบบสุ่มโดยไม่มีการจัดบล็อก
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการทดสอบสีปุ่มชำระเงินใหม่บนเว็บไซต์อีคอมเมิร์ซ อัตราการซื้อจะแตกต่างกันอย่างมากระหว่างผู้ใช้มือถือและเดสก์ท็อป ดังนั้นการสุ่มแบ่งแบบธรรมดาอาจทำให้ผู้ใช้มือถือไปอยู่กับกลุ่มหนึ่งกลุ่มใดกลุ่มหนึ่งโดยบังเอิญ การจัดบล็อกจะแก้ปัญหานี้ได้: ขั้นแรก ให้แบ่งผู้ใช้ทั้งหมดออกเป็นบล็อกสำหรับมือถือและเดสก์ท็อป จากนั้นจึงโยนเหรียญที่ยุติธรรมภายในแต่ละบล็อกเพื่อกำหนด A หรือ B ตอนนี้ทั้งสองรูปแบบจะได้รับส่วนแบ่งของผู้ใช้มือถือและเดสก์ท็อปที่เท่ากันตามสัดส่วน การเปรียบเทียบการทดลองจะทำภายในบล็อก ดังนั้นความแปรปรวนที่เกิดจากอุปกรณ์จะถูกลบออกจากเทอมความคลาดเคลื่อน ทำให้การทดลองมีความไวต่อผลกระทบที่แท้จริงของสีปุ่มมากขึ้น
ประวัติศาสตร์
หลักการของการจัดบล็อกในการออกแบบการทดลองได้รับการทำให้เป็นทางการโดย R. A. Fisher ในบทความปี 1926 ของเขาเกี่ยวกับการจัดเรียงการทดลองภาคสนาม และพัฒนาต่อไปในหนังสือปี 1935 ของเขา The Design of Experiments Fisher ได้นำเสนอการจัดบล็อกเป็นวิธีแยกและกำจัดแหล่งที่มาของความไม่สม่ำเสมอที่ทราบ เพื่อเพิ่มความแม่นยำของการเปรียบเทียบการทดลอง แนวทางนี้ต่อมาได้รับการกำหนดเป็น randomized complete block design (RCBD) ในช่วงปี 2000 และ 2010 บริษัทเทคโนโลยีได้นำการจัดบล็อกมาปรับใช้กับการทดสอบ A/B ขนาดใหญ่ทางออนไลน์ โดยใช้คุณลักษณะของผู้ใช้ เช่น ประเภทอุปกรณ์ หรืออายุบัญชี เป็นตัวแปรการจัดบล็อก เพื่อให้ได้ค่าประมาณเชิงสาเหตุที่น่าเชื่อถือยิ่งขึ้นจากการทดลองบนเว็บ
ควรใช้เมื่อใด
ใช้ blocked A/B test เมื่อคุณทราบล่วงหน้าว่าตัวแปรร่วม (covariate) (เช่น ประเภทอุปกรณ์ กลุ่มผู้ใช้ ภูมิภาคทางภูมิศาสตร์ ช่วงเวลา) มีความสัมพันธ์กับตัวชี้วัดหลักของคุณ และคุณต้องการป้องกันไม่ให้ความไม่สมดุลของตัวแปรร่วมนั้นเพิ่มค่าประมาณความคลาดเคลื่อนของคุณ วิธีนี้มีประโยชน์อย่างยิ่งเมื่อขนาดตัวอย่างปานกลางและคุณไม่สามารถยอมรับความแปรปรวนที่การสุ่มแบบธรรมดาจะทิ้งไว้ได้ อย่าใช้การจัดบล็อกเมื่อคุณไม่มีตัวแปรร่วมที่มีความสัมพันธ์เชิงพยากรณ์ที่มีความหมาย — ภาระงานเพิ่มเติมไม่จำเป็นและข้อจำกัดของขนาดบล็อกอาจลดอำนาจการทดสอบ หลีกเลี่ยงหากตัวแปรการจัดบล็อกละเอียดเกินไปจนไม่สามารถสร้างบล็อกที่มีหน่วยอย่างน้อยสองสามหน่วยต่อเงื่อนไขได้ หรือเมื่อไม่สามารถกำหนดการเป็นสมาชิกของบล็อกได้ก่อนการกำหนด
ข้อจำกัดและข้อควรพิจารณา
- ต้องมีการระบุตัวแปรสำหรับการจัดบล็อกล่วงหน้า ตัวแปรที่ไม่ทราบหรือไม่ได้รับการวัดก่อนการกำหนดจะไม่สามารถนำมาใช้สำหรับการจัดบล็อกได้
- ขนาดบล็อกที่เล็กมาก (เช่น เพียง 2–4 หน่วยต่อบล็อก) ลดความน่าเชื่อถือของการสุ่มภายในบล็อกและอาจส่งผลเสียต่ออำนาจการทดสอบแทนที่จะช่วย
- การวิเคราะห์มีความซับซ้อนกว่าการทดสอบ t-test แบบสองกลุ่มธรรมดา โครงสร้างบล็อกจะต้องถูกรวมเข้ากับแบบจำลองทางสถิติอย่างถูกต้อง
- การจัดบล็อกตามตัวแปรที่ไม่ถูกต้อง (ตัวแปรที่ไม่มีความสัมพันธ์กับผลลัพธ์) จะไม่ช่วยลดความแปรปรวนและเพิ่มภาระงานในการวิเคราะห์
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ลดความแปรปรวนของข้อผิดพลาดในการทดลองที่เกิดจากตัวแปรร่วมเชิงพยากรณ์ที่ทราบ เพิ่มอำนาจการทดสอบทางสถิติโดยไม่ต้องเพิ่มขนาดตัวอย่าง
- ป้องกันความไม่สมดุลของตัวแปรร่วมโดยบังเอิญที่อาจทำให้ค่าประมาณผลกระทบของการทดลองเอนเอียงในตัวอย่างที่มีขนาดจำกัด
- ค่าประมาณของบล็อกสามารถให้ข้อมูลเชิงลึกที่มีประโยชน์เกี่ยวกับผลกระทบของการทดลองที่แตกต่างกันไปในแต่ละบล็อก
- ได้รับการสนับสนุนอย่างกว้างขวางในแพ็คเกจทางสถิติมาตรฐาน (ANOVA, regression with indicators, mixed models)
- คล้ายคลึงโดยตรงกับการออกแบบบล็อกที่เป็นมาตรฐานทองคำ (gold-standard) ที่ใช้ในการวิจัยทางคลินิกและการเกษตร ทำให้แนวทางนี้มีความน่าเชื่อถือทางระเบียบวิธีที่แข็งแกร่ง
การประยุกต์ใช้
- การทดลองผลิตภัณฑ์ออนไลน์ โดยจัดบล็อกตามประเภทอุปกรณ์ (มือถือเทียบกับเดสก์ท็อป) หรือแพลตฟอร์ม เพื่อเปรียบเทียบรูปแบบ UI
- การศึกษาทดลองทางคลินิก โดยจัดบล็อกตามสถานที่ดำเนินการทางคลินิก หรือระดับความรุนแรงพื้นฐาน เพื่อเปรียบเทียบโปรโตคอลการรักษา 2 แบบ
- การทดลองเทคโนโลยีการศึกษา โดยจัดบล็อกตามโรงเรียน หรือระดับชั้น เพื่อประเมินผลกระทบของเครื่องมือการเรียนรู้ใหม่
- การทดสอบอีเมลทางการตลาด โดยจัดบล็อกตามระยะของวงจรชีวิตลูกค้า เพื่อวัดผลกระทบของรูปแบบหัวข้ออีเมลต่ออัตราการเปิด
- การศึกษาด้านการเกษตรและสิ่งแวดล้อม โดยจัดบล็อกตามตำแหน่งที่ตั้งของแปลง หรือประเภทดิน เพื่อเปรียบเทียบพันธุ์พืช หรือการแทรกแซง
วิธีการทำงาน
วิธีการทำงาน
ระบุสมมติฐาน (เช่น รูปแบบ B เพิ่มอัตราการแปลง) เลือกตัวชี้วัดหลัก และระบุตัวแปรสำหรับการจัดบล็อก — ลักษณะที่ทราบหรือสงสัยว่ามีอิทธิพลต่อผลลัพธ์ ตัวแปรสำหรับการจัดบล็อกที่ดีควรสามารถวัดได้ก่อนการกำหนดการทดลอง มีความสัมพันธ์กับผลลัพธ์ และไม่ได้เกิดจากการทดลองเอง
แบ่งหน่วยที่มีสิทธิ์ทั้งหมดออกเป็นบล็อกที่แยกจากกันและครอบคลุมทั้งหมดตามตัวแปรสำหรับการจัดบล็อกที่เลือก แต่ละบล็อกจะรวบรวมหน่วยที่มีความคล้ายคลึงกันมากที่สุดในตัวแปรเหล่านั้น ควรจำกัดจำนวนบล็อกให้อยู่ในระดับที่จัดการได้ การจัดบล็อกที่ละเอียดเกินไปอาจลดอำนาจการทดสอบทางสถิติได้หากขนาดของบล็อกเล็กเกินไป
ภายในแต่ละบล็อก ให้สุ่มกำหนดหน่วยให้กับเงื่อนไข A (ควบคุม) หรือ B (ทดลอง) ด้วยความน่าจะเป็นที่เท่ากัน (หรือที่กำหนดไว้ล่วงหน้า) การสุ่มภายในบล็อกนี้เป็นขั้นตอนหลักที่ทำให้การออกแบบมีความยุติธรรมและสามารถวิเคราะห์ได้ บันทึกการเป็นสมาชิกของบล็อกสำหรับแต่ละหน่วยก่อนเริ่มการรับสัมผัส
ส่งมอบรูปแบบที่กำหนดให้กับแต่ละหน่วยตลอดระยะเวลาการทดลองทั้งหมด รักษาการแยกออกจากกันระหว่างเงื่อนไขเพื่อป้องกันการปนเปื้อน รวบรวมข้อมูลผลลัพธ์พร้อมกับตัวระบุบล็อก เพื่อให้โครงสร้างบล็อกยังคงอยู่จนถึงขั้นตอนการวิเคราะห์
วิเคราะห์ผลลัพธ์โดยใช้แบบจำลองที่คำนึงถึงบล็อก — โดยทั่วไปคือ two-way ANOVA หรือการถดถอย (regression) ที่มีตัวบ่งชี้บล็อกเป็นตัวแปรร่วม (covariates) หรือเทียบเท่ากับการเปรียบเทียบแบบคู่ (paired-comparison) หากบล็อกแต่ละกลุ่มมีหน่วยเพียงหนึ่งหน่วยต่อเงื่อนไข เทอมบล็อกจะดูดซับความแปรปรวนที่เกิดจากตัวแปรการจัดบล็อก ทำให้ได้ค่าประมาณผลกระทบของการทดลองที่ชัดเจนขึ้นและช่วงความเชื่อมั่นที่แคบลง
ข้อผิดพลาดที่พบบ่อย
- การละเลยโครงสร้างบล็อกในการวิเคราะห์ — การทำการทดสอบ t-test แบบธรรมดาโดยไม่มีตัวบ่งชี้บล็อก จะทำให้สูญเสียการลดความแปรปรวนที่การจัดบล็อกมีไว้เพื่อส่งมอบ และอาจทำให้ค่า p-value สูงเกินจริง
- การจัดบล็อกหลังการทดลอง (Post-hoc blocking) — การกำหนดบล็อกหลังจากเห็นผลลัพธ์ จะนำไปสู่ความเอนเอียงและไม่ใช่การออกแบบ blocked ที่ถูกต้อง
- การจัดบล็อกมากเกินไป (Over-blocking) ด้วยตัวแปรการจัดบล็อกจำนวนมากเกินไป จะทำให้เกิดขนาดบล็อกที่เล็กมากจนใช้งานไม่ได้ และอาจกำจัดการได้เปรียบทางสถิติของการออกแบบ
- การสับสนระหว่างการจัดบล็อก (blocking) กับการสุ่มตัวอย่างแบบแบ่งชั้น (stratified sampling) — การจัดบล็อกเป็นกลไกการกำหนดที่ใช้กับประชากรหน่วยทดลองที่กำหนดไว้ ไม่ใช่กลยุทธ์การสุ่มตัวอย่าง
คำถามที่พบบ่อย
ความแตกต่างระหว่าง blocked A/B test กับ stratified A/B test คืออะไร?
คำศัพท์เหล่านี้มักใช้สลับกันในการใช้งานจริง ในทางเทคนิค การจัดบล็อก (blocking) เป็นแนวคิดการออกแบบ (การกำหนดหน่วยภายในกลุ่ม) ในขณะที่การแบ่งชั้น (stratification) อาจหมายถึงการออกแบบหรือการวิเคราะห์ (การถ่วงน้ำหนักภายหลัง) ใน blocked A/B test การสุ่มจะเกิดขึ้นแยกกันภายในแต่ละบล็อกก่อนการได้รับเงื่อนไขทดลอง ในการวิเคราะห์แบบแบ่งชั้น คุณอาจสุ่มโดยไม่มีการจัดบล็อก แต่ทำการถ่วงน้ำหนักหรือปรับค่าภายหลังตามชั้น การจัดบล็อกในขั้นตอนการออกแบบโดยทั่วไปจะมีประสิทธิภาพมากกว่าการแบ่งชั้นในขั้นตอนการวิเคราะห์
ฉันจะเลือกตัวแปรที่จะใช้ในการจัดบล็อกได้อย่างไร?
จัดบล็อกตามตัวแปรที่ (1) คุณสามารถวัดได้ก่อนกำหนดการทดลอง (2) คาดว่าจะมีความสัมพันธ์กับตัวชี้วัดผลลัพธ์หลัก และ (3) ไม่ได้เกิดจากการทดลองเอง ตัวเลือกทั่วไปในการทดลองออนไลน์ ได้แก่ ประเภทอุปกรณ์ กลุ่มผู้ใช้ตามอายุบัญชี และภูมิภาคทางภูมิศาสตร์ หลีกเลี่ยงการจัดบล็อกตามตัวแปรที่มีหมวดหมู่จำนวนมาก เว้นแต่ตัวอย่างของคุณจะมีขนาดใหญ่พอที่จะรักษาขนาดบล็อกที่เหมาะสมได้
การจัดบล็อกเปลี่ยนแปลงข้อกำหนดขนาดตัวอย่างหรือไม่?
การจัดบล็อกสามารถลดขนาดตัวอย่างที่จำเป็นเพื่อให้ได้ระดับอำนาจการทดสอบที่กำหนด เนื่องจากเป็นการกำจัดความแปรปรวนที่เกิดจากตัวแปรการจัดบล็อกออกจากเทอมความคลาดเคลื่อน การเพิ่มประสิทธิภาพขึ้นอยู่กับว่าตัวแปรการจัดบล็อกมีความสัมพันธ์กับผลลัพธ์มากน้อยเพียงใด หากความสัมพันธ์ต่ำ การจัดบล็อกจะให้ประโยชน์เพียงเล็กน้อย และการทดสอบ A/B แบบธรรมดาอาจต้องใช้ทรัพยากรในการวิเคราะห์น้อยกว่า
ฉันสามารถใช้การออกแบบแบบแบ่งบล็อกกับรูปแบบมากกว่าสองรูปแบบได้หรือไม่?
ได้ เมื่อมีเงื่อนไขมากกว่าสองเงื่อนไข การออกแบบนี้เรียกว่า blocked multi-arm experiment หรือ randomized complete block design with multiple treatments หน่วยภายในแต่ละบล็อกจะถูกสุ่มกำหนดให้กับหนึ่งใน k เงื่อนไข การวิเคราะห์จะขยายไปสู่ ANOVA หรือ regression ที่มีตัวบ่งชี้บล็อกและการทดลอง ตามด้วยการเปรียบเทียบที่วางแผนไว้หรือหลังการทดลอง
จะเกิดอะไรขึ้นหากฉันลืมใส่ตัวบ่งชี้บล็อกในการวิเคราะห์ของฉัน?
การละเว้นตัวบ่งชี้บล็อกหมายถึงการสูญเสียการลดความแปรปรวนจากการจัดบล็อก ที่แย่กว่านั้นคือ หากขนาดบล็อกไม่เท่ากัน ค่าประมาณแบบธรรมดาอาจเอนเอียงได้ ควรใส่ fixed effects ของบล็อก (หรือ random-effects term) ในแบบจำลองทางสถิติเสมอ เพื่อให้สอดคล้องกับการออกแบบแบบแบ่งบล็อกและได้รับประโยชน์ด้านประสิทธิภาพ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วKohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN: 9781108724265คัดลอกแล้ว