Skip to content
กลับไปยังผลการค้นหา

การทดสอบ A/B แบบจัดบล็อก — การทดสอบแบบแบ่งกลุ่มด้วยการสุ่มภายในบล็อก (Blocked A/B Test: Block-Randomized Split Test)

ผู้เสนอ
R. A. Fisher (blocking principle); adapted to online A/B testing by industry practitioners
ปี
1926 (blocking principle); 2000s–2010s (online A/B testing application)
ประเภท
Randomized controlled experiment with variance reduction
กลุ่มวิธี
Experimental design

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Blocked A/B test คือการออกแบบการทดลองที่แบ่งหน่วย (ผู้ใช้ ผู้เข้าร่วม หรือกลุ่ม) ออกเป็นบล็อก (blocks) ที่มีความคล้ายคลึงกันก่อนที่จะสุ่มกำหนดให้รับการทดลอง A หรือ B ภายในแต่ละบล็อก การจัดบล็อกช่วยลดความแปรปรวนภายใน (within-experiment noise) โดยทำให้แน่ใจว่าแหล่งที่มาของความแปรปรวนที่ทราบ — เช่น ประเภทอุปกรณ์ ภูมิศาสตร์ หรือระยะเวลาที่ใช้งานของผู้ใช้ — มีความสมดุลระหว่างเงื่อนไขต่างๆ ซึ่งจะให้ค่าประมาณผลกระทบของการทดลองที่แม่นยำกว่าการทดสอบ A/B แบบสุ่มโดยไม่มีการจัดบล็อก

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการทดสอบสีปุ่มชำระเงินใหม่บนเว็บไซต์อีคอมเมิร์ซ อัตราการซื้อจะแตกต่างกันอย่างมากระหว่างผู้ใช้มือถือและเดสก์ท็อป ดังนั้นการสุ่มแบ่งแบบธรรมดาอาจทำให้ผู้ใช้มือถือไปอยู่กับกลุ่มหนึ่งกลุ่มใดกลุ่มหนึ่งโดยบังเอิญ การจัดบล็อกจะแก้ปัญหานี้ได้: ขั้นแรก ให้แบ่งผู้ใช้ทั้งหมดออกเป็นบล็อกสำหรับมือถือและเดสก์ท็อป จากนั้นจึงโยนเหรียญที่ยุติธรรมภายในแต่ละบล็อกเพื่อกำหนด A หรือ B ตอนนี้ทั้งสองรูปแบบจะได้รับส่วนแบ่งของผู้ใช้มือถือและเดสก์ท็อปที่เท่ากันตามสัดส่วน การเปรียบเทียบการทดลองจะทำภายในบล็อก ดังนั้นความแปรปรวนที่เกิดจากอุปกรณ์จะถูกลบออกจากเทอมความคลาดเคลื่อน ทำให้การทดลองมีความไวต่อผลกระทบที่แท้จริงของสีปุ่มมากขึ้น

ประวัติศาสตร์

หลักการของการจัดบล็อกในการออกแบบการทดลองได้รับการทำให้เป็นทางการโดย R. A. Fisher ในบทความปี 1926 ของเขาเกี่ยวกับการจัดเรียงการทดลองภาคสนาม และพัฒนาต่อไปในหนังสือปี 1935 ของเขา The Design of Experiments Fisher ได้นำเสนอการจัดบล็อกเป็นวิธีแยกและกำจัดแหล่งที่มาของความไม่สม่ำเสมอที่ทราบ เพื่อเพิ่มความแม่นยำของการเปรียบเทียบการทดลอง แนวทางนี้ต่อมาได้รับการกำหนดเป็น randomized complete block design (RCBD) ในช่วงปี 2000 และ 2010 บริษัทเทคโนโลยีได้นำการจัดบล็อกมาปรับใช้กับการทดสอบ A/B ขนาดใหญ่ทางออนไลน์ โดยใช้คุณลักษณะของผู้ใช้ เช่น ประเภทอุปกรณ์ หรืออายุบัญชี เป็นตัวแปรการจัดบล็อก เพื่อให้ได้ค่าประมาณเชิงสาเหตุที่น่าเชื่อถือยิ่งขึ้นจากการทดลองบนเว็บ

ควรใช้เมื่อใด

ใช้ blocked A/B test เมื่อคุณทราบล่วงหน้าว่าตัวแปรร่วม (covariate) (เช่น ประเภทอุปกรณ์ กลุ่มผู้ใช้ ภูมิภาคทางภูมิศาสตร์ ช่วงเวลา) มีความสัมพันธ์กับตัวชี้วัดหลักของคุณ และคุณต้องการป้องกันไม่ให้ความไม่สมดุลของตัวแปรร่วมนั้นเพิ่มค่าประมาณความคลาดเคลื่อนของคุณ วิธีนี้มีประโยชน์อย่างยิ่งเมื่อขนาดตัวอย่างปานกลางและคุณไม่สามารถยอมรับความแปรปรวนที่การสุ่มแบบธรรมดาจะทิ้งไว้ได้ อย่าใช้การจัดบล็อกเมื่อคุณไม่มีตัวแปรร่วมที่มีความสัมพันธ์เชิงพยากรณ์ที่มีความหมาย — ภาระงานเพิ่มเติมไม่จำเป็นและข้อจำกัดของขนาดบล็อกอาจลดอำนาจการทดสอบ หลีกเลี่ยงหากตัวแปรการจัดบล็อกละเอียดเกินไปจนไม่สามารถสร้างบล็อกที่มีหน่วยอย่างน้อยสองสามหน่วยต่อเงื่อนไขได้ หรือเมื่อไม่สามารถกำหนดการเป็นสมาชิกของบล็อกได้ก่อนการกำหนด

ข้อจำกัดและข้อควรพิจารณา

  • ต้องมีการระบุตัวแปรสำหรับการจัดบล็อกล่วงหน้า ตัวแปรที่ไม่ทราบหรือไม่ได้รับการวัดก่อนการกำหนดจะไม่สามารถนำมาใช้สำหรับการจัดบล็อกได้
  • ขนาดบล็อกที่เล็กมาก (เช่น เพียง 2–4 หน่วยต่อบล็อก) ลดความน่าเชื่อถือของการสุ่มภายในบล็อกและอาจส่งผลเสียต่ออำนาจการทดสอบแทนที่จะช่วย
  • การวิเคราะห์มีความซับซ้อนกว่าการทดสอบ t-test แบบสองกลุ่มธรรมดา โครงสร้างบล็อกจะต้องถูกรวมเข้ากับแบบจำลองทางสถิติอย่างถูกต้อง
  • การจัดบล็อกตามตัวแปรที่ไม่ถูกต้อง (ตัวแปรที่ไม่มีความสัมพันธ์กับผลลัพธ์) จะไม่ช่วยลดความแปรปรวนและเพิ่มภาระงานในการวิเคราะห์

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลดความแปรปรวนของข้อผิดพลาดในการทดลองที่เกิดจากตัวแปรร่วมเชิงพยากรณ์ที่ทราบ เพิ่มอำนาจการทดสอบทางสถิติโดยไม่ต้องเพิ่มขนาดตัวอย่าง
  • ป้องกันความไม่สมดุลของตัวแปรร่วมโดยบังเอิญที่อาจทำให้ค่าประมาณผลกระทบของการทดลองเอนเอียงในตัวอย่างที่มีขนาดจำกัด
  • ค่าประมาณของบล็อกสามารถให้ข้อมูลเชิงลึกที่มีประโยชน์เกี่ยวกับผลกระทบของการทดลองที่แตกต่างกันไปในแต่ละบล็อก
  • ได้รับการสนับสนุนอย่างกว้างขวางในแพ็คเกจทางสถิติมาตรฐาน (ANOVA, regression with indicators, mixed models)
  • คล้ายคลึงโดยตรงกับการออกแบบบล็อกที่เป็นมาตรฐานทองคำ (gold-standard) ที่ใช้ในการวิจัยทางคลินิกและการเกษตร ทำให้แนวทางนี้มีความน่าเชื่อถือทางระเบียบวิธีที่แข็งแกร่ง

การประยุกต์ใช้

  • การทดลองผลิตภัณฑ์ออนไลน์ โดยจัดบล็อกตามประเภทอุปกรณ์ (มือถือเทียบกับเดสก์ท็อป) หรือแพลตฟอร์ม เพื่อเปรียบเทียบรูปแบบ UI
  • การศึกษาทดลองทางคลินิก โดยจัดบล็อกตามสถานที่ดำเนินการทางคลินิก หรือระดับความรุนแรงพื้นฐาน เพื่อเปรียบเทียบโปรโตคอลการรักษา 2 แบบ
  • การทดลองเทคโนโลยีการศึกษา โดยจัดบล็อกตามโรงเรียน หรือระดับชั้น เพื่อประเมินผลกระทบของเครื่องมือการเรียนรู้ใหม่
  • การทดสอบอีเมลทางการตลาด โดยจัดบล็อกตามระยะของวงจรชีวิตลูกค้า เพื่อวัดผลกระทบของรูปแบบหัวข้ออีเมลต่ออัตราการเปิด
  • การศึกษาด้านการเกษตรและสิ่งแวดล้อม โดยจัดบล็อกตามตำแหน่งที่ตั้งของแปลง หรือประเภทดิน เพื่อเปรียบเทียบพันธุ์พืช หรือการแทรกแซง

วิธีการทำงาน

วิธีการทำงาน

1

ระบุสมมติฐาน (เช่น รูปแบบ B เพิ่มอัตราการแปลง) เลือกตัวชี้วัดหลัก และระบุตัวแปรสำหรับการจัดบล็อก — ลักษณะที่ทราบหรือสงสัยว่ามีอิทธิพลต่อผลลัพธ์ ตัวแปรสำหรับการจัดบล็อกที่ดีควรสามารถวัดได้ก่อนการกำหนดการทดลอง มีความสัมพันธ์กับผลลัพธ์ และไม่ได้เกิดจากการทดลองเอง

2

แบ่งหน่วยที่มีสิทธิ์ทั้งหมดออกเป็นบล็อกที่แยกจากกันและครอบคลุมทั้งหมดตามตัวแปรสำหรับการจัดบล็อกที่เลือก แต่ละบล็อกจะรวบรวมหน่วยที่มีความคล้ายคลึงกันมากที่สุดในตัวแปรเหล่านั้น ควรจำกัดจำนวนบล็อกให้อยู่ในระดับที่จัดการได้ การจัดบล็อกที่ละเอียดเกินไปอาจลดอำนาจการทดสอบทางสถิติได้หากขนาดของบล็อกเล็กเกินไป

3

ภายในแต่ละบล็อก ให้สุ่มกำหนดหน่วยให้กับเงื่อนไข A (ควบคุม) หรือ B (ทดลอง) ด้วยความน่าจะเป็นที่เท่ากัน (หรือที่กำหนดไว้ล่วงหน้า) การสุ่มภายในบล็อกนี้เป็นขั้นตอนหลักที่ทำให้การออกแบบมีความยุติธรรมและสามารถวิเคราะห์ได้ บันทึกการเป็นสมาชิกของบล็อกสำหรับแต่ละหน่วยก่อนเริ่มการรับสัมผัส

4

ส่งมอบรูปแบบที่กำหนดให้กับแต่ละหน่วยตลอดระยะเวลาการทดลองทั้งหมด รักษาการแยกออกจากกันระหว่างเงื่อนไขเพื่อป้องกันการปนเปื้อน รวบรวมข้อมูลผลลัพธ์พร้อมกับตัวระบุบล็อก เพื่อให้โครงสร้างบล็อกยังคงอยู่จนถึงขั้นตอนการวิเคราะห์

5

วิเคราะห์ผลลัพธ์โดยใช้แบบจำลองที่คำนึงถึงบล็อก — โดยทั่วไปคือ two-way ANOVA หรือการถดถอย (regression) ที่มีตัวบ่งชี้บล็อกเป็นตัวแปรร่วม (covariates) หรือเทียบเท่ากับการเปรียบเทียบแบบคู่ (paired-comparison) หากบล็อกแต่ละกลุ่มมีหน่วยเพียงหนึ่งหน่วยต่อเงื่อนไข เทอมบล็อกจะดูดซับความแปรปรวนที่เกิดจากตัวแปรการจัดบล็อก ทำให้ได้ค่าประมาณผลกระทบของการทดลองที่ชัดเจนขึ้นและช่วงความเชื่อมั่นที่แคบลง

ข้อผิดพลาดที่พบบ่อย

  • การละเลยโครงสร้างบล็อกในการวิเคราะห์ — การทำการทดสอบ t-test แบบธรรมดาโดยไม่มีตัวบ่งชี้บล็อก จะทำให้สูญเสียการลดความแปรปรวนที่การจัดบล็อกมีไว้เพื่อส่งมอบ และอาจทำให้ค่า p-value สูงเกินจริง
  • การจัดบล็อกหลังการทดลอง (Post-hoc blocking) — การกำหนดบล็อกหลังจากเห็นผลลัพธ์ จะนำไปสู่ความเอนเอียงและไม่ใช่การออกแบบ blocked ที่ถูกต้อง
  • การจัดบล็อกมากเกินไป (Over-blocking) ด้วยตัวแปรการจัดบล็อกจำนวนมากเกินไป จะทำให้เกิดขนาดบล็อกที่เล็กมากจนใช้งานไม่ได้ และอาจกำจัดการได้เปรียบทางสถิติของการออกแบบ
  • การสับสนระหว่างการจัดบล็อก (blocking) กับการสุ่มตัวอย่างแบบแบ่งชั้น (stratified sampling) — การจัดบล็อกเป็นกลไกการกำหนดที่ใช้กับประชากรหน่วยทดลองที่กำหนดไว้ ไม่ใช่กลยุทธ์การสุ่มตัวอย่าง

คำถามที่พบบ่อย

ความแตกต่างระหว่าง blocked A/B test กับ stratified A/B test คืออะไร?

คำศัพท์เหล่านี้มักใช้สลับกันในการใช้งานจริง ในทางเทคนิค การจัดบล็อก (blocking) เป็นแนวคิดการออกแบบ (การกำหนดหน่วยภายในกลุ่ม) ในขณะที่การแบ่งชั้น (stratification) อาจหมายถึงการออกแบบหรือการวิเคราะห์ (การถ่วงน้ำหนักภายหลัง) ใน blocked A/B test การสุ่มจะเกิดขึ้นแยกกันภายในแต่ละบล็อกก่อนการได้รับเงื่อนไขทดลอง ในการวิเคราะห์แบบแบ่งชั้น คุณอาจสุ่มโดยไม่มีการจัดบล็อก แต่ทำการถ่วงน้ำหนักหรือปรับค่าภายหลังตามชั้น การจัดบล็อกในขั้นตอนการออกแบบโดยทั่วไปจะมีประสิทธิภาพมากกว่าการแบ่งชั้นในขั้นตอนการวิเคราะห์

ฉันจะเลือกตัวแปรที่จะใช้ในการจัดบล็อกได้อย่างไร?

จัดบล็อกตามตัวแปรที่ (1) คุณสามารถวัดได้ก่อนกำหนดการทดลอง (2) คาดว่าจะมีความสัมพันธ์กับตัวชี้วัดผลลัพธ์หลัก และ (3) ไม่ได้เกิดจากการทดลองเอง ตัวเลือกทั่วไปในการทดลองออนไลน์ ได้แก่ ประเภทอุปกรณ์ กลุ่มผู้ใช้ตามอายุบัญชี และภูมิภาคทางภูมิศาสตร์ หลีกเลี่ยงการจัดบล็อกตามตัวแปรที่มีหมวดหมู่จำนวนมาก เว้นแต่ตัวอย่างของคุณจะมีขนาดใหญ่พอที่จะรักษาขนาดบล็อกที่เหมาะสมได้

การจัดบล็อกเปลี่ยนแปลงข้อกำหนดขนาดตัวอย่างหรือไม่?

การจัดบล็อกสามารถลดขนาดตัวอย่างที่จำเป็นเพื่อให้ได้ระดับอำนาจการทดสอบที่กำหนด เนื่องจากเป็นการกำจัดความแปรปรวนที่เกิดจากตัวแปรการจัดบล็อกออกจากเทอมความคลาดเคลื่อน การเพิ่มประสิทธิภาพขึ้นอยู่กับว่าตัวแปรการจัดบล็อกมีความสัมพันธ์กับผลลัพธ์มากน้อยเพียงใด หากความสัมพันธ์ต่ำ การจัดบล็อกจะให้ประโยชน์เพียงเล็กน้อย และการทดสอบ A/B แบบธรรมดาอาจต้องใช้ทรัพยากรในการวิเคราะห์น้อยกว่า

ฉันสามารถใช้การออกแบบแบบแบ่งบล็อกกับรูปแบบมากกว่าสองรูปแบบได้หรือไม่?

ได้ เมื่อมีเงื่อนไขมากกว่าสองเงื่อนไข การออกแบบนี้เรียกว่า blocked multi-arm experiment หรือ randomized complete block design with multiple treatments หน่วยภายในแต่ละบล็อกจะถูกสุ่มกำหนดให้กับหนึ่งใน k เงื่อนไข การวิเคราะห์จะขยายไปสู่ ANOVA หรือ regression ที่มีตัวบ่งชี้บล็อกและการทดลอง ตามด้วยการเปรียบเทียบที่วางแผนไว้หรือหลังการทดลอง

จะเกิดอะไรขึ้นหากฉันลืมใส่ตัวบ่งชี้บล็อกในการวิเคราะห์ของฉัน?

การละเว้นตัวบ่งชี้บล็อกหมายถึงการสูญเสียการลดความแปรปรวนจากการจัดบล็อก ที่แย่กว่านั้นคือ หากขนาดบล็อกไม่เท่ากัน ค่าประมาณแบบธรรมดาอาจเอนเอียงได้ ควรใส่ fixed effects ของบล็อก (หรือ random-effects term) ในแบบจำลองทางสถิติเสมอ เพื่อให้สอดคล้องกับการออกแบบแบบแบ่งบล็อกและได้รับประโยชน์ด้านประสิทธิภาพ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Fisher, R. A. (1926). The arrangement of field experiments. Journal of the Ministry of Agriculture of Great Britain, 33, 503–513.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 9781108724265
    คัดลอกแล้ว