การทดสอบ A/B แบบแฟกทอเรียล — การทดลองควบคุมออนไลน์แบบหลายปัจจัย
- ผู้เสนอ
- Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
- ปี
- Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
- ประเภท
- Controlled online/field experiment
- กลุ่มวิธี
- Experimental design
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การทดสอบ A/B แบบแฟกทอเรียลคือการทดลองออนไลน์แบบควบคุมที่ทำการเปลี่ยนแปลงปัจจัยอิสระตั้งแต่สองปัจจัยขึ้นไปพร้อมกัน โดยแต่ละปัจจัยมีตั้งแต่สองระดับขึ้นไป เพื่อให้กลุ่มผู้ใช้ที่แตกต่างกันได้รับประสบการณ์ในทุกๆ การผสมผสานของระดับปัจจัย การทดลองนี้มีรากฐานมาจากการออกแบบแฟกทอเรียลของ Fisher และถูกนำไปปฏิบัติในระดับใหญ่โดยบริษัทเทคโนโลยี ช่วยให้นักวิจัยสามารถประเมินทั้งผลกระทบหลักของปัจจัยแต่ละตัวและผลกระทบจากการปฏิสัมพันธ์ระหว่างปัจจัยต่างๆ ได้ ทั้งหมดนี้จากการทดลองเพียงครั้งเดียว
แนวคิดเบื้องหลังวิธีการ
สมมติว่าคุณต้องการทราบว่าหัวข้อข่าวใหม่ช่วยเพิ่มอัตราการแปลงได้หรือไม่ และสีปุ่มใหม่ช่วยได้หรือไม่ — แต่คุณก็สงสัยว่าการเปลี่ยนแปลงทั้งสองอาจมีปฏิสัมพันธ์กัน การทดสอบ A/B แบบธรรมดาสามารถตอบคำถามทีละข้อได้ แต่การทดสอบ A/B แบบแฟกทอเรียลจะรันทุกการผสมผสานพร้อมกัน (หัวข้อข่าวเก่า + ปุ่มเก่า, หัวข้อข่าวเก่า + ปุ่มใหม่, หัวข้อข่าวใหม่ + ปุ่มเก่า, หัวข้อข่าวใหม่ + ปุ่มใหม่) และจะบอกคุณไม่เพียงแค่ว่าปัจจัยใดมีความสำคัญ แต่ยังบอกด้วยว่าผลกระทบของปัจจัยเหล่านั้นเสริมกันหรือหักล้างกัน คุณจะได้รับคำตอบมากขึ้นด้วยปริมาณผู้เข้าชมเท่าเดิม และหลีกเลี่ยงกับดักของการนำการเปลี่ยนแปลงสองอย่างมาใช้ซึ่งประโยชน์ส่วนบุคคลจะหายไปเมื่อรวมกัน
ประวัติศาสตร์
รากฐานทางคณิตศาสตร์ของการทดลองแฟกทอเรียลถูกวางรากฐานโดย Ronald A. Fisher และ Frank Yates ที่ Rothamsted Experimental Station ในช่วงทศวรรษที่ 1920 และ 1930 ซึ่งถูกรวบรวมไว้ในหนังสือ The Design of Experiments (1935) ของ Fisher เป็นเวลาหลายทศวรรษ วิธีการนี้ถูกนำไปใช้เป็นหลักในการเกษตร การผลิต และการทดลองทางคลินิก ด้วยการเพิ่มขึ้นของแพลตฟอร์มออนไลน์ขนาดใหญ่ในทศวรรษที่ 2000 Google, Microsoft และ Amazon ได้นำแนวทางนี้มาใช้ในอุตสาหกรรมในรูปแบบของการทดสอบ A/B แบบแฟกทอเรียล ซึ่งช่วยให้สามารถประเมินการเปลี่ยนแปลงผลิตภัณฑ์หลายอย่างพร้อมกันได้อย่างรวดเร็วในผู้ใช้หลายล้านคน หนังสือคู่มือปี 2020 ของ Kohavi และคณะ ได้จัดระบบแนวปฏิบัติในอุตสาหกรรมปัจจุบัน
ควรใช้เมื่อใด
ใช้การทดสอบ A/B แบบแฟกทอเรียลเมื่อคุณต้องการประเมินการเปลี่ยนแปลงอิสระตั้งแต่สองอย่างขึ้นไปในการทดลองเดียว และเมื่อคุณมีเหตุผลที่จะสงสัยว่าปัจจัยเหล่านั้นอาจมีปฏิสัมพันธ์กัน เป็นตัวเลือกที่เหมาะสมเมื่อปริมาณผู้เข้าชมเพียงพอที่จะรองรับทุกเซลล์พร้อมกัน — กฎคร่าวๆ คือคุณต้องการขนาดตัวอย่างต่อเซลล์เท่ากับการทดสอบ A/B มาตรฐาน คูณด้วยจำนวนเซลล์ อย่าใช้เมื่อปริมาณผู้เข้าชมมีน้อยและคุณไม่สามารถรองรับทุกเซลล์ได้ ในกรณีนั้น ให้ทำการทดสอบ A/B แบบลำดับแทน หลีกเลี่ยงเมื่อทราบว่าปัจจัยต่างๆ เป็นอิสระต่อกันโดยสมบูรณ์ และผลกระทบจากการปฏิสัมพันธ์ไม่น่าจะเป็นไปได้ในทางทฤษฎี — ในกรณีนั้น การทดสอบ A/B แบบแยกจะสื่อสารได้ง่ายกว่า หลีกเลี่ยงเมื่อมีปัจจัยมากกว่าสี่หรือห้าปัจจัยเข้ามาเกี่ยวข้องโดยไม่มีกลยุทธ์แฟกทอเรียลบางส่วน เนื่องจากจำนวนเซลล์และความซับซ้อนของการตีความจะเพิ่มขึ้นแบบทวีคูณ
ข้อจำกัดและข้อควรพิจารณา
- ข้อกำหนดขนาดตัวอย่างจะเพิ่มขึ้นตามจำนวนเซลล์ การออกแบบ 2×2×2 ต้องการ N ต่อเซลล์เป็นแปดเท่าของการทดสอบแบบสองแขนธรรมดา ซึ่งอาจเป็นไปไม่ได้สำหรับผลิตภัณฑ์ที่มีปริมาณผู้เข้าชมต่ำ
- ปฏิสัมพันธ์ลำดับสูง (สามทาง, สี่ทาง) ตีความได้ยาก และมักจะขาดพลังแม้ในการทดลองขนาดใหญ่
- ผลลัพธ์มีความเฉพาะเจาะจงต่อประชากรผู้ใช้และบริบทของการทดลอง และอาจไม่สามารถสรุปผลไปยังแพลตฟอร์ม ฤดูกาล หรือตลาดที่แตกต่างกันได้
- การวิเคราะห์และการสื่อสารผลกระทบจากการปฏิสัมพันธ์ต้องใช้ความซับซ้อนทางสถิติที่ผู้มีส่วนได้ส่วนเสียอาจไม่มี
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ทดสอบหลายปัจจัยในการทดลองเดียว ลดระยะเวลาปฏิทินและต้นทุนปริมาณผู้เข้าชมโดยรวม เมื่อเทียบกับการทดสอบ A/B แบบลำดับ
- ตรวจจับและวัดผลกระทบจากการปฏิสัมพันธ์ที่การทดสอบแบบลำดับไม่สามารถเปิดเผยได้ ป้องกันการนำการผสมผสานที่ประโยชน์ไม่สามารถรวมกันได้ไปใช้
- การออกแบบแฟกทอเรียลเต็มรูปแบบมีประสิทธิภาพทางสถิติ — การกำหนดปัจจัยแบบตั้งฉากหมายความว่าผลกระทบหลักและปฏิสัมพันธ์จะถูกประเมินอย่างอิสระ
- รองรับแผนการวิเคราะห์ที่ชัดเจนและกำหนดไว้ล่วงหน้า และเข้ากันได้กับกรอบการอนุมานแบบ Frequentist (ANOVA, Regression) และ Bayesian มาตรฐาน
- ได้รับการยอมรับอย่างกว้างขวางในอุตสาหกรรม (เทคโนโลยี, อีคอมเมิร์ซ, เภสัชกรรม) และได้รับการสนับสนุนจากวรรณกรรมที่สมบูรณ์เกี่ยวกับการออกแบบและการวิเคราะห์
การประยุกต์ใช้
- การทดสอบเนื้อหาหัวข้อข่าวและรูปภาพหลักพร้อมกันบนหน้า Landing Page เพื่อระบุการผสมผสานที่ชนะซึ่งเพิ่มอัตราการสมัครสมาชิกสูงสุด
- การประเมินหัวข้ออีเมลสองรูปแบบที่ตัดกันกับรูปแบบเวลาส่งสองรูปแบบ เพื่อพิจารณาว่าเวลาส่งมีปฏิสัมพันธ์กับข้อความในการขับเคลื่อนอัตราการเปิดหรือไม่
- การรันการทดลองทางคลินิกแบบ 2×2 ซึ่งสุ่มผู้เข้าร่วมการทดลองให้ได้รับยาเทียบกับยาหลอก และการบำบัดพฤติกรรมเทียบกับการดูแลมาตรฐานพร้อมกัน
- การปรับปรุงขั้นตอนการชำระเงินโดยการเปลี่ยนแปลงตำแหน่งปุ่มและความยาวของแบบฟอร์มพร้อมกัน เพื่อค้นหาเซลล์ที่มีอัตราการละทิ้งตะกร้าต่ำที่สุด
- การประเมินผลกระทบร่วมของอัลกอริทึมแนะนำและเลย์เอาต์การแสดงผลต่อเวลาในการรับชมบนแพลตฟอร์มสตรีมมิ่ง
- การศึกษาการตอบสนองต่อขนาดยาในเภสัชกรรมที่ตัดกันระหว่างระดับขนาดยาและเส้นทางการให้ยา เพื่อประเมินผลกระทบหลักและปฏิสัมพันธ์ในโปรโตคอลเดียว
วิธีการทำงาน
วิธีการทำงาน
ระบุปัจจัยอิสระ (ตัวแปร) ที่จะทำการทดสอบ และระบุระดับที่ไม่ต่อเนื่องที่แต่ละปัจจัยจะใช้ ในการทดสอบ A/B แบบแฟกทอเรียล 2×2 จะมีสองปัจจัย แต่ละปัจจัยมีสองระดับ ทำให้เกิดสี่เซลล์การรักษา การออกแบบที่ใหญ่ขึ้น (2×2×2, 3×2, เป็นต้น) สามารถทำได้ แต่จะเพิ่มความต้องการขนาดตัวอย่างเป็นสัดส่วน
แจกแจงการผสมผสานของระดับปัจจัยทั้งหมด — เหล่านี้คือเซลล์การทดลองหรือแขน สำหรับการออกแบบแฟกทอเรียลเต็มรูปแบบ ทุกการผสมผสานจะถูกรวมอยู่ด้วย หากจำนวนเซลล์มีมากเกินไป อาจใช้การออกแบบแฟกทอเรียลบางส่วน ซึ่งจะเสียความสามารถในการประเมินปฏิสัมพันธ์ลำดับสูง เพื่อแลกกับขนาดการทดลองที่เล็กลง
ผู้ใช้ (หรือเซสชัน) จะถูกสุ่มกำหนดให้กับเซลล์เพียงเซลล์เดียว โดยทั่วไปจะใช้แฮชของตัวระบุผู้ใช้ที่เสถียร โมดูโลจำนวนเซลล์ เพื่อให้แน่ใจว่าการจัดสรรมีความสมดุลและเป็นอิสระ การสุ่มจะขจัดความเอนเอียงในการเลือก และเป็นคุณสมบัติที่ทำให้การทดสอบ A/B แบบแฟกทอเรียลแตกต่างจากการวิเคราะห์หลายตัวแปรเชิงสังเกต
การทดลองจะดำเนินการในช่วงเวลาที่กำหนดไว้ล่วงหน้า — นานพอที่จะได้ขนาดตัวอย่างเป้าหมายต่อเซลล์ และเพื่อพิจารณาผลกระทบตามฤดูกาลรายสัปดาห์ (โดยทั่วไปอย่างน้อยหนึ่งสัปดาห์เต็ม) ตัวชี้วัดผลลัพธ์ (อัตราการแปลง, รายได้ต่อผู้ใช้, เวลาที่ใช้ในการมีส่วนร่วม, เป็นต้น) จะถูกบันทึกในระดับผู้ใช้หรือเซสชันสำหรับแต่ละเซลล์ตลอดช่วงเวลาที่ได้รับผลกระทบ
การวิเคราะห์หลักใช้กรอบการทำงาน ANOVA แบบแฟกทอเรียลหรือการถดถอยที่แบ่งความแปรปรวนออกเป็นผลกระทบหลัก (หนึ่งต่อปัจจัย) และผลกระทบจากการปฏิสัมพันธ์ (หนึ่งต่อคู่ของปัจจัย และเทอมลำดับสูงกว่าหากการออกแบบเป็นแฟกทอเรียลเต็มรูปแบบ) ขนาดผลกระทบ ช่วงความเชื่อมั่น และค่า p ที่ปรับสำหรับการเปรียบเทียบหลายรายการ (เช่น Bonferroni หรือ Benjamini-Hochberg) จะถูกรายงานสำหรับแต่ละผลกระทบที่ประเมินได้
ตีความรูปแบบของผลกระทบหลักและปฏิสัมพันธ์ หากมีปฏิสัมพันธ์ที่มีนัยสำคัญ ผลกระทบหลักเพียงอย่างเดียวอาจทำให้เข้าใจผิดได้ — การผสมผสานที่ชนะจะต้องระบุจากค่าเฉลี่ยของเซลล์ แทนที่จะเป็นค่าเฉลี่ยตามขอบเขตของแต่ละปัจจัย จากนั้นเซลล์ที่ชนะ (หรือเซลล์) จะถูกนำไปใช้กับผู้ใช้ 100%
ข้อผิดพลาดที่พบบ่อย
- การละเลยปฏิสัมพันธ์ที่มีนัยสำคัญ — การรายงานเฉพาะผลกระทบหลักเมื่อมีปฏิสัมพันธ์อยู่จะทำให้เกิดคำแนะนำที่ไม่ถูกต้อง — ควรตรวจสอบแผนภาพปฏิสัมพันธ์เสมอ ก่อนตีความผลกระทบของปัจจัยแต่ละตัว
- การขาดพลังของเซลล์แต่ละเซลล์ — ผู้ออกแบบบางครั้งคำนวณพลังสำหรับการทดลองทั้งหมด แทนที่จะเป็นต่อเซลล์ ซึ่งนำไปสู่การทดลองที่ไม่สามารถตรวจจับผลกระทบที่น่าสนใจในแต่ละแขนได้อย่างน่าเชื่อถือ
- ความไม่เป็นอิสระของปัจจัย — หากการนำระดับปัจจัยหนึ่งไปใช้เปลี่ยนแปลงความหมายของปัจจัยอื่น (เช่น การเปลี่ยนแปลงเลย์เอาต์ที่ซ่อนปุ่มที่กำลังทดสอบ) สมมติฐานแฟกทอเรียลของการตั้งฉากจะถูกละเมิด และการประเมินปฏิสัมพันธ์จะไม่มีความหมาย
- การรันปัจจัยมากเกินไปโดยไม่มีกลยุทธ์แฟกทอเรียลบางส่วน — แฟกทอเรียลเต็มรูปแบบที่ไม่ได้วางแผนไว้ซึ่งมีหลายปัจจัย จะสร้างจำนวนเซลล์ที่จัดการได้ยาก และเพิ่มอัตราการค้นพบที่ผิดพลาดเมื่อมีการทดสอบผลกระทบจำนวนมาก
- ผลกระทบจากความแปลกใหม่ — ในการทดลองออนไลน์ระยะสั้น พฤติกรรมผู้ใช้อาจสะท้อนถึงความอยากรู้อยากเห็นเกี่ยวกับการเปลี่ยนแปลง แทนที่จะเป็นความชอบที่เสถียร ซึ่งทำให้การประเมินผลกระทบสูงเกินจริงและไม่คงอยู่หลังจากการเปิดตัวเต็มรูปแบบ
คำถามที่พบบ่อย
การทดสอบ A/B แบบแฟกทอเรียลแตกต่างจากการรันการทดสอบ A/B หลายรายการแยกกันอย่างไร
การทดสอบ A/B แบบลำดับไม่สามารถตรวจจับปฏิสัมพันธ์ระหว่างปัจจัยสองอย่างได้ — คุณอาจพบว่าการเปลี่ยนแปลงแต่ละอย่างช่วยเพิ่มอัตราการแปลงได้ทีละอย่าง แต่การนำทั้งสองอย่างมาใช้กลับทำให้ประสิทธิภาพลดลง การทดสอบ A/B แบบแฟกทอเรียลจะรันทุกการผสมผสานพร้อมกัน ดังนั้นจึงประเมินผลกระทบจากการปฏิสัมพันธ์ได้โดยตรง นอกจากนี้ยังเสร็จเร็วกว่าหากคุณมีปริมาณผู้เข้าชมเพียงพอ เนื่องจากคุณทดสอบทุกอย่างในการทดลองเดียว แทนที่จะเป็นการทดสอบแบบลำดับ
ฉันควรใช้การออกแบบแฟกทอเรียลบางส่วนแทนแฟกทอเรียลเต็มรูปแบบเมื่อใด
แฟกทอเรียลเต็มรูปแบบจะทดสอบทุกการผสมผสานของระดับปัจจัยแต่ละตัว เมื่อจำนวนปัจจัยมีมาก (โดยทั่วไปคือห้าปัจจัยขึ้นไป) จำนวนเซลล์จะมากเกินกว่าจะจัดการได้ การออกแบบแฟกทอเรียลบางส่วนจะทดสอบเฉพาะชุดเซลล์ที่เลือกอย่างมีกลยุทธ์ — เพียงพอที่จะประเมินผลกระทบหลักและปฏิสัมพันธ์ลำดับต่ำ โดยเสียข้อมูลเกี่ยวกับปฏิสัมพันธ์ลำดับสูงที่มักไม่มีความสำคัญในทางปฏิบัติ หากคุณมีปัจจัยหลายอย่างและปริมาณผู้เข้าชมจำกัด ให้พิจารณาการออกแบบแฟกทอเรียลบางส่วนหรือกลยุทธ์การทดสอบแบบลำดับ
ฉันจะจัดการกับการเปรียบเทียบหลายรายการในการทดสอบ A/B แบบแฟกทอเรียลได้อย่างไร
ผลกระทบหลักแต่ละรายการและเทอมปฏิสัมพันธ์แต่ละรายการเป็นสมมติฐานที่แยกจากกัน หากไม่มีการปรับแก้ อัตราการค้นพบที่ผิดพลาดของทั้งครอบครัวจะเพิ่มขึ้นตามจำนวนการทดสอบ แนวทางทั่วไป ได้แก่ การแก้ไข Bonferroni (เข้มงวด ควบคุมข้อผิดพลาดทั้งครอบครัว) กระบวนการ Benjamini-Hochberg (ควบคุมอัตราการค้นพบที่ผิดพลาด มีพลังมากกว่า) หรือกรอบการทำงานแบบ Bayesian ที่กระจายความไม่แน่นอนไปยังทุกผลกระทบโดยธรรมชาติ วิธีการแก้ไขควรถูกกำหนดไว้ล่วงหน้าในแผนการวิเคราะห์
ฉันต้องการขนาดตัวอย่างเท่าใด
กฎมาตรฐานคือการคำนวณพลังของแต่ละเซลล์เช่นเดียวกับการทดสอบ A/B แบบสองแขน — คำนวณ N ที่ต้องการสำหรับขนาดผลกระทบที่คาดหวังและระดับพลังที่ต้องการ จากนั้นคูณด้วยจำนวนเซลล์ทั้งหมด สำหรับการออกแบบ 2×2 นั่นหมายถึง N ต่อแขนเป็นสี่เท่าของการทดสอบ A/B มาตรฐาน หากการคำนวณพลังสำหรับทุกเซลล์เป็นไปไม่ได้ ให้พิจารณาการออกแบบแฟกทอเรียลบางส่วนหรือลดจำนวนปัจจัย
ฉันสามารถวิเคราะห์การทดสอบ A/B แบบแฟกทอเรียลด้วย t-test แบบธรรมดาต่อคู่ได้หรือไม่
ไม่ได้ การทดสอบ t แบบคู่ระหว่างเซลล์จะละเลยโครงสร้างแฟกทอเรียล เพิ่มอัตราการค้นพบที่ผิดพลาด และที่สำคัญที่สุดคือ ไม่ได้ประเมินผลกระทบจากการปฏิสัมพันธ์ วิธีการวิเคราะห์ที่ถูกต้องคือ ANOVA แบบแฟกทอเรียล หรือโมเดลการถดถอยที่เทียบเท่ากัน โดยมีตัวแปรบ่งชี้สำหรับแต่ละปัจจัยและผลคูณของปัจจัยเหล่านั้น (เทอมปฏิสัมพันธ์) เฉพาะแนวทางนี้เท่านั้นที่สามารถแบ่งความแปรปรวนออกเป็นผลกระทบหลักและปฏิสัมพันธ์ได้อย่างถูกต้อง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
ISBN: 978-1108724265คัดลอกแล้วMontgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.
ISBN: 978-1119113478คัดลอกแล้ว