Skip to content
กลับไปยังผลการค้นหา

การทดสอบ A/B แบบแฟกทอเรียล — การทดลองควบคุมออนไลน์แบบหลายปัจจัย

ผู้เสนอ
Ronald A. Fisher (factorial design); digital A/B testing popularized by Google, Microsoft, and Amazon in the 2000s
ปี
Factorial design: 1920s–1930s; applied online as factorial A/B test: 2000s–2010s
ประเภท
Controlled online/field experiment
กลุ่มวิธี
Experimental design

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การทดสอบ A/B แบบแฟกทอเรียลคือการทดลองออนไลน์แบบควบคุมที่ทำการเปลี่ยนแปลงปัจจัยอิสระตั้งแต่สองปัจจัยขึ้นไปพร้อมกัน โดยแต่ละปัจจัยมีตั้งแต่สองระดับขึ้นไป เพื่อให้กลุ่มผู้ใช้ที่แตกต่างกันได้รับประสบการณ์ในทุกๆ การผสมผสานของระดับปัจจัย การทดลองนี้มีรากฐานมาจากการออกแบบแฟกทอเรียลของ Fisher และถูกนำไปปฏิบัติในระดับใหญ่โดยบริษัทเทคโนโลยี ช่วยให้นักวิจัยสามารถประเมินทั้งผลกระทบหลักของปัจจัยแต่ละตัวและผลกระทบจากการปฏิสัมพันธ์ระหว่างปัจจัยต่างๆ ได้ ทั้งหมดนี้จากการทดลองเพียงครั้งเดียว

แนวคิดเบื้องหลังวิธีการ

สมมติว่าคุณต้องการทราบว่าหัวข้อข่าวใหม่ช่วยเพิ่มอัตราการแปลงได้หรือไม่ และสีปุ่มใหม่ช่วยได้หรือไม่ — แต่คุณก็สงสัยว่าการเปลี่ยนแปลงทั้งสองอาจมีปฏิสัมพันธ์กัน การทดสอบ A/B แบบธรรมดาสามารถตอบคำถามทีละข้อได้ แต่การทดสอบ A/B แบบแฟกทอเรียลจะรันทุกการผสมผสานพร้อมกัน (หัวข้อข่าวเก่า + ปุ่มเก่า, หัวข้อข่าวเก่า + ปุ่มใหม่, หัวข้อข่าวใหม่ + ปุ่มเก่า, หัวข้อข่าวใหม่ + ปุ่มใหม่) และจะบอกคุณไม่เพียงแค่ว่าปัจจัยใดมีความสำคัญ แต่ยังบอกด้วยว่าผลกระทบของปัจจัยเหล่านั้นเสริมกันหรือหักล้างกัน คุณจะได้รับคำตอบมากขึ้นด้วยปริมาณผู้เข้าชมเท่าเดิม และหลีกเลี่ยงกับดักของการนำการเปลี่ยนแปลงสองอย่างมาใช้ซึ่งประโยชน์ส่วนบุคคลจะหายไปเมื่อรวมกัน

ประวัติศาสตร์

รากฐานทางคณิตศาสตร์ของการทดลองแฟกทอเรียลถูกวางรากฐานโดย Ronald A. Fisher และ Frank Yates ที่ Rothamsted Experimental Station ในช่วงทศวรรษที่ 1920 และ 1930 ซึ่งถูกรวบรวมไว้ในหนังสือ The Design of Experiments (1935) ของ Fisher เป็นเวลาหลายทศวรรษ วิธีการนี้ถูกนำไปใช้เป็นหลักในการเกษตร การผลิต และการทดลองทางคลินิก ด้วยการเพิ่มขึ้นของแพลตฟอร์มออนไลน์ขนาดใหญ่ในทศวรรษที่ 2000 Google, Microsoft และ Amazon ได้นำแนวทางนี้มาใช้ในอุตสาหกรรมในรูปแบบของการทดสอบ A/B แบบแฟกทอเรียล ซึ่งช่วยให้สามารถประเมินการเปลี่ยนแปลงผลิตภัณฑ์หลายอย่างพร้อมกันได้อย่างรวดเร็วในผู้ใช้หลายล้านคน หนังสือคู่มือปี 2020 ของ Kohavi และคณะ ได้จัดระบบแนวปฏิบัติในอุตสาหกรรมปัจจุบัน

ควรใช้เมื่อใด

ใช้การทดสอบ A/B แบบแฟกทอเรียลเมื่อคุณต้องการประเมินการเปลี่ยนแปลงอิสระตั้งแต่สองอย่างขึ้นไปในการทดลองเดียว และเมื่อคุณมีเหตุผลที่จะสงสัยว่าปัจจัยเหล่านั้นอาจมีปฏิสัมพันธ์กัน เป็นตัวเลือกที่เหมาะสมเมื่อปริมาณผู้เข้าชมเพียงพอที่จะรองรับทุกเซลล์พร้อมกัน — กฎคร่าวๆ คือคุณต้องการขนาดตัวอย่างต่อเซลล์เท่ากับการทดสอบ A/B มาตรฐาน คูณด้วยจำนวนเซลล์ อย่าใช้เมื่อปริมาณผู้เข้าชมมีน้อยและคุณไม่สามารถรองรับทุกเซลล์ได้ ในกรณีนั้น ให้ทำการทดสอบ A/B แบบลำดับแทน หลีกเลี่ยงเมื่อทราบว่าปัจจัยต่างๆ เป็นอิสระต่อกันโดยสมบูรณ์ และผลกระทบจากการปฏิสัมพันธ์ไม่น่าจะเป็นไปได้ในทางทฤษฎี — ในกรณีนั้น การทดสอบ A/B แบบแยกจะสื่อสารได้ง่ายกว่า หลีกเลี่ยงเมื่อมีปัจจัยมากกว่าสี่หรือห้าปัจจัยเข้ามาเกี่ยวข้องโดยไม่มีกลยุทธ์แฟกทอเรียลบางส่วน เนื่องจากจำนวนเซลล์และความซับซ้อนของการตีความจะเพิ่มขึ้นแบบทวีคูณ

ข้อจำกัดและข้อควรพิจารณา

  • ข้อกำหนดขนาดตัวอย่างจะเพิ่มขึ้นตามจำนวนเซลล์ การออกแบบ 2×2×2 ต้องการ N ต่อเซลล์เป็นแปดเท่าของการทดสอบแบบสองแขนธรรมดา ซึ่งอาจเป็นไปไม่ได้สำหรับผลิตภัณฑ์ที่มีปริมาณผู้เข้าชมต่ำ
  • ปฏิสัมพันธ์ลำดับสูง (สามทาง, สี่ทาง) ตีความได้ยาก และมักจะขาดพลังแม้ในการทดลองขนาดใหญ่
  • ผลลัพธ์มีความเฉพาะเจาะจงต่อประชากรผู้ใช้และบริบทของการทดลอง และอาจไม่สามารถสรุปผลไปยังแพลตฟอร์ม ฤดูกาล หรือตลาดที่แตกต่างกันได้
  • การวิเคราะห์และการสื่อสารผลกระทบจากการปฏิสัมพันธ์ต้องใช้ความซับซ้อนทางสถิติที่ผู้มีส่วนได้ส่วนเสียอาจไม่มี

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ทดสอบหลายปัจจัยในการทดลองเดียว ลดระยะเวลาปฏิทินและต้นทุนปริมาณผู้เข้าชมโดยรวม เมื่อเทียบกับการทดสอบ A/B แบบลำดับ
  • ตรวจจับและวัดผลกระทบจากการปฏิสัมพันธ์ที่การทดสอบแบบลำดับไม่สามารถเปิดเผยได้ ป้องกันการนำการผสมผสานที่ประโยชน์ไม่สามารถรวมกันได้ไปใช้
  • การออกแบบแฟกทอเรียลเต็มรูปแบบมีประสิทธิภาพทางสถิติ — การกำหนดปัจจัยแบบตั้งฉากหมายความว่าผลกระทบหลักและปฏิสัมพันธ์จะถูกประเมินอย่างอิสระ
  • รองรับแผนการวิเคราะห์ที่ชัดเจนและกำหนดไว้ล่วงหน้า และเข้ากันได้กับกรอบการอนุมานแบบ Frequentist (ANOVA, Regression) และ Bayesian มาตรฐาน
  • ได้รับการยอมรับอย่างกว้างขวางในอุตสาหกรรม (เทคโนโลยี, อีคอมเมิร์ซ, เภสัชกรรม) และได้รับการสนับสนุนจากวรรณกรรมที่สมบูรณ์เกี่ยวกับการออกแบบและการวิเคราะห์

การประยุกต์ใช้

  • การทดสอบเนื้อหาหัวข้อข่าวและรูปภาพหลักพร้อมกันบนหน้า Landing Page เพื่อระบุการผสมผสานที่ชนะซึ่งเพิ่มอัตราการสมัครสมาชิกสูงสุด
  • การประเมินหัวข้ออีเมลสองรูปแบบที่ตัดกันกับรูปแบบเวลาส่งสองรูปแบบ เพื่อพิจารณาว่าเวลาส่งมีปฏิสัมพันธ์กับข้อความในการขับเคลื่อนอัตราการเปิดหรือไม่
  • การรันการทดลองทางคลินิกแบบ 2×2 ซึ่งสุ่มผู้เข้าร่วมการทดลองให้ได้รับยาเทียบกับยาหลอก และการบำบัดพฤติกรรมเทียบกับการดูแลมาตรฐานพร้อมกัน
  • การปรับปรุงขั้นตอนการชำระเงินโดยการเปลี่ยนแปลงตำแหน่งปุ่มและความยาวของแบบฟอร์มพร้อมกัน เพื่อค้นหาเซลล์ที่มีอัตราการละทิ้งตะกร้าต่ำที่สุด
  • การประเมินผลกระทบร่วมของอัลกอริทึมแนะนำและเลย์เอาต์การแสดงผลต่อเวลาในการรับชมบนแพลตฟอร์มสตรีมมิ่ง
  • การศึกษาการตอบสนองต่อขนาดยาในเภสัชกรรมที่ตัดกันระหว่างระดับขนาดยาและเส้นทางการให้ยา เพื่อประเมินผลกระทบหลักและปฏิสัมพันธ์ในโปรโตคอลเดียว

วิธีการทำงาน

วิธีการทำงาน

1

ระบุปัจจัยอิสระ (ตัวแปร) ที่จะทำการทดสอบ และระบุระดับที่ไม่ต่อเนื่องที่แต่ละปัจจัยจะใช้ ในการทดสอบ A/B แบบแฟกทอเรียล 2×2 จะมีสองปัจจัย แต่ละปัจจัยมีสองระดับ ทำให้เกิดสี่เซลล์การรักษา การออกแบบที่ใหญ่ขึ้น (2×2×2, 3×2, เป็นต้น) สามารถทำได้ แต่จะเพิ่มความต้องการขนาดตัวอย่างเป็นสัดส่วน

2

แจกแจงการผสมผสานของระดับปัจจัยทั้งหมด — เหล่านี้คือเซลล์การทดลองหรือแขน สำหรับการออกแบบแฟกทอเรียลเต็มรูปแบบ ทุกการผสมผสานจะถูกรวมอยู่ด้วย หากจำนวนเซลล์มีมากเกินไป อาจใช้การออกแบบแฟกทอเรียลบางส่วน ซึ่งจะเสียความสามารถในการประเมินปฏิสัมพันธ์ลำดับสูง เพื่อแลกกับขนาดการทดลองที่เล็กลง

3

ผู้ใช้ (หรือเซสชัน) จะถูกสุ่มกำหนดให้กับเซลล์เพียงเซลล์เดียว โดยทั่วไปจะใช้แฮชของตัวระบุผู้ใช้ที่เสถียร โมดูโลจำนวนเซลล์ เพื่อให้แน่ใจว่าการจัดสรรมีความสมดุลและเป็นอิสระ การสุ่มจะขจัดความเอนเอียงในการเลือก และเป็นคุณสมบัติที่ทำให้การทดสอบ A/B แบบแฟกทอเรียลแตกต่างจากการวิเคราะห์หลายตัวแปรเชิงสังเกต

4

การทดลองจะดำเนินการในช่วงเวลาที่กำหนดไว้ล่วงหน้า — นานพอที่จะได้ขนาดตัวอย่างเป้าหมายต่อเซลล์ และเพื่อพิจารณาผลกระทบตามฤดูกาลรายสัปดาห์ (โดยทั่วไปอย่างน้อยหนึ่งสัปดาห์เต็ม) ตัวชี้วัดผลลัพธ์ (อัตราการแปลง, รายได้ต่อผู้ใช้, เวลาที่ใช้ในการมีส่วนร่วม, เป็นต้น) จะถูกบันทึกในระดับผู้ใช้หรือเซสชันสำหรับแต่ละเซลล์ตลอดช่วงเวลาที่ได้รับผลกระทบ

5

การวิเคราะห์หลักใช้กรอบการทำงาน ANOVA แบบแฟกทอเรียลหรือการถดถอยที่แบ่งความแปรปรวนออกเป็นผลกระทบหลัก (หนึ่งต่อปัจจัย) และผลกระทบจากการปฏิสัมพันธ์ (หนึ่งต่อคู่ของปัจจัย และเทอมลำดับสูงกว่าหากการออกแบบเป็นแฟกทอเรียลเต็มรูปแบบ) ขนาดผลกระทบ ช่วงความเชื่อมั่น และค่า p ที่ปรับสำหรับการเปรียบเทียบหลายรายการ (เช่น Bonferroni หรือ Benjamini-Hochberg) จะถูกรายงานสำหรับแต่ละผลกระทบที่ประเมินได้

6

ตีความรูปแบบของผลกระทบหลักและปฏิสัมพันธ์ หากมีปฏิสัมพันธ์ที่มีนัยสำคัญ ผลกระทบหลักเพียงอย่างเดียวอาจทำให้เข้าใจผิดได้ — การผสมผสานที่ชนะจะต้องระบุจากค่าเฉลี่ยของเซลล์ แทนที่จะเป็นค่าเฉลี่ยตามขอบเขตของแต่ละปัจจัย จากนั้นเซลล์ที่ชนะ (หรือเซลล์) จะถูกนำไปใช้กับผู้ใช้ 100%

ข้อผิดพลาดที่พบบ่อย

  • การละเลยปฏิสัมพันธ์ที่มีนัยสำคัญ — การรายงานเฉพาะผลกระทบหลักเมื่อมีปฏิสัมพันธ์อยู่จะทำให้เกิดคำแนะนำที่ไม่ถูกต้อง — ควรตรวจสอบแผนภาพปฏิสัมพันธ์เสมอ ก่อนตีความผลกระทบของปัจจัยแต่ละตัว
  • การขาดพลังของเซลล์แต่ละเซลล์ — ผู้ออกแบบบางครั้งคำนวณพลังสำหรับการทดลองทั้งหมด แทนที่จะเป็นต่อเซลล์ ซึ่งนำไปสู่การทดลองที่ไม่สามารถตรวจจับผลกระทบที่น่าสนใจในแต่ละแขนได้อย่างน่าเชื่อถือ
  • ความไม่เป็นอิสระของปัจจัย — หากการนำระดับปัจจัยหนึ่งไปใช้เปลี่ยนแปลงความหมายของปัจจัยอื่น (เช่น การเปลี่ยนแปลงเลย์เอาต์ที่ซ่อนปุ่มที่กำลังทดสอบ) สมมติฐานแฟกทอเรียลของการตั้งฉากจะถูกละเมิด และการประเมินปฏิสัมพันธ์จะไม่มีความหมาย
  • การรันปัจจัยมากเกินไปโดยไม่มีกลยุทธ์แฟกทอเรียลบางส่วน — แฟกทอเรียลเต็มรูปแบบที่ไม่ได้วางแผนไว้ซึ่งมีหลายปัจจัย จะสร้างจำนวนเซลล์ที่จัดการได้ยาก และเพิ่มอัตราการค้นพบที่ผิดพลาดเมื่อมีการทดสอบผลกระทบจำนวนมาก
  • ผลกระทบจากความแปลกใหม่ — ในการทดลองออนไลน์ระยะสั้น พฤติกรรมผู้ใช้อาจสะท้อนถึงความอยากรู้อยากเห็นเกี่ยวกับการเปลี่ยนแปลง แทนที่จะเป็นความชอบที่เสถียร ซึ่งทำให้การประเมินผลกระทบสูงเกินจริงและไม่คงอยู่หลังจากการเปิดตัวเต็มรูปแบบ

คำถามที่พบบ่อย

การทดสอบ A/B แบบแฟกทอเรียลแตกต่างจากการรันการทดสอบ A/B หลายรายการแยกกันอย่างไร

การทดสอบ A/B แบบลำดับไม่สามารถตรวจจับปฏิสัมพันธ์ระหว่างปัจจัยสองอย่างได้ — คุณอาจพบว่าการเปลี่ยนแปลงแต่ละอย่างช่วยเพิ่มอัตราการแปลงได้ทีละอย่าง แต่การนำทั้งสองอย่างมาใช้กลับทำให้ประสิทธิภาพลดลง การทดสอบ A/B แบบแฟกทอเรียลจะรันทุกการผสมผสานพร้อมกัน ดังนั้นจึงประเมินผลกระทบจากการปฏิสัมพันธ์ได้โดยตรง นอกจากนี้ยังเสร็จเร็วกว่าหากคุณมีปริมาณผู้เข้าชมเพียงพอ เนื่องจากคุณทดสอบทุกอย่างในการทดลองเดียว แทนที่จะเป็นการทดสอบแบบลำดับ

ฉันควรใช้การออกแบบแฟกทอเรียลบางส่วนแทนแฟกทอเรียลเต็มรูปแบบเมื่อใด

แฟกทอเรียลเต็มรูปแบบจะทดสอบทุกการผสมผสานของระดับปัจจัยแต่ละตัว เมื่อจำนวนปัจจัยมีมาก (โดยทั่วไปคือห้าปัจจัยขึ้นไป) จำนวนเซลล์จะมากเกินกว่าจะจัดการได้ การออกแบบแฟกทอเรียลบางส่วนจะทดสอบเฉพาะชุดเซลล์ที่เลือกอย่างมีกลยุทธ์ — เพียงพอที่จะประเมินผลกระทบหลักและปฏิสัมพันธ์ลำดับต่ำ โดยเสียข้อมูลเกี่ยวกับปฏิสัมพันธ์ลำดับสูงที่มักไม่มีความสำคัญในทางปฏิบัติ หากคุณมีปัจจัยหลายอย่างและปริมาณผู้เข้าชมจำกัด ให้พิจารณาการออกแบบแฟกทอเรียลบางส่วนหรือกลยุทธ์การทดสอบแบบลำดับ

ฉันจะจัดการกับการเปรียบเทียบหลายรายการในการทดสอบ A/B แบบแฟกทอเรียลได้อย่างไร

ผลกระทบหลักแต่ละรายการและเทอมปฏิสัมพันธ์แต่ละรายการเป็นสมมติฐานที่แยกจากกัน หากไม่มีการปรับแก้ อัตราการค้นพบที่ผิดพลาดของทั้งครอบครัวจะเพิ่มขึ้นตามจำนวนการทดสอบ แนวทางทั่วไป ได้แก่ การแก้ไข Bonferroni (เข้มงวด ควบคุมข้อผิดพลาดทั้งครอบครัว) กระบวนการ Benjamini-Hochberg (ควบคุมอัตราการค้นพบที่ผิดพลาด มีพลังมากกว่า) หรือกรอบการทำงานแบบ Bayesian ที่กระจายความไม่แน่นอนไปยังทุกผลกระทบโดยธรรมชาติ วิธีการแก้ไขควรถูกกำหนดไว้ล่วงหน้าในแผนการวิเคราะห์

ฉันต้องการขนาดตัวอย่างเท่าใด

กฎมาตรฐานคือการคำนวณพลังของแต่ละเซลล์เช่นเดียวกับการทดสอบ A/B แบบสองแขน — คำนวณ N ที่ต้องการสำหรับขนาดผลกระทบที่คาดหวังและระดับพลังที่ต้องการ จากนั้นคูณด้วยจำนวนเซลล์ทั้งหมด สำหรับการออกแบบ 2×2 นั่นหมายถึง N ต่อแขนเป็นสี่เท่าของการทดสอบ A/B มาตรฐาน หากการคำนวณพลังสำหรับทุกเซลล์เป็นไปไม่ได้ ให้พิจารณาการออกแบบแฟกทอเรียลบางส่วนหรือลดจำนวนปัจจัย

ฉันสามารถวิเคราะห์การทดสอบ A/B แบบแฟกทอเรียลด้วย t-test แบบธรรมดาต่อคู่ได้หรือไม่

ไม่ได้ การทดสอบ t แบบคู่ระหว่างเซลล์จะละเลยโครงสร้างแฟกทอเรียล เพิ่มอัตราการค้นพบที่ผิดพลาด และที่สำคัญที่สุดคือ ไม่ได้ประเมินผลกระทบจากการปฏิสัมพันธ์ วิธีการวิเคราะห์ที่ถูกต้องคือ ANOVA แบบแฟกทอเรียล หรือโมเดลการถดถอยที่เทียบเท่ากัน โดยมีตัวแปรบ่งชี้สำหรับแต่ละปัจจัยและผลคูณของปัจจัยเหล่านั้น (เทอมปฏิสัมพันธ์) เฉพาะแนวทางนี้เท่านั้นที่สามารถแบ่งความแปรปรวนออกเป็นผลกระทบหลักและปฏิสัมพันธ์ได้อย่างถูกต้อง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.

    ISBN: 978-1108724265
    คัดลอกแล้ว
  2. Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.

    ISBN: 978-1119113478
    คัดลอกแล้ว