Skip to content
กลับไปยังผลการค้นหา

การทดสอบแบบปรับตัว A/B — การทดสอบแบบปรับตัว A/B

ผู้เสนอ
Herbert Robbins (bandit framework); Thompson Sampling formalized by William R. Thompson
ปี
1952 (Robbins); applied to A/B testing from ~2010s onward
ประเภท
Adaptive experimental design
กลุ่มวิธี
Experimental design

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การทดสอบแบบปรับตัว A/B คือการออกแบบการทดลองที่จัดสรรการเข้าชมหรือผู้เข้าร่วมการทดลองไปยังรูปแบบที่ทำงานได้ดีกว่าแบบไดนามิกในระหว่างการทดลองเอง แทนที่จะคงการจัดสรรไว้คงที่จนกว่าจะสิ้นสุด โดยอาศัยอัลกอริทึม multi-armed bandit เช่น Thompson Sampling หรือ Upper Confidence Bound (UCB) การทดสอบนี้จะสร้างสมดุลระหว่างการสำรวจรูปแบบที่ไม่แน่นอนกับการใช้ประโยชน์จากรูปแบบที่แสดงประสิทธิภาพที่เหนือกว่าอยู่แล้ว ซึ่งโดยทั่วไปจะให้ผลลัพธ์รวมที่สูงขึ้น ในขณะเดียวกันก็ยังคงให้ข้อสรุปเชิงอนุมานที่ถูกต้อง

แนวคิดเบื้องหลังวิธีการ

ในการทดสอบ A/B แบบคลาสสิก คุณจะแบ่งผู้เข้าชม 50/50 ระหว่างสองเวอร์ชันและรอจนกว่าจะสิ้นสุดเพื่อประกาศผู้ชนะ ในระหว่างนั้น การเข้าชมครึ่งหนึ่งยังคงเข้าถึงรูปแบบที่ด้อยกว่า การทดสอบแบบปรับตัว A/B ทำงานเหมือนระบบการเรียนรู้มากขึ้น: เริ่มต้นด้วยการจัดสรรที่เท่ากัน แต่เมื่อมีหลักฐานสะสมว่ารูปแบบ B ทำงานได้ดีกว่ารูปแบบ A การทดสอบจะค่อยๆ เปลี่ยนการเข้าชมไปยัง B มากขึ้น การทดลองยังคงรวบรวมข้อมูลสำหรับการอนุมานทางสถิติ แต่ต้นทุนของการใช้ตัวเลือกที่แย่กว่าจะถูกลดทอนลงอย่างแข็งขันแบบเรียลไทม์ การเปรียบเทียบคือผู้เล่นสล็อตแมชชีนที่ติดตามว่าเครื่องใดจ่ายเงินมากกว่าและปรับการเล่นให้เหมาะสม ในขณะเดียวกันก็ยังคงสุ่มตัวอย่างเครื่องทั้งหมดเพียงพอที่จะมั่นใจในการเปรียบเทียบ

ประวัติศาสตร์

รากฐานทางทฤษฎีของการทดสอบแบบปรับตัว A/B อยู่ในปัญหา multi-armed bandit ซึ่ง Herbert Robbins ได้กำหนดรูปแบบไว้เป็นครั้งแรกในปี 1952 William R. Thompson ได้เสนอ กลยุทธ์การสุ่มตัวอย่างแบบ Bayesian สำหรับการทดลองทางคลินิกในปี 1933 ซึ่งต่อมาได้ตั้งชื่อว่า Thompson Sampling ซึ่งกลายเป็นหนึ่งในอัลกอริทึมที่นำไปใช้มากที่สุด ความสนใจทางวิชาการในการสุ่มตัวอย่างแบบปรับตามการตอบสนอง (response-adaptive randomization) ในการทดลองทางคลินิกเพิ่มขึ้นในช่วงทศวรรษ 1970–1990 การประยุกต์ใช้อัลกอริทึม bandit กับการทดสอบ A/B ออนไลน์ในระดับอินเทอร์เน็ตได้รับความนิยมตั้งแต่ประมาณปี 2010 เป็นต้นมา โดยได้รับแรงหนุนจากบริษัทเทคโนโลยีที่ต้องการลดต้นทุนค่าเสียโอกาสระหว่างการทดลอง และจากนักวิจัยที่เชื่อมโยงวิธีการ bandit กับกรอบการอนุมานเชิงสาเหตุ

ควรใช้เมื่อใด

การทดสอบแบบปรับตัว A/B มีคุณค่ามากที่สุดเมื่อ (1) การสัมผัสกับรูปแบบที่ด้อยกว่ามีต้นทุนที่มีความหมาย — ในด้านการดูแลสุขภาพ ผลิตภัณฑ์ดิจิทัลที่มีการเข้าชมสูง หรือแคมเปญที่มีเวลาจำกัด (2) การทดลองดำเนินไปนานพอที่อัลกอริทึมการจัดสรรจะสามารถเปลี่ยนแปลงได้อย่างมีความหมาย (โดยทั่วไปคือหลายร้อยถึงหลายพันการสังเกต) และ (3) ผลลัพธ์จะสังเกตเห็นได้อย่างรวดเร็วเมื่อเทียบกับระยะเวลาของการทดลอง นอกจากนี้ยังเหมาะอย่างยิ่งเมื่อทดสอบหลายรูปแบบพร้อมกัน (การตั้งค่าแบบหลายแขน) และเมื่อเป้าหมายคือการเพิ่มผลลัพธ์รวมระหว่างการทดลอง ไม่ใช่แค่หลังจากการทดลองเท่านั้น อย่าใช้การทดสอบแบบปรับตัว A/B เมื่อ: ผลลัพธ์ล่าช้าเมื่อเทียบกับช่วงเวลาตัดสินใจ (การตอบสนองล่าช้าทำให้การอัปเดตไม่น่าเชื่อถือ); เมื่อจำเป็นต้องมีการตีความอัตราส่วนการจัดสรรสำหรับการตรวจสอบกฎระเบียบ (เช่น บริบทการทดลองทางคลินิกบางประเภท); เมื่อขนาดตัวอย่างมีขนาดเล็กมาก (น้อยกว่าประมาณ 200 การสังเกตทั้งหมด) เนื่องจากอัลกอริทึมมีข้อมูลไม่เพียงพอที่จะปรับตัวได้อย่างมีความหมาย หรือเมื่อการออกแบบที่สมดุลอย่างง่ายเพียงพอและไม่จำเป็นต้องมีความซับซ้อนในการดำเนินงาน

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการการสังเกตผลลัพธ์แบบเรียลไทม์หรือเวลาแฝงต่ำ การตอบสนองล่าช้า (เช่น ผลลัพธ์วัดผลในอีกหลายสัปดาห์หลังจากการรักษา) จะทำให้วงจรการอัปเดตหยุดชะงักและบั่นทอนการปรับตัว
  • การอนุมานทางสถิติมีความซับซ้อนกว่าการออกแบบที่มีการจัดสรรแบบคงที่ — การทดสอบ t มาตรฐานไม่ถูกต้อง จำเป็นต้องใช้วิธีการทดสอบตามลำดับแบบพิเศษหรือแบบ Bayesian
  • การจัดสรรแบบปรับตัวอาจสร้างกลุ่มที่ไม่สมดุล ซึ่งลดกำลังในการตรวจจับผลกระทบเล็กน้อยและทำให้การวิเคราะห์กลุ่มย่อยซับซ้อนขึ้น
  • การนำไปใช้ต้องใช้โครงสร้างพื้นฐานทางเทคนิคสำหรับการรวบรวมข้อมูลแบบเรียลไทม์ การอัปเดต posterior และการกำหนดเส้นทางการเข้าชม — ซึ่งไม่มีในแพลตฟอร์มสำรวจหรือห้องปฏิบัติการมาตรฐาน

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลดการสัมผัสสะสมกับรูปแบบที่ด้อยกว่าเมื่อเทียบกับการจัดสรรที่เท่ากันแบบคงที่ ซึ่งมีความสำคัญเมื่อตัวชี้วัดผลลัพธ์มีความสำคัญทางศีลธรรมหรือในเชิงพาณิชย์
  • เหมาะสำหรับสถานการณ์แบบหลายแขน (multi-arm settings) ที่มีการทดสอบหลายรูปแบบพร้อมกัน และการจัดสรรแบบคงที่อาจทำให้ตัวอย่างกระจายบางเกินไป
  • ให้การอนุมานทางสถิติที่ถูกต้องเมื่อใช้ร่วมกับกฎการหยุดที่ลงทะเบียนไว้ล่วงหน้า แม้ว่าจะมีการจัดสรรที่ไม่คงที่ก็ตาม
  • ผสานรวมกับการอัปเดตแบบ Bayesian ได้อย่างเป็นธรรมชาติ ทำให้สามารถวัดปริมาณความไม่แน่นอนและหลักฐานได้อย่างโปร่งใส ณ จุดใดก็ได้ในการทดลอง
  • มีความยืดหยุ่นตามบริบท — สามารถนำไปใช้ในการทดลองออนไลน์ การทดลองทางคลินิก (การสุ่มแบบปรับตามการตอบสนอง) และการทดลองภาคสนามเชิงพฤติกรรม

การประยุกต์ใช้

  • การทดลองผลิตภัณฑ์ออนไลน์ — การกำหนดเส้นทางการเข้าชมเว็บไปยังรูปแบบหน้าเว็บที่แปลงได้ดีกว่าระหว่างการทดสอบ เพื่อลดการสูญเสียรายได้จากการออกแบบที่ด้อยกว่า
  • การแทรกแซงสุขภาพดิจิทัล — การจัดสรรผู้ป่วยไปยังแขนการรักษาที่มีประสิทธิภาพมากขึ้นในการทดลองทางคลินิกแบบระยะไกลหรือแบบแอป
  • แคมเปญอีเมลและการแจ้งเตือนแบบพุช — การเปลี่ยนการส่งข้อความแบบไดนามิกไปยังหัวข้ออีเมลหรือรูปแบบเนื้อหาที่มีอัตราการเปิดหรือคลิกสูงขึ้น
  • เทคโนโลยีการศึกษา — การกำหนดนักเรียนให้กับรูปแบบการสอนที่มีประสิทธิภาพมากขึ้นแบบเรียลไทม์ตามสัญญาณผลการเรียนรู้
  • ระบบการกำหนดราคาและคำแนะนำ — การทดสอบระดับราคาหรืออัลกอริทึมคำแนะนำหลายระดับ พร้อมทั้งนำทางผู้ใช้ไปยังตัวเลือกที่ทำงานได้ดีกว่าในช่วงทดสอบ

วิธีการทำงาน

วิธีการทำงาน

1

ผู้วิจัยระบุรูปแบบที่จะเปรียบเทียบ (โดยทั่วไปคือสองเวอร์ชันขึ้นไปของหน้าเว็บ ข้อความ การรักษา หรือผลิตภัณฑ์) ตัวชี้วัดผลลัพธ์หลัก (เช่น อัตราการแปลง อัตราการคลิก การทำงานให้เสร็จ) ขนาดผลกระทบที่ตรวจจับได้ขั้นต่ำ และกฎการหยุด (stopping rule) ซึ่งอาจเป็นขอบเขตคงที่ (ขนาดตัวอย่างสูงสุด) หรือขอบเขตตามลำดับ (กฎการใช้ค่าอัลฟาที่ลงทะเบียนไว้ล่วงหน้า)

2

แต่ละรูปแบบจะได้รับความเชื่อตั้งต้นเกี่ยวกับประสิทธิภาพ ซึ่งแสดงออกมาในรูปของการแจกแจงความน่าจะเป็นของผลลัพธ์ที่คาดหวัง (เช่น การแจกแจง Beta สำหรับผลลัพธ์แบบทวิภาค) ในแนวทาง UCB แบบ frequentist ช่วงความเชื่อมั่นเริ่มต้นจะถูกตั้งค่าให้กว้างเพื่อสะท้อนความไม่แน่นอนที่เท่ากัน รูปแบบทั้งหมดเริ่มต้นด้วยการจัดสรรที่เท่ากันหรือใกล้เคียงกันเพื่อให้แน่ใจว่ามีการสำรวจในช่วงต้นอย่างเพียงพอ

3

ในแต่ละช่วงเวลาตัดสินใจ ซึ่งอาจเป็นผู้เข้าร่วมแต่ละราย กลุ่มผู้เข้าร่วม หรือหน่วยเวลา อัลกอริทึมการปรับตัวจะกำหนดวิธีการจัดสรรหน่วยการเข้าชมถัดไป ภายใต้ Thompson Sampling จะมีการสุ่มค่าประมาณความน่าจะเป็นของความสำเร็จจากการแจกแจง posterior ปัจจุบันของแต่ละรูปแบบ และรูปแบบที่มีค่าที่สุ่มได้สูงสุดจะได้รับหน่วยถัดไป ภายใต้ UCB จะเลือกรูปแบบที่มีค่าขอบเขตความเชื่อมั่นบนสูงสุด ขั้นตอนนี้จะทำซ้ำอย่างต่อเนื่องตลอดการทดลอง

4

หลังจากการสังเกตแต่ละครั้ง ผลลัพธ์จะถูกบันทึก และการแจกแจงความเชื่อของรูปแบบที่เลือกจะได้รับการอัปเดต (การอัปเดต posterior แบบ Bayesian) หรือช่วงความเชื่อมั่นจะถูกคำนวณใหม่ (การอัปเดตแบบ frequentist) ความเชื่อที่อัปเดตจะแจ้งการตัดสินใจจัดสรรครั้งถัดไปทันที ดังนั้นการออกแบบจึงเรียนรู้จากการสะสมหลักฐานแบบเพิ่มหน่วย

5

การทดลองจะหยุดเมื่อเป็นไปตามเกณฑ์ที่ลงทะเบียนไว้ล่วงหน้า: อาจถึงขนาดตัวอย่างสูงสุด ข้ามขอบเขตตามลำดับ หรือความน่าจะเป็น posterior ที่รูปแบบหนึ่งดีที่สุดเกินเกณฑ์ที่กำหนดไว้ล่วงหน้า (เช่น 95%) กฎการหยุดต้องได้รับการประกาศก่อนการรวบรวมข้อมูลเพื่อควบคุมการเพิ่มขึ้นของข้อผิดพลาดประเภทที่ 1 (Type I error) ที่เกิดจากการตรวจสอบอย่างต่อเนื่อง

6

ผู้วิจัยรายงานขนาดผลกระทบที่ประมาณได้และความไม่แน่นอนสำหรับแต่ละรูปแบบ สัดส่วนของผู้เข้าร่วมที่จัดสรรให้กับแต่ละรูปแบบ และกำไรของตัวชี้วัดโดยรวมเมื่อเทียบกับเกณฑ์มาตรฐานการจัดสรรแบบคงที่ การกล่าวอ้างเชิงอนุมานจะทำโดยใช้กรอบการหยุดที่ลงทะเบียนไว้ล่วงหน้า (frequentist หรือ Bayesian) แทนที่จะใช้การทดสอบ t แบบสิ้นสุดการศึกษาทั่วไป ซึ่งไม่ได้คำนึงถึงการจัดสรรแบบปรับตัว

ข้อผิดพลาดที่พบบ่อย

  • การแอบดูโดยไม่มีกฎการหยุด — การตรวจสอบผลลัพธ์อย่างต่อเนื่องและหยุดเมื่อพบความมีนัยสำคัญเป็นครั้งแรกโดยไม่มีกฎการใช้ค่าอัลฟาที่ลงทะเบียนไว้ล่วงหน้า จะเพิ่มอัตราข้อผิดพลาดประเภทที่ 1 อย่างมากเสมอ ให้ลงทะเบียนเกณฑ์การหยุดไว้ล่วงหน้า
  • การละเลยผลลัพธ์ที่ล่าช้า — หากตัวชี้วัดผลลัพธ์ล่าช้ากว่าการรักษา (เช่น การรักษา 30 วันวัดผลสำหรับรูปแบบที่กำหนดในวันนี้) อัลกอริทึมจะอัปเดตด้วยข้อมูลที่ไม่สมบูรณ์และจัดสรรอย่างไม่ถูกต้อง ให้ใช้การออกแบบที่คำนึงถึงการตอบสนองที่ล่าช้า หรือเปลี่ยนไปใช้การออกแบบแบบคงที่
  • การใช้การวิเคราะห์แบบจัดสรรคงที่ — การรายงานช่วงความเชื่อมั่นมาตรฐานหรือค่า p จากการทดสอบ t แบบสิ้นสุดการศึกษาหลังจากการจัดสรรแบบปรับตัวจะให้ค่าประมาณที่เอนเอียง ให้ใช้วิธีการทดสอบตามลำดับอัตราส่วนความควรจะเป็น (likelihood-ratio sequential tests) ช่วงความเชื่อมั่น posterior หรือตัวประมาณค่าการแก้ไขแบบนอกนโยบาย (off-policy correction estimators)
  • จำนวนการสังเกตน้อยเกินไปสำหรับการปรับตัวที่จะมีความหมาย — ด้วยขนาดตัวอย่างรวมที่เล็กมาก อัลกอริทึมแทบจะไม่ได้เปลี่ยนการจัดสรรก่อนที่การทดลองจะสิ้นสุด ในการตั้งค่าที่มีตัวอย่างขนาดเล็ก การออกแบบแบบสุ่มที่สมดุลจะมีประสิทธิภาพมากกว่า
  • การผสมผสานเป้าหมายการสำรวจกับเป้าหมายการอนุมาน — การจัดสรรแบบปรับตัวจะเพิ่มประสิทธิภาพผลลัพธ์รวมระหว่างการทดลอง หากเป้าหมายเพียงอย่างเดียวคือการประมาณค่าผลกระทบของแต่ละรูปแบบอย่างแม่นยำ การออกแบบที่สมดุลแบบคงที่จะให้ค่าความคลาดเคลื่อนมาตรฐานที่แคบกว่า

คำถามที่พบบ่อย

การทดสอบแบบปรับตัว A/B มีความถูกต้องทางสถิติหรือไม่?

ใช่ โดยมีเงื่อนไขว่ากฎการหยุดและวิธีการวิเคราะห์ได้รับการลงทะเบียนไว้ล่วงหน้าและตรงกับการออกแบบแบบปรับตัว การทดสอบ t มาตรฐานและช่วงความเชื่อมั่นแบบตัวอย่างคงที่นั้นไม่ถูกต้องหลังจากการจัดสรรแบบปรับตัว ทางเลือกที่ถูกต้อง ได้แก่ การทดสอบตามลำดับแบบใช้ค่าอัลฟา (เช่น ขอบเขต O'Brien–Fleming) Thompson Sampling พร้อมช่วงความเชื่อมั่นแบบ Bayesian หรือตัวประมาณค่าการแก้ไขแบบนอกนโยบาย (off-policy correction estimators) เช่น inverse propensity weighting สาขาวิชาหลักคือการยึดมั่นในกฎการหยุดก่อนเริ่มการรวบรวมข้อมูล

แตกต่างจากการทดลองแบบหลายแขน (multi-arm experiment) มาตรฐานอย่างไร?

การทดลองแบบหลายแขนมาตรฐานจะกำหนดผู้เข้าร่วมให้กับรูปแบบต่างๆ ในสัดส่วนคงที่ (มักจะเท่ากัน) ตลอดการทดลองและวิเคราะห์ข้อมูลทั้งหมดเมื่อสิ้นสุด การทดสอบแบบปรับตัว A/B จะอัปเดตอัตราส่วนการจัดสรรอย่างต่อเนื่องระหว่างการทดลองตามข้อมูลผลลัพธ์ที่สะสม ดังนั้นแขนที่มีประสิทธิภาพดีกว่าจะได้รับผู้เข้าร่วมมากขึ้นเมื่อเวลาผ่านไป กลไกการอนุมานต้องคำนึงถึงการจัดสรรที่ไม่คงที่นี้ ในขณะที่การวิเคราะห์แบบหลายแขนมาตรฐานจะสมมติว่าเป็นการสุ่มแบบคงที่

Thompson Sampling คืออะไร และเหตุใดจึงได้รับความนิยม?

Thompson Sampling เป็นอัลกอริทึมแบบ Bayesian ที่ในแต่ละขั้นตอนการตัดสินใจ จะสุ่มค่าประมาณประสิทธิภาพจากแจกแจง posterior ของแต่ละรูปแบบ และจัดสรรหน่วยถัดไปให้กับรูปแบบที่มีค่าที่สุ่มได้สูงสุด ได้รับความนิยมเนื่องจากง่ายต่อการนำไปใช้ มีการแลกเปลี่ยนระหว่างการสำรวจและการใช้ประโยชน์ตามธรรมชาติ และได้รับการพิสูจน์ทางทฤษฎีและเชิงประจักษ์ว่าให้ผลลัพธ์รวมที่ใกล้เคียงค่าที่เหมาะสมที่สุด สำหรับผลลัพธ์แบบทวิภาค จะใช้การแจกแจง Beta ที่เป็น conjugate ทำให้การอัปเดต posterior เป็นการคำนวณเพียงบรรทัดเดียว

เมื่อใดที่ฉันควรใช้การทดสอบ A/B แบบจัดสรรคงที่แบบคลาสสิก?

ใช้การออกแบบแบบคงที่เมื่อ: ผลลัพธ์ล่าช้าอย่างมาก (ความล่าช้าของการตอบสนองเกินช่วงเวลาระหว่างการตัดสินใจ); ตัวอย่างมีขนาดเล็กและอัลกอริทึมไม่สามารถปรับตัวได้อย่างมีความหมาย; ข้อกำหนดด้านกฎระเบียบกำหนดให้มีการจัดสรรที่สมดุล (เช่น การทดลองทางคลินิกระยะที่ 3 บางประเภท); หรือเป้าหมายเพียงอย่างเดียวคือการประมาณค่าผลกระทบอย่างแม่นยำ แทนที่จะเพิ่มผลลัพธ์สูงสุดระหว่างการทดลอง ในสถานการณ์เหล่านี้ การออกแบบแบบสุ่มควบคุมที่สมดุลจะให้การอนุมานที่ชัดเจนกว่าพร้อมการวิเคราะห์ที่ง่ายกว่า

สามารถใช้การทดสอบแบบปรับตัว A/B กับรูปแบบมากกว่าสองรูปแบบได้หรือไม่?

ใช่ กรอบการทำงาน multi-armed bandit ขยายไปยังแขน (รูปแบบ) จำนวนเท่าใดก็ได้ตามธรรมชาติ เมื่อมีหลายรูปแบบ การจัดสรรแบบปรับตัวจะมีคุณค่าเป็นพิเศษ เพราะการจัดสรรที่เท่ากันแบบคงที่ในสถานการณ์แบบหลายแขนจะกระจายตัวอย่างบางเกินไปในแขนที่มีประสิทธิภาพต่ำ อัลกอริทึม เช่น Thompson Sampling, UCB และ Successive Rejects สามารถปรับขนาดไปยังสถานการณ์แบบหลายแขนได้โดยตรง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Russo, D., Van Roy, B., Kazerouni, A., Osband, I., & Wen, Z. (2018). A Tutorial on Thompson Sampling. Foundations and Trends in Machine Learning, 11(1), 1–96.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Offer-Westort, M., Coppock, A., & Green, D. P. (2021). Adaptive Experimental Design: Prospects and Applications in Political Science. American Journal of Political Science, 65(4), 826–844.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว