การทดลองแบบปรับตัว — การออกแบบการทดลองแบบปรับตัว
- ผู้เสนอ
- Abraham Wald (sequential analysis foundation); expanded by Robbins, Armitage, and others
- ปี
- 1940s–1970s (sequential foundations); formalised in clinical and behavioural research by 1980s–2000s
- ประเภท
- Experimental research design
- กลุ่มวิธี
- Experimental design
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การทดลองแบบปรับตัว (adaptive experiment) คือการออกแบบการทดลองที่กฎที่กำหนดไว้ล่วงหน้าอนุญาตให้มีการปรับเปลี่ยนระเบียบวิธี — เช่น การจัดสรรผู้เข้าร่วมไปยังแขนการทดลองที่ให้ผลดีกว่า, การหยุดการทดลองก่อนกำหนดเนื่องจากประสิทธิผลหรือความไร้ประโยชน์, หรือการเปลี่ยนแปลงขนาดตัวอย่าง — โดยอาศัยข้อมูลระหว่างการทดลองที่สะสมมา ในขณะที่ยังคงความถูกต้องทางสถิติ การออกแบบแบบปรับตัวมีการใช้อย่างแพร่หลายในการทดลองทางคลินิก, เศรษฐศาสตร์พฤติกรรม, และการทดสอบแพลตฟอร์มออนไลน์ เพื่อเพิ่มประสิทธิภาพและจริยธรรมโดยไม่ลดทอนความเข้มงวดของการอนุมาน
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการทดสอบการแทรกแซงการสอนสี่แบบพร้อมกัน การทดลองแบบดั้งเดิมจะดำเนินการทั้งสี่แบบจนเสร็จสิ้นโดยไม่คำนึงถึงผลลัพธ์ในช่วงต้น การทดลองแบบปรับตัวจะติดตามผลลัพธ์เมื่อข้อมูลสะสม: หากแขนการทดลองแขนใดแขนหนึ่งให้ผลต่ำกว่าอย่างชัดเจนหลังจากลงทะเบียนผู้เข้าร่วมไปแล้ว 30% การออกแบบสามารถเปลี่ยนทรัพยากรออกจากแขนนั้นได้ ในขณะที่ยังคงเปรียบเทียบแขนที่เหลืออยู่ นี่ไม่ใช่การปรับเปลี่ยนตามอำเภอใจ — กฎการตัดสินใจ (เมื่อใดควรปรับเปลี่ยนและอย่างไร) จะถูกกำหนดไว้ก่อนเริ่มการศึกษา ดังนั้นการวิเคราะห์ทางสถิติขั้นสุดท้ายจึงยังคงถูกต้อง ผลลัพธ์คือคำตอบที่เร็วขึ้น, การเปิดเผยผู้เข้าร่วมต่อสภาวะที่ด้อยกว่าน้อยลง, และการใช้ทรัพยากรอย่างชาญฉลาดขึ้น
ประวัติศาสตร์
รากฐานทางสถิติของการทดลองแบบปรับตัวสืบย้อนไปถึงการวิเคราะห์ตามลำดับ (sequential analysis) ของ Abraham Wald (1947) และงานการประมาณค่าแบบสุ่ม (stochastic approximation) ของ Kiefer-Wolfowitz (1952) Herbert Robbins ได้กำหนดปัญหา multi-armed bandit อย่างเป็นทางการในปี 1952 โดยให้กรอบการทำงานสำหรับการจัดสรรแบบปรับตามการตอบสนอง Peter Armitage ได้พัฒนาวิธีการตามลำดับสำหรับการทดลองทางคลินิกในช่วงทศวรรษที่ 1950–60 กรอบการทำงานของการทดลองแบบกลุ่มตามลำดับได้รับการกำหนดอย่างเป็นทางการโดย Pocock (1977) และ O'Brien และ Fleming (1979) ความสนใจของหน่วยงานกำกับดูแลเพิ่มขึ้นในช่วงทศวรรษที่ 2000 ซึ่งนำไปสู่เอกสารแนวทางของ FDA (2010, 2019) ที่กำหนดกรอบการทำงานสำหรับการทดลองทางคลินิกแบบปรับตัว ปัจจุบันการออกแบบแบบปรับตัวยังเป็นหัวใจสำคัญของแพลตฟอร์มการทดลองออนไลน์ในบริษัทเทคโนโลยี
ควรใช้เมื่อใด
ใช้การทดลองแบบปรับตัวเมื่อ: (1) ข้อมูลระหว่างการทดลองสามารถสังเกตได้ก่อนที่การศึกษาจะสิ้นสุดและสามารถแจ้งการปรับเปลี่ยนการออกแบบได้; (2) มีความไม่แน่นอนอย่างแท้จริงเกี่ยวกับแขนการทดลองใดที่น่าหวังที่สุด ทำให้สิ้นเปลืองหรือผิดจริยธรรมที่จะคงการจัดสรรที่เท่ากันตลอด; (3) ข้อสมมติฐานเกี่ยวกับขนาดตัวอย่างไม่แน่นอนและ การประเมินกลางคันจะช่วยเพิ่มกำลังการทดลอง เป็นที่พบมากที่สุดในการทดลองทางคลินิก แต่มีการใช้เพิ่มขึ้นในการทดสอบ A/B ออนไลน์, วิทยาศาสตร์พฤติกรรม, และการประเมินนโยบาย อย่าใช้การออกแบบแบบปรับตัวเมื่อ: ผลลัพธ์สามารถสังเกตได้เฉพาะหลังจากการศึกษาเสร็จสิ้น (ไม่มีข้อมูลระหว่างการทดลองที่มีความหมาย); กฎการปรับเปลี่ยนไม่สามารถกำหนดไว้ล่วงหน้าได้; หรือบริบทด้านกฎระเบียบหรือสถาบันต้องการแนวทางการออกแบบที่คงที่ การออกแบบแบบปรับตัวต้องการความเชี่ยวชาญทางสถิติเบื้องต้นมากกว่าการออกแบบที่คงที่ — หากทีมไม่สามารถกำหนดกฎการปรับเปลี่ยนไว้ในระเบียบวิธีที่ลงทะเบียนไว้ล่วงหน้าได้ การทดลองแบบสุ่มและมีกลุ่มควบคุม (RCT) แบบธรรมดาจะเหมาะสมกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องกำหนดกฎการปรับเปลี่ยนทั้งหมดไว้ล่วงหน้าก่อนการรวบรวมข้อมูล — การเบี่ยงเบนใดๆ จะทำให้การควบคุมข้อผิดพลาดประเภทที่หนึ่งบกพร่อง
- การวิเคราะห์ทางสถิติมีความซับซ้อนกว่าการออกแบบที่คงที่อย่างมาก; ต้องใช้ซอฟต์แวร์และความเชี่ยวชาญเฉพาะทาง
- การสุ่มแบบปรับตามการตอบสนองอาจก่อให้เกิดความเอนเอียงในการดำเนินงานหากการปกปิดข้อมูลไม่สมบูรณ์ หรือหากการปรับเปลี่ยนสามารถสังเกตได้โดยผู้เข้าร่วมหรือเจ้าหน้าที่
- การยอมรับของหน่วยงานกำกับดูแลแตกต่างกันไป; ในบริบททางคลินิก แผนการปรับเปลี่ยนจะต้องเจรจากับหน่วยงานกำกับดูแลก่อนเริ่มการทดลอง
- ความซับซ้อนด้านการดำเนินงานเพิ่มขึ้น — การทำความสะอาดข้อมูลระหว่างการทดลอง, การติดตามผลอย่างอิสระ, และการปรับปรุงระเบียบวิธีอย่างรวดเร็ว ต้องการโครงสร้างพื้นฐาน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เพิ่มประสิทธิภาพ — อาจต้องใช้ผู้เข้าร่วมจำนวนน้อยกว่าการออกแบบที่คงที่เพื่อให้ได้ข้อสรุปเดียวกันเมื่อผลลัพธ์ในช่วงต้นให้ข้อมูล
- ข้อได้เปรียบด้านจริยธรรม — ลดการเปิดเผยผู้เข้าร่วมต่อสภาวะที่ด้อยกว่าโดยการเปลี่ยนการจัดสรรออกจากแขนการทดลองที่ให้ผลต่ำกว่า
- ความยืดหยุ่น — การประเมินขนาดตัวอย่างใหม่ช่วยป้องกันการศึกษาที่มีกำลังไม่เพียงพอหรือยาวนานเกินไปอันเนื่องมาจากข้อสมมติฐานเบื้องต้นที่ไม่แน่นอน
- ความสามารถในการรองรับหลายแขนการทดลอง — รองรับโครงสร้างการทดลองระยะที่ II/III หรือการทดลองแบบแพลตฟอร์มที่เพิ่มหรือลดแขนการทดลองตามหลักฐานที่สะสม
- สามารถหยุดก่อนกำหนดได้เนื่องจากประสิทธิผลที่โดดเด่นหรือความไร้ประโยชน์ ช่วยประหยัดเวลาและทรัพยากร
การประยุกต์ใช้
- การทดลองทางคลินิกเปรียบเทียบขนาดยาหรือแขนการรักษาหลายแขน โดยใช้การสุ่มแบบปรับตามการตอบสนองเพื่อเปลี่ยนการจัดสรรไปยังแขนที่ให้ผลดีกว่า
- การทดสอบ A/B และการทดสอบหลายแขนบนแพลตฟอร์มออนไลน์ ซึ่งน้ำหนักการจัดสรรจะได้รับการปรับปรุงแบบเรียลไทม์โดยอาศัยผลลัพธ์การแปลงหรือการมีส่วนร่วม
- การศึกษาการหาขนาดยาในระยะที่ I/II ของการทดลองมะเร็งวิทยา ซึ่งการออกแบบจะเพิ่มหรือลดขนาดยาตามข้อมูลความเป็นพิษและประสิทธิผลที่สังเกตได้
- การทดลองภาคสนามด้านเศรษฐศาสตร์พฤติกรรม ซึ่งการแทรกแซงนโยบายที่มีแนวโน้มจะได้รับการจัดสรรเพิ่มขึ้นเมื่อข้อมูลผลลัพธ์ในช่วงต้นสะสม
- การศึกษาการแทรกแซงทางการศึกษาที่ประเมินขนาดตัวอย่างใหม่ระหว่างการทดลองเมื่อประมาณการขนาดผลเบื้องต้นไม่แน่นอน
- การทดลองแบบแพลตฟอร์มในภาวะฉุกเฉินด้านสาธารณสุข (เช่น การทดลองรักษา COVID-19) ที่เพิ่มแขนการทดลองใหม่เมื่อมีวิธีการรักษาที่เป็นไปได้
วิธีการทำงาน
วิธีการทำงาน
ก่อนที่จะมีการรวบรวมข้อมูลใดๆ ผู้วิจัยจะกำหนด: ค่าประมาณหลัก (primary estimand), กฎการปรับเปลี่ยน (เช่น น้ำหนักการสุ่มแบบปรับตามการตอบสนอง, ตารางการตรวจสอบระหว่างการทดลอง, ขอบเขตการหยุดการทดลองเนื่องจากประสิทธิผลหรือความไร้ประโยชน์), และวิธีการควบคุมข้อผิดพลาดประเภทที่หนึ่ง (Type I error) ในการวิเคราะห์ระหว่างการทดลองทั้งหมด การกำหนดไว้ล่วงหน้าเป็นสิ่งที่ละเว้นไม่ได้ — การเปลี่ยนแปลงกลางคันที่ไม่คาดการณ์ไว้จะทำให้การรับประกันการอนุมานเป็นโมฆะ
ณ จุดตรวจสอบระหว่างการทดลองที่กำหนดไว้ล่วงหน้าหนึ่งจุดหรือมากกว่านั้น ข้อมูลผลลัพธ์ที่สะสมจะได้รับการวิเคราะห์โดยคณะกรรมการติดตามข้อมูลอิสระหรือกฎอัตโนมัติ การวิเคราะห์ระหว่างการทดลองจะปฏิบัติตามกฎการตัดสินใจที่กำหนดไว้ล่วงหน้าอย่างเคร่งครัด — จะไม่มีการใช้วิจารณญาณของผู้ดำเนินการทดลองนอกเหนือจากที่ได้วางแผนไว้ล่วงหน้า
ตามผลลัพธ์ระหว่างการทดลอง การปรับเปลี่ยนที่อนุญาตจะถูกนำมาใช้: ความน่าจะเป็นในการจัดสรรแขนอาจได้รับการปรับปรุง (การสุ่มแบบปรับตามการตอบสนอง), แขนการทดลองที่ให้ผลต่ำอาจถูกตัดออก, ขนาดตัวอย่างอาจได้รับการประเมินใหม่, หรือการทดลองอาจถูกหยุดก่อนกำหนดเนื่องจากความสำเร็จที่โดดเด่นหรือความไร้ประโยชน์ การปรับเปลี่ยนทั้งหมดต้องอยู่ภายในขอบเขตที่กำหนดไว้ล่วงหน้าในระเบียบวิธี
การศึกษายังคงดำเนินต่อไปด้วยการออกแบบที่ปรับเปลี่ยนแล้ว — อาจมีน้ำหนักแขนที่แตกต่างกัน, ขนาดตัวอย่างที่ปรับเปลี่ยน, หรือชุดแขนที่ลดลง — ในขณะที่ยังคงการปกปิดข้อมูล (blinding) และความสมบูรณ์ของการสุ่ม (randomization) ผู้เข้าร่วมที่ลงทะเบียนไว้แล้วโดยทั่วไปจะยังคงอยู่ภายใต้การจัดสรรเดิม
หลังจากการสังเกตการณ์ครั้งสุดท้าย การวิเคราะห์หลักจะใช้วิธีการที่คำนึงถึงลักษณะการปรับตัวของการออกแบบ (เช่น วิธีการอัตราข้อผิดพลาดแบบมีเงื่อนไข (conditional error-rate methods), สรุปค่าภายหลังแบบเบย์ (Bayesian posterior summaries), หรือสถิติทดสอบแบบกลุ่มตามลำดับ (group-sequential test statistics)) ค่าประมาณจุดและช่วงความเชื่อมั่นจะต้องได้รับการปรับปรุงสำหรับเส้นทางการสุ่มแบบปรับตัวเพื่อหลีกเลี่ยงความเอนเอียงจากการละเลยลักษณะตามลำดับของข้อมูล
ข้อผิดพลาดที่พบบ่อย
- การปรับเปลี่ยนที่ไม่คาดการณ์ไว้ — การเปลี่ยนแปลงการออกแบบกลางคันในลักษณะที่ไม่ครอบคลุมโดยระเบียบวิธีที่กำหนดไว้ล่วงหน้าจะทำให้การควบคุมข้อผิดพลาดประเภทที่หนึ่งเป็นโมฆะ และอาจถือเป็นการละเมิดระเบียบวิธี
- การละเลยเส้นทางการปรับตัวในการวิเคราะห์ขั้นสุดท้าย — การใช้วิธีการทดสอบแบบออกแบบที่คงที่มาตรฐานหลังจากการปรับเปลี่ยนตามลำดับจะเพิ่มอัตราข้อผิดพลาดประเภทที่หนึ่ง; ต้องใช้วิธีการวิเคราะห์ที่คำนึงถึงโครงสร้างการปรับตัวเสมอ
- การเปิดเผยข้อมูลที่ปกปิดไว้จากการดำเนินงาน — หากความน่าจะเป็นในการจัดสรรที่สะสมสามารถมองเห็นได้โดยผู้เข้าร่วมหรือเจ้าหน้าที่ที่ไม่ปกปิดข้อมูล จะเกิดความเอนเอียงขึ้น; ต้องมีกระบวนการดำเนินงานที่แข็งแกร่งเพื่อป้องกันการตัดสินใจปรับเปลี่ยนจากการทีมงานทดลอง
- การประเมินค่าการเพิ่มประสิทธิภาพสูงเกินไป — การออกแบบแบบปรับตัวมีประโยชน์มากที่สุดเมื่อข้อมูลระหว่างการทดลองมีความแข็งแกร่งและกฎการปรับเปลี่ยนได้รับการปรับเทียบอย่างดี; ด้วยสัญญาณระหว่างการทดลองที่อ่อนแอ ความซับซ้อนที่เพิ่มขึ้นอาจไม่คุ้มค่า
- การสมมติว่าความสามารถในการปรับตัวทดแทนการออกแบบเบื้องต้นที่เพียงพอ — ผลลัพธ์หลักหรือค่าประมาณหลักที่ระบุไว้ไม่ดีจะไม่ได้รับการแก้ไขด้วยการเพิ่มคุณสมบัติการปรับตัว
คำถามที่พบบ่อย
การทดลองแบบปรับตัวเหมือนกับการทดลองตามลำดับหรือไม่?
การวิเคราะห์ตามลำดับเป็นกรอบการทำงานทางสถิติที่เป็นรากฐาน; การทดลองแบบปรับตัวเป็นกลุ่มที่กว้างกว่าซึ่งรวมถึงกฎการหยุดตามลำดับ แต่ยังครอบคลุมถึงการสุ่มแบบปรับตามการตอบสนอง, การตัดแขนการทดลอง, และการประเมินขนาดตัวอย่างใหม่ การทดลองตามลำดับทั้งหมดเป็นการปรับตัวในความหมายขั้นต่ำ แต่ไม่ใช่การออกแบบแบบปรับตัวทั้งหมดที่จำกัดตัวเองเพียงการหยุดก่อนกำหนด
ฉันจะควบคุมอัตราข้อผิดพลาดประเภทที่หนึ่งในการวิเคราะห์ระหว่างการทดลองหลายครั้งได้อย่างไร?
กำหนดตารางการตรวจสอบระหว่างการทดลองไว้ล่วงหน้าและใช้วิธีการขอบเขตการหยุดที่ปรับปรุงความซ้ำซ้อน (multiplicity-adjusted stopping boundary method) เช่น ขอบเขต O'Brien-Fleming หรือ Pocock, หรือแนวทางฟังก์ชันการใช้จ่ายอัลฟา (alpha-spending function approach) (Lan-DeMets) สำหรับการออกแบบแบบปรับตัวแบบเบย์ ให้ปรับเทียบเกณฑ์การตัดสินใจผ่านการจำลองเพื่อให้ได้ลักษณะการทำงาน (operating characteristics) แบบ frequentist ที่ต้องการก่อนเริ่มการทดลอง
ฉันสามารถใช้การออกแบบแบบปรับตัวในการวิจัยสังคมศาสตร์นอกเหนือจากการทดลองทางคลินิกได้หรือไม่?
ได้ การสุ่มแบบปรับตามการตอบสนอง, อัลกอริทึม multi-armed bandit, และกฎการหยุดแบบกลุ่มตามลำดับ ได้ถูกนำไปใช้ในการวิจัยการศึกษา, เศรษฐศาสตร์พฤติกรรม, และการทดลองออนไลน์ ข้อกำหนดที่สำคัญยังคงเหมือนเดิม: กฎการปรับเปลี่ยนต้องกำหนดไว้ล่วงหน้า และการวิเคราะห์ขั้นสุดท้ายต้องคำนึงถึงเส้นทางการสุ่มแบบปรับตัว
ฉันต้องการขนาดตัวอย่างเท่าใด?
ขนาดตัวอย่างขึ้นอยู่กับกลยุทธ์การปรับเปลี่ยนเฉพาะ, ค่าประมาณหลัก, ตารางการตรวจสอบระหว่างการทดลอง, และกำลังการทดลองที่ต้องการ เนื่องจากขนาดตัวอย่างสุดท้ายอาจเป็นปริมาณที่ปรับตัวได้ (ในการออกแบบการประเมินขนาดตัวอย่างใหม่) การวิเคราะห์กำลังการทดลองโดยใช้การจำลองมักจะจำเป็นมากกว่าสูตรปิด (closed-form formula) มาตรฐาน
การออกแบบแบบปรับตัวต้องได้รับการอนุมัติล่วงหน้าจากหน่วยงานกำกับดูแลหรือไม่?
ในการทดลองทางคลินิกที่มีการกำกับดูแล (ยา, อุปกรณ์, ชีววัตถุ) ใช่ — แผนการออกแบบแบบปรับตัวต้องได้รับความเห็นชอบจากหน่วยงานกำกับดูแลที่เกี่ยวข้อง (FDA, EMA, ฯลฯ) ก่อนเริ่มการศึกษา ในบริบทการวิจัยที่ไม่มีการกำกับดูแล จะไม่มีข้อกำหนดการอนุมัติอย่างเป็นทางการ แต่ขอแนะนำอย่างยิ่งให้ลงทะเบียนกฎการปรับเปลี่ยนล่วงหน้าในทะเบียนสาธารณะ (เช่น ClinicalTrials.gov, AsPredicted, OSF) เพื่อให้มั่นใจในความโปร่งใสและความสามารถในการทำซ้ำ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Chow, S. C., & Chang, M. (2008). Adaptive Design Methods in Clinical Trials. Chapman and Hall/CRC.
ISBN: 978-1584886761คัดลอกแล้วU.S. Food and Drug Administration. (2019). Adaptive Designs for Clinical Trials of Drugs and Biologics: Guidance for Industry. FDA.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว