การจำลองแบบบูตสแตรป — การสุ่มตัวอย่างเชิงประจักษ์สำหรับการอนุมานทางสถิติ
- ผู้เสนอ
- Bradley Efron
- ปี
- 1979
- ประเภท
- Simulation-based nonparametric inference
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจำลองแบบบูตสแตรป (Bootstrap simulation) ซึ่งริเริ่มโดย Bradley Efron ในปี 1979 เป็นวิธีการอนุมานที่อาศัยการจำลอง โดยการสุ่มตัวอย่างซ้ำพร้อมกับการคืนค่าจากข้อมูลที่สังเกตได้ เพื่อสร้างการแจกแจงจากการสุ่มตัวอย่างของสถิติใดๆ เกือบทั้งหมด เนื่องจากวิธีการนี้ไม่จำเป็นต้องมีข้อสมมติฐานเกี่ยวกับการแจกแจงแบบพาราเมตริก จึงเป็นทางเลือกที่แข็งแกร่งและใช้งานได้ทั่วไป แทนที่ช่วงความเชื่อมั่นเชิงวิเคราะห์และการทดสอบสมมติฐานแบบพาราเมตริก สำหรับข้อมูลแบบต่อเนื่อง อันดับ ทวิภาค และข้อมูลการนับ
แนวคิดเบื้องหลังวิธีการ
โดยปกติแล้ว เพื่อทำความเข้าใจว่าสถิติ เช่น ค่าเฉลี่ยหรือมัธยฐานมีความแปรปรวนเพียงใด คุณจะต้องเก็บตัวอย่างอิสระหลายชุดจากประชากร — แต่คุณมีเพียงตัวอย่างเดียว การสุ่มตัวอย่างแบบบูตสแตรปแก้ปัญหานี้โดยการปฏิบัติต่อตัวอย่างเดียวของคุณเสมือนว่าเป็นประชากร และทำการสุ่มตัวอย่างใหม่หลายพันครั้งจากตัวอย่างนั้นพร้อมกับการคืนค่า การสุ่มแต่ละครั้งจะแตกต่างกันเล็กน้อย และเมื่อรวมกันแล้วจะสร้างภาพเชิงประจักษ์ว่าสถิติดังกล่าวจะมีพฤติกรรมอย่างไรในการศึกษาซ้ำๆ โดยไม่จำเป็นต้องใช้สูตรการแจกแจงใดๆ
ประวัติศาสตร์
Bradley Efron ได้นำเสนอวิธีการบูตสแตรปในบทความสำคัญปี 1979 และได้ขยายกรอบงานร่วมกับ Rob Tibshirani ในตำราปี 1993 ซึ่งยังคงเป็นแหล่งอ้างอิงที่สมบูรณ์ วิธีการนี้พัฒนามาจากแนวคิดการสุ่มตัวอย่างซ้ำแบบ jackknife ในยุคก่อนหน้า และเป็นการปฏิวัติวงการเนื่องจากเป็นวิธีการที่สามารถคำนวณได้และให้ผลการอนุมานที่ถูกต้องโดยไม่ต้องใช้การแจกแจงจากการสุ่มตัวอย่างในรูปแบบปิด Davison และ Hinkley ในหนังสือปี 1997 ได้ขยายทฤษฎีบูตสแตรปไปยังแบบจำลองการถดถอย อนุกรมเวลา และข้อมูลที่ถูกเซ็นเซอร์ ซึ่งเป็นการรวมวิธีการนี้ให้เป็นรากฐานสำคัญของสถิติประยุกต์สมัยใหม่
ควรใช้เมื่อใด
การจำลองแบบบูตสแตรปเหมาะสมเมื่อใดก็ตามที่การแจกแจงจากการสุ่มตัวอย่างของสถิติไม่สามารถหาได้จากการวิเคราะห์ หรือเมื่อไม่สามารถให้เหตุผลสำหรับข้อสมมติฐานแบบพาราเมตริก (ความเป็นปกติ ความแปรปรวนเท่ากัน) ได้ วิธีการนี้จัดการกับตัวแปรแบบต่อเนื่อง อันดับ ทวิภาค และข้อมูลการนับ และทำงานร่วมกับตัวประมาณค่าทางสถิติเกือบทุกชนิด — รวมถึงตัวประมาณค่าที่ซับซ้อน เช่น สัมประสิทธิ์การถดถอย ความแตกต่างของสหสัมพันธ์ หรือเมตริกความแม่นยำของแบบจำลอง โดยทั่วไปต้องการตัวอย่างขั้นต่ำประมาณ 20 การสังเกต; ด้วยตัวอย่างที่มีขนาดเล็กมาก การแจกแจงแบบบูตสแตรปอาจไม่สามารถแสดงถึงประชากรได้อย่างเพียงพอ สำหรับข้อมูลที่มีความสัมพันธ์กันหรือข้อมูลอนุกรมเวลา ให้ใช้ block bootstrap แทนเวอร์ชัน i.i.d. มาตรฐาน
ข้อจำกัดและข้อควรพิจารณา
- ต้องใช้การคำนวณมากเมื่อ B มีค่ามาก (สุ่มตัวอย่างซ้ำ 10,000+ ครั้ง) หรือการคำนวณสถิติมีค่าใช้จ่ายสูง
- ไม่สามารถแก้ไขข้อผิดพลาดของตัวอย่างเดิมที่เอนเอียงหรือไม่เป็นตัวแทน — บูตสแตรปจะรับข้อผิดพลาดที่เป็นระบบใดๆ ที่มีอยู่ในข้อมูล
- ตัวอย่างเดิมที่มีขนาดเล็ก (n < 20) อาจไม่ให้การแจกแจงจากการสุ่มตัวอย่างเชิงประจักษ์ที่น่าเชื่อถือ แม้จะมีการสุ่มตัวอย่างซ้ำหลายครั้ง
- บูตสแตรป i.i.d. มาตรฐานไม่ถูกต้องสำหรับข้อมูลที่ขึ้นต่อกัน; ต้องใช้ block bootstrap แทน และการเลือกขนาดบล็อกจะเพิ่มความซับซ้อน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ไม่ต้องการข้อสมมติฐานเกี่ยวกับการแจกแจงแบบพาราเมตริก — ถูกต้องภายใต้เงื่อนไขที่กว้างขวางซึ่งสูตรคลาสสิกใช้ไม่ได้ผล
- สามารถนำไปใช้กับสถิติเกือบทุกชนิด: ค่าเฉลี่ย มัธยฐาน สหสัมพันธ์ สัมประสิทธิ์การถดถอย เมตริกประสิทธิภาพของแบบจำลอง และตัวประมาณค่าที่กำหนดเอง
- ให้ช่วงความเชื่อมั่นและการทดสอบสมมติฐานโดยไม่ต้องมีการหาอนุพันธ์ของการแจกแจงจากการสุ่มตัวอย่างในรูปแบบปิด
- ขยายได้ง่าย: block bootstrap จัดการกับข้อมูลที่ขึ้นต่อกัน; ช่วง BCa จัดการกับความไม่สมมาตร
การประยุกต์ใช้
- การสร้างช่วงความเชื่อมั่นสำหรับตัวประมาณค่าที่ซับซ้อน (มัธยฐาน ค่าเฉลี่ยตัดบางส่วน ความแม่นยำของแบบจำลอง) ซึ่งไม่มีสูตรวิเคราะห์
- การทดสอบสมมติฐานเมื่อไม่สามารถตรวจสอบข้อสมมติฐานแบบพาราเมตริกได้ — ตัวอย่างเช่น การเปรียบเทียบสองกลุ่มสำหรับผลลัพธ์แบบต่อเนื่องที่มีการเบ้
- การประมาณค่าความผิดพลาดในการทำนายและความเสถียรของแบบจำลองในแมชชีนเลิร์นนิงผ่านการสุ่มตัวอย่างนอกถุงแบบบูตสแตรป (bootstrap out-of-bag sampling)
- การวิจัยชีวการแพทย์: การหาช่วงความเชื่อมั่นสำหรับเส้นโค้งการรอดชีวิต พารามิเตอร์การตอบสนองต่อขนาดยา และลักษณะของแบบทดสอบวินิจฉัย
- การวิจัยสังคมศาสตร์และการศึกษา: การอนุมานเกี่ยวกับความแตกต่างของสหสัมพันธ์ ขนาดอิทธิพล และคะแนนรวมของมาตรวัด
วิธีการทำงาน
วิธีการทำงาน
เริ่มต้นด้วยชุดข้อมูลที่สังเกตได้ซึ่งมี n การสังเกต ตรวจสอบว่าตัวอย่างนั้นเป็นตัวแทนของประชากรเป้าหมายหรือไม่ — บูตสแตรปสามารถทำซ้ำได้เฉพาะสิ่งที่อยู่ในข้อมูลเท่านั้น ดังนั้นตัวอย่างที่เอนเอียงหรือไม่เป็นตัวแทนจะให้ค่าประมาณบูตสแตรปที่เอนเอียง
ทำการสุ่มตัวอย่าง B ครั้ง ขนาด n จากข้อมูลเดิม โดยแต่ละครั้งจะสุ่มพร้อมกับการคืนค่า Efron และ Tibshirani (1993) แนะนำให้ใช้ B ≥ 1,000 เป็นอย่างน้อย สำหรับช่วงความเชื่อมั่น B = 10,000 เป็นคำแนะนำมาตรฐาน สำหรับข้อมูลที่ขึ้นต่อกัน (อนุกรมเวลา การสังเกตแบบกลุ่ม) ให้ใช้ block bootstrap เพื่อรักษาโครงสร้างการพึ่งพา
คำนวณสถิติที่สนใจ — ค่าเฉลี่ย มัธยฐาน สัมประสิทธิ์การถดถอย สหสัมพันธ์ หรือตัวประมาณค่าอื่นๆ — ในแต่ละตัวอย่างบูตสแตรป B ตัวอย่าง ซึ่งจะสร้างการแจกแจงแบบบูตสแตรปของค่าสถิติ B ค่า
รวบรวมค่าสถิติบูตสแตรป B ค่า เป็นการแจกแจงจากการสุ่มตัวอย่างเชิงประจักษ์ สรุปด้วยค่าความคลาดเคลื่อนมาตรฐานแบบบูตสแตรป (bootstrap standard error) และช่วงความเชื่อมั่นแบบบูตสแตรป สำหรับการแจกแจงที่เบ้ ช่วงแบบปรับแก้ความเอนเอียงและอัตราเร่ง (bias-corrected accelerated (BCa) interval) จะเป็นที่นิยม ช่วงเปอร์เซ็นไทล์ (percentile interval) เป็นทางเลือกที่ง่ายที่สุด
ใช้การแจกแจงแบบบูตสแตรปที่รวบรวมได้เพื่อทำการอนุมาน: รายงานช่วงความเชื่อมั่นสำหรับพารามิเตอร์ที่สนใจ หรือคำนวณค่า p-value สำหรับการทดสอบสมมติฐานโดยการเปรียบเทียบสถิติที่สังเกตได้กับการแจกแจงภายใต้สมมติฐานว่างแบบบูตสแตรป เนื่องจากไม่จำเป็นต้องมีข้อสมมติฐานแบบพาราเมตริกเพื่อให้ได้ผลลัพธ์ถึงจุดนี้ การอนุมานจึงถูกต้องภายใต้เงื่อนไขที่กว้างขวาง
ข้อผิดพลาดที่พบบ่อย
- การใช้จำนวนการสุ่มตัวอย่างซ้ำน้อยเกินไป (B < 1,000) ทำให้ช่วงความเชื่อมั่นไม่เสถียร — ควรใช้ B = 1,000 เป็นอย่างน้อย และ B = 10,000 สำหรับ CI ที่รายงานสุดท้าย
- การใช้บูตสแตรป i.i.d. มาตรฐานกับข้อมูลอนุกรมเวลาหรือข้อมูลแบบกลุ่มละเมิดข้อสมมติฐานความเป็นอิสระ; ควรใช้ block bootstrap สำหรับการสังเกตที่ขึ้นต่อกัน
- การปฏิบัติต่อช่วงความเชื่อมั่นแบบบูตสแตรปเสมือนว่าเหมือนกันโดยไม่คำนึงถึงวิธีการ — ช่วงเปอร์เซ็นไทล์อาจไม่ถูกต้องเมื่อสถิติมีความเบ้; ควรเลือก BCa ในกรณีเหล่านั้น
- การสับสนระหว่างค่าความคลาดเคลื่อนมาตรฐานแบบบูตสแตรปกับค่าความคลาดเคลื่อนมาตรฐานของประชากร — bootstrap SE ประมาณค่าความแปรปรวนของตัวประมาณค่า ไม่ใช่ความแปรปรวนของข้อมูลดิบ
คำถามที่พบบ่อย
ต้องใช้การสุ่มตัวอย่างซ้ำแบบบูตสแตรปกี่ครั้ง?
ต้องใช้การสุ่มตัวอย่างซ้ำอย่างน้อย B = 1,000 ครั้งสำหรับค่าความคลาดเคลื่อนมาตรฐานแบบบูตสแตรปและช่วงความเชื่อมั่นโดยประมาณ สำหรับช่วงความเชื่อมั่นที่รายงานสุดท้าย B = 10,000 เป็นคำแนะนำมาตรฐาน (Efron & Tibshirani, 1993) การใช้จำนวนการสุ่มตัวอย่างซ้ำน้อยกว่า 1,000 ครั้งให้ผลลัพธ์ที่ไม่เสถียรและไม่ควรรายงาน
ควรใช้วิธีการช่วงความเชื่อมั่นแบบใด — เปอร์เซ็นไทล์, BCa, หรือแบบพื้นฐาน?
ช่วง BCa (bias-corrected accelerated) เป็นที่นิยมในสถานการณ์ส่วนใหญ่ โดยเฉพาะอย่างยิ่งเมื่อการแจกแจงจากการสุ่มตัวอย่างของสถิติไม่สมมาตรหรือตัวประมาณค่ามีความเอนเอียง ช่วงเปอร์เซ็นไทล์นั้นง่ายกว่าแต่ก็อาจไม่แม่นยำภายใต้ความเบ้ BCa ปรับแก้ทั้งความเอนเอียงและความเบ้ ทำให้เป็นตัวเลือกที่น่าเชื่อถือที่สุดสำหรับการใช้งานทั่วไป
สามารถใช้บูตสแตรปกับข้อมูลอนุกรมเวลาหรือข้อมูลพาเนลได้หรือไม่?
ได้ แต่บูตสแตรป i.i.d. มาตรฐาน (ซึ่งสุ่มตัวอย่างการสังเกตแต่ละรายการซ้ำ) ไม่ถูกต้องสำหรับข้อมูลที่ขึ้นต่อกัน เนื่องจากจะทำลายโครงสร้างการพึ่งพา วิธีการ block bootstrap ซึ่งสุ่มตัวอย่างบล็อกที่ต่อเนื่องกัน จะรักษาการพึ่งพาเชิงอนุกรมและควรใช้เมื่อใดก็ตามที่ข้อมูลมีความสัมพันธ์กันตามเวลาหรือภายในกลุ่ม
บูตสแตรปทำงานได้กับตัวอย่างขนาดเล็กหรือไม่?
การอนุมานแบบบูตสแตรปโดยทั่วไปมีความน่าเชื่อถือเมื่อ n ≥ 20 ด้วยตัวอย่างที่มีขนาดเล็กมาก ข้อมูลที่สังเกตได้อาจไม่สามารถแสดงถึงประชากรได้อย่างเพียงพอ ดังนั้นการแจกแจงแบบบูตสแตรปจึงได้รับผลกระทบจากข้อจำกัดนี้ — การสุ่มตัวอย่างซ้ำจำนวนเท่าใดก็ตามไม่สามารถชดเชยตัวอย่างที่มีขนาดเล็กเกินไปที่จะจับลักษณะของประชากรได้ ในกรณีดังกล่าว ให้พิจารณาการทดสอบการเรียงสับเปลี่ยนที่แน่นอน (exact permutation tests) หรือวิธีการแบบเบย์ (Bayesian methods)
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Efron, B. & Tibshirani, R.J. (1993). An Introduction to the Bootstrap. Chapman & Hall/CRC.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วDavison, A.C. & Hinkley, D.V. (1997). Bootstrap Methods and their Application. Cambridge University Press.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว