การคำนวณแบบเบย์เชิงประมาณ — การอนุมานแบบไร้ภาวะ
- ปี
- 2002
- ประเภท
- Simulation-based Bayesian inference
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การคำนวณแบบเบย์เชิงประมาณ (ABC) เป็นกลุ่มของวิธีการอนุมานที่อาศัยการจำลอง ซึ่งประเมินการแจกแจงภายหลังโดยไม่จำเป็นต้องมีฟังก์ชันภาวะน่าจะเป็นที่สามารถจัดการได้ในเชิงวิเคราะห์ วิธีการนี้ถูกนำเสนอโดย Beaumont, Zhang และ Balding (2002) ในบริบทของพันธุศาสตร์ประชากร โดย ABC ได้แทนที่ภาวะน่าจะเป็นที่ไม่สามารถจัดการได้ด้วยการจำลองแบบจำลองซ้ำและการเปรียบเทียบสถิติสรุประหว่างข้อมูลจำลองและข้อมูลที่สังเกตได้
แนวคิดเบื้องหลังวิธีการ
การอนุมานแบบเบย์แบบดั้งเดิมจะถามว่า: เมื่อพิจารณาข้อมูลที่สังเกตได้ พารามิเตอร์ของแบบจำลองมีความน่าจะเป็นเท่าใด? การตอบคำถามนั้นโดยปกติแล้วต้องคำนวณภาวะน่าจะเป็น ซึ่งคือความน่าจะเป็นของข้อมูลภายใต้การตั้งค่าพารามิเตอร์แต่ละค่า สำหรับแบบจำลองที่สมจริงจำนวนมากในสาขาชีววิทยา นิเวศวิทยา และเศรษฐศาสตร์ การคำนวณนั้นเป็นไปไม่ได้ในเชิงวิเคราะห์หรือมีค่าใช้จ่ายในการคำนวณสูง ABC หลีกเลี่ยงปัญหานี้โดยสิ้นเชิง: แทนที่จะคำนวณภาวะน่าจะเป็น มันจะจำลองข้อมูลจากแบบจำลอง บีบอัดข้อมูลนั้นให้เป็นสถิติสรุปเพียงไม่กี่ตัว และยอมรับการเสนอค่าพารามิเตอร์ก็ต่อเมื่อสถิติสรุปที่จำลองได้นั้นใกล้เคียงกับสถิติสรุปที่สังเกตได้เพียงพอ การเสนอค่าที่ยอมรับจะสะสมเพื่อสร้างการแจกแจงภายหลังโดยประมาณ การประมาณค่าจะแม่นยำอย่างสมบูรณ์เมื่อขีดจำกัดความคลาดเคลื่อนเข้าใกล้ศูนย์ และจะดีขึ้นอย่างต่อเนื่องเมื่อขีดจำกัดนั้นแคบลง โดยมีค่าใช้จ่ายในการยอมรับการเสนอค่าน้อยลง
ประวัติศาสตร์
รากฐานของการอนุมานแบบไร้ภาวะ (likelihood-free inference) ย้อนกลับไปถึงแนวคิดการสุ่มตัวอย่างแบบปฏิเสธที่ใช้กันอย่างไม่เป็นทางการในพันธุศาสตร์ประชากร แต่วิธีการนี้ได้รับการทำให้เป็นระบบและตั้งชื่อโดย Beaumont, Zhang และ Balding ในบทความสำคัญปี 2002 ในวารสาร Genetics เกี่ยวกับการอนุมานประวัติศาสตร์ประชากร Marjoram และคณะ (2003) ได้นำเสนอรูปแบบ ABC-MCMC เพื่อปรับปรุงประสิทธิภาพ และ Sisson, Fan และ Beaumont (2007) ได้พัฒนาโครงสร้าง Sequential Monte Carlo (SMC-ABC) ที่ลดความคลาดเคลื่อนลงอย่างต่อเนื่องในแต่ละประชากร คู่มือการคำนวณแบบเบย์เชิงประมาณปี 2018 ซึ่งแก้ไขโดย Sisson, Fan และ Beaumont ได้รวบรวมการพัฒนาวิธีการในช่วงสองทศวรรษที่ผ่านมา เมื่อเร็วๆ นี้ การประมาณค่าความหนาแน่นด้วยโครงข่ายประสาท (neural density estimators) และการอนุมานแบบปรับตัว (amortised inference) ได้ถูกเสนอเป็นวิธีการเรียนรู้การแจกแจงภายหลังโดยตรงจากการจำลอง ซึ่งเป็นการขยาย ABC เข้าสู่ยุคการเรียนรู้ของเครื่อง
ควรใช้เมื่อใด
ABC เป็นทางเลือกที่เหมาะสมเมื่อแบบจำลองสามารถจำลองไปข้างหน้าได้ แต่ฟังก์ชันภาวะน่าจะเป็นไม่สามารถประเมินได้ในเชิงวิเคราะห์ ซึ่งเป็นสถานการณ์ที่เกิดขึ้นบ่อยครั้งในพันธุศาสตร์ประชากร ระบาดวิทยา นิเวศวิทยา และแบบจำลองเศรษฐกิจแบบอิงตัวแทน (agent-based) วิธีการนี้สามารถจัดการกับตัวแปรผลลัพธ์แบบต่อเนื่อง แบบทวิภาค และแบบนับ และไม่มีข้อกำหนดเรื่องขนาดตัวอย่างขั้นต่ำ แต่สถิติสรุปต้องมีข้อมูลเพียงพอเกี่ยวกับพารามิเตอร์ เมื่องบประมาณการจำลองมีขนาดใหญ่และสามารถตั้งค่าความคลาดเคลื่อนให้ต่ำได้ ABC จะประมาณค่าการแจกแจงภายหลังที่แท้จริงได้อย่างใกล้ชิด เมื่อการจำลองมีค่าใช้จ่ายสูง รูปแบบ SMC-ABC หรือการประมาณค่าการแจกแจงภายหลังด้วยโครงข่ายประสาท (neural posterior estimation) จะเป็นที่นิยมมากกว่า หากภาวะน่าจะเป็นสามารถจัดการได้ MCMC มาตรฐานจะมีประสิทธิภาพมากกว่า
ข้อจำกัดและข้อควรพิจารณา
- ABC แบบปฏิเสธธรรมดาต้องการการจำลองจำนวนมหาศาลเพื่อให้ได้ขีดจำกัดความคลาดเคลื่อนที่ต่ำและอัตราการยอมรับที่มีความหมาย ทำให้มีค่าใช้จ่ายในการคำนวณสูงสำหรับปริภูมิพารามิเตอร์ที่มีมิติสูง
- คุณภาพของการประมาณค่าการแจกแจงภายหลังขึ้นอยู่กับการเลือกสถิติสรุปอย่างยิ่ง สถิติที่เลือกไม่ดีอาจทำให้การแจกแจงภายหลังมีความเอนเอียงหรือมีความแปรปรวนสูง
- ไม่มีการรับประกันเชิงวิเคราะห์ว่าสถิติสรุปที่เลือกเป็นสถิติเพียงพอ ดังนั้นจึงมีการสูญเสียข้อมูลโดยทั่วไปเมื่อเทียบกับภาวะน่าจะเป็นเต็มรูปแบบ
- จำนวนตัวอย่างที่ยอมรับได้ทั้งหมดน้อยกว่าประมาณ 1,000 ตัวอย่าง มักจะให้ผลการประมาณค่าการแจกแจงภายหลังที่ไม่น่าเชื่อถือ เมื่องบประมาณการจำลองมีจำกัด ควรพิจารณา MCMC มาตรฐาน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ทำงานได้โดยไม่ต้องมีภาวะน่าจะเป็นในรูปแบบปิด (closed-form likelihood) ทำให้การอนุมานแบบเบย์สามารถใช้กับแบบจำลองกำเนิดที่ซับซ้อนซึ่งง่ายต่อการจำลองแต่ยากต่อการประเมินในเชิงวิเคราะห์
- มีความยืดหยุ่นเพียงพอที่จะจัดการกับผลลัพธ์แบบต่อเนื่อง แบบทวิภาค และแบบนับ ภายใต้แบบจำลองโครงสร้างใดๆ ที่นักวิเคราะห์สามารถเข้ารหัสเป็นโปรแกรมจำลองได้
- รูปแบบต่างๆ เช่น SMC-ABC และ ABC-MCMC ช่วยลดจำนวนการจำลองที่จำเป็นลงอย่างมากเมื่อเทียบกับการสุ่มตัวอย่างแบบปฏิเสธ (rejection sampling) แบบธรรมดา
- การประมาณค่าการแจกแจงภายหลังจะลู่เข้าสู่การแจกแจงภายหลังที่แท้จริงเมื่อขีดจำกัดความคลาดเคลื่อนเข้าใกล้ศูนย์
การประยุกต์ใช้
- การอนุมานขนาดประชากร การอพยพ และประวัติการแยกสายพันธุ์ในพันธุศาสตร์ประชากรจากข้อมูลความถี่อัลลีล
- การประมาณอัตราการแพร่กระจายและพารามิเตอร์การสัมผัสในแบบจำลองโรคระบาดที่ภาวะน่าจะเป็นในระดับบุคคลไม่สามารถจัดการได้
- การปรับเทียบแบบจำลองเศรษฐกิจแบบอิงตัวแทนกับสถิติระดับมหภาคที่สังเกตได้โดยไม่มีภาวะน่าจะเป็นในรูปแบบปิดของสมดุล
- การปรับแบบจำลองนิเวศวิทยาแบบสุ่ม — พลวัตผู้ล่า-เหยื่อ การแพร่กระจายของชนิดพันธุ์ — ให้กับสถิติจากการสังเกตภาคสนาม
- การประมาณค่าพารามิเตอร์ในแบบจำลองชีววิทยาระบบที่สมการเชิงอนุพันธ์สามัญแบบกลไก (ODEs) ถูกแทนที่ด้วยการจำลองแบบสุ่ม
วิธีการทำงาน
วิธีการทำงาน
นักวิเคราะห์จะระบุการแจกแจงก่อน (prior distribution) เหนือพารามิเตอร์ของแบบจำลอง ซึ่งเข้ารหัสสิ่งที่ทราบหรือสมมติฐานก่อนที่จะเห็นข้อมูล การแจกแจงก่อนนี้เป็นแหล่งที่มาซึ่งค่าพารามิเตอร์ที่เสนอจะถูกดึงออกมาตลอดอัลกอริทึม ดังนั้นจึงควรครอบคลุมช่วงของพารามิเตอร์ที่เป็นไปได้
ค่าพารามิเตอร์ที่เสนอจะถูกดึงมาจากการแจกแจงก่อน (หรือในรูปแบบปรับปรุง จะดึงมาจากการแจกแจงความสำคัญ) จากนั้นแบบจำลองสุ่มเต็มรูปแบบจะถูกรันไปข้างหน้าโดยใช้ค่าที่เสนอนั้นเพื่อสร้างชุดข้อมูลสังเคราะห์ ขั้นตอนนี้การจำลองเป็นแกนหลักของการคำนวณของ ABC และอาจถูกรันหลายพันหรือหลายล้านครั้ง
ทั้งชุดข้อมูลสังเคราะห์และชุดข้อมูลที่สังเกตได้จะถูกบีบอัดเป็นเวกเตอร์ของสถิติสรุป ซึ่งเป็นปริมาณที่เลือกเพื่อเก็บข้อมูลเกี่ยวกับพารามิเตอร์ให้ได้มากที่สุด ในอุดมคติ สถิติสรุปควรเป็นสถิติเพียงพอ (sufficient statistics) แต่ในทางปฏิบัติ สถิติเหล่านี้จะถูกเลือกตามความรู้เฉพาะทางและการตรวจสอบวินิจฉัย
ระยะห่างระหว่างสถิติสรุปที่จำลองได้และสถิติสรุปที่สังเกตได้จะถูกคำนวณภายใต้เมตริกที่เลือก หากระยะห่างนั้นอยู่ภายในขีดจำกัดความคลาดเคลื่อนที่กำหนดไว้ล่วงหน้า (epsilon) ค่าพารามิเตอร์ที่เสนอจะถูกยอมรับ มิฉะนั้นจะถูกปฏิเสธ ค่า epsilon ที่น้อยลงจะให้การประมาณค่าการแจกแจงภายหลังที่แม่นยำยิ่งขึ้น แต่จะมีอัตราการยอมรับที่ต่ำลง
ชุดของค่าพารามิเตอร์ที่เสนอที่ยอมรับได้จะสร้างตัวอย่างจากการแจกแจงภายหลังโดยประมาณ ตัวอย่างนี้สามารถใช้เพื่อคำนวณค่าเฉลี่ยภายหลัง ช่วงความเชื่อมั่น และการแจกแจงเชิงพยากรณ์ในลักษณะเดียวกับตัวอย่างการแจกแจงภายหลังแบบเบย์มาตรฐาน ใน SMC-ABC ความคลาดเคลื่อนจะลดลงตลอดลำดับของประชากรเพื่อปรับปรุงประสิทธิภาพ
ข้อผิดพลาดที่พบบ่อย
- การตั้งค่าความคลาดเคลื่อน epsilon หลวมเกินไปจะทำให้การประมาณค่าที่อาจแตกต่างอย่างมากจากการแจกแจงภายหลังที่แท้จริง ควรตรวจสอบเสมอว่าการทำให้ epsilon แคบลงทำให้การแจกแจงภายหลังคงที่
- สถิติสรุปที่ไม่สามารถให้ข้อมูลเพียงพอเกี่ยวกับพารามิเตอร์ที่สนใจจะทำให้การแจกแจงภายหลังเอนเอียงไปทางการแจกแจงก่อน ควรตรวจสอบสถิติโดยการตรวจสอบว่าสถิติเหล่านั้นเปลี่ยนแปลงหรือไม่เมื่อพารามิเตอร์ที่แท้จริงเปลี่ยนแปลง
- การรันการจำลองน้อยกว่า 1,000 ครั้งจะให้ตัวอย่างการแจกแจงภายหลังที่บางเกินไปจนไม่น่าเชื่อถือ หากต้นทุนการจำลองทำให้ไม่สามารถบรรลุเกณฑ์นี้ได้ ให้เปลี่ยนไปใช้ MCMC หรือ SMC-ABC
- การแจกแจงก่อนต้องครอบคลุมปริภูมิพารามิเตอร์ที่เป็นไปได้อย่างเพียงพอ การแจกแจงก่อนที่แคบเกินไปจะกีดกันส่วนของปริภูมิการแจกแจงภายหลัง ในขณะที่การแจกแจงที่กว้างเกินไปจะสิ้นเปลืองงบประมาณการจำลองในส่วนที่ไม่น่าเป็นไปได้
คำถามที่พบบ่อย
ABC แตกต่างจาก MCMC มาตรฐานอย่างไร
ทั้งสองวิธีสร้างตัวอย่างจากการแจกแจงภายหลัง แต่ MCMC ประเมินภาวะน่าจะเป็นที่ค่าพารามิเตอร์ที่เสนอแต่ละค่า ในขณะที่ ABC แทนที่การประเมินนั้นด้วยการจำลองไปข้างหน้าและการเปรียบเทียบสถิติสรุป ควรใช้ ABC เมื่อภาวะน่าจะเป็นไม่สามารถจัดการได้ และใช้ MCMC เมื่อสามารถคำนวณได้
ฉันจะเลือกสถิติสรุปได้อย่างไร
สถิติสรุปควรจับข้อมูลเกี่ยวกับพารามิเตอร์ที่สนใจให้ได้มากที่สุด แนวปฏิบัติทั่วไปคือการใช้ความรู้เฉพาะทาง (เช่น ค่าเฉลี่ย ความแปรปรวน ความถี่อัลลีล) และตรวจสอบการเลือกโดยการตรวจสอบว่าสถิติเหล่านั้นเปลี่ยนแปลงหรือไม่เมื่อพารามิเตอร์ที่แท้จริงเปลี่ยนแปลง สถิติเพียงพอมีอยู่เฉพาะในแบบจำลองตระกูลเอกซ์โพเนนเชียล (exponential-family models) สำหรับแบบจำลองอื่นๆ การสูญเสียข้อมูลบางส่วนเป็นสิ่งที่หลีกเลี่ยงไม่ได้
ขีดจำกัดความคลาดเคลื่อน epsilon ต้องเล็กแค่ไหน
ไม่มีกฎสากล แนวทางปฏิบัติคือการค่อยๆ ทำให้ epsilon แคบลงและตรวจสอบว่ารูปร่างของการแจกแจงภายหลังคงที่หรือไม่ การประมาณค่าการแจกแจงภายหลังจะดีขึ้นเมื่อ epsilon ลดลง แต่อัตราการยอมรับก็จะลดลงตามไปด้วย และจำเป็นต้องมีการจำลองมากขึ้น SMC-ABC จะทำงานอัตโนมัติในการแลกเปลี่ยนนี้โดยการลด epsilon ลงอย่างต่อเนื่องในแต่ละประชากร
เมื่อใดที่ฉันควรใช้ SMC-ABC แทน ABC แบบปฏิเสธ
เมื่อการจำลองมีค่าใช้จ่ายสูง ABC แบบปฏิเสธธรรมดาจะสิ้นเปลืองการจำลองส่วนใหญ่เนื่องจากอัตราการยอมรับอาจต่ำมากที่ความคลาดเคลื่อนที่แคบ SMC-ABC ใช้ลำดับของขีดจำกัดความคลาดเคลื่อนระหว่างกลางและประชากรที่มีน้ำหนักความสำคัญเพื่อรวมการจำลองไว้ใกล้กับการแจกแจงภายหลัง ทำให้มีประสิทธิภาพมากกว่ามากสำหรับ epsilon สุดท้ายเดียวกัน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Beaumont, M.A., Zhang, W. & Balding, D.J. (2002). Approximate Bayesian Computation in Population Genetics. Genetics, 162(4), 2025-2035.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วSisson, S.A., Fan, Y. & Beaumont, M.A. (Eds.) (2018). Handbook of Approximate Bayesian Computation. Chapman & Hall/CRC.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว