MICE — การเติมข้อมูลที่ขาดหายไปหลายตัวแปรด้วยสมการลูกโซ่
- ผู้เสนอ
- Stef van Buuren & Karin Groothuis-Oudshoorn
- ปี
- 2011
- ประเภท
- Iterative multiple imputation algorithm
- กลุ่มวิธี
- Missing data
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเติมข้อมูลที่ขาดหายไปหลายตัวแปรด้วยสมการลูกโซ่ (Multivariate Imputation by Chained Equations - MICE) เป็นกระบวนการวนซ้ำสำหรับการจัดการข้อมูลที่ขาดหายไปในชุดข้อมูลหลายตัวแปร Stef van Buuren และ Karin Groothuis-Oudshoorn ได้นำเสนอวิธีนี้ผ่านแพ็คเกจ R ชื่อ mice (2011) โดยอัลกอริทึมจะเติมค่าตัวแปรที่ขาดหายไปแต่ละตัวโดยใช้แบบจำลองการถดถอยแยกต่างหาก ซึ่งมีเงื่อนไขอยู่กับตัวแปรอื่น ๆ ทั้งหมด และจะวนซ้ำผ่านตัวแปรต่าง ๆ จนกว่าค่าที่เติมจะลู่เข้า ผลลัพธ์ที่ได้คือชุดข้อมูลที่สมบูรณ์ m ชุด ซึ่งจะถูกวิเคราะห์แยกกันและนำมารวมกันโดยใช้กฎของ Rubin
แนวคิดเบื้องหลังวิธีการ
ลองจินตนาการถึงปริศนาอักษรไขว้ที่ยังไม่สมบูรณ์: แต่ละคำที่ว่างเปล่าจะถูกเติมโดยดูจากตัวอักษรที่ตัดกันซึ่งมีอยู่แล้ว หากคำที่เติมใหม่เผยให้เห็นตัวอักษรเพิ่มเติม คุณจะกลับไปดูช่องว่างก่อนหน้าพร้อมกับข้อมูลใหม่ MICE ทำงานในลักษณะเดียวกัน — มันจะเติมคอลัมน์ที่ขาดหายไปทีละคอลัมน์โดยใช้คอลัมน์อื่น ๆ ทั้งหมดเป็นเบาะแส จากนั้นจะกลับไปดูทุกคอลัมน์อีกครั้ง โดยวนซ้ำจนกว่าคำตอบจะคงที่ในปริศนาผู้สมัครหลายชุด
ประวัติศาสตร์
รากฐานแนวคิดของการเติมสมการลูกโซ่เกิดขึ้นในช่วงต้นทศวรรษ 1990 จากผลงานของ van Buuren, Boshuizen, และ Knook เกี่ยวกับข้อมูลการสำรวจสุขภาพที่ไม่สมบูรณ์ กรอบการทำงาน Fully Conditional Specification ได้รับการจัดรูปแบบอย่างเป็นทางการตลอดทศวรรษ 2000 โดย van Buuren และ Groothuis-Oudshoorn ได้เผยแพร่แพ็คเกจ mice R ในปี 2011 พร้อมกับบทความระเบียบวิธีที่ครอบคลุมใน Journal of Statistical Software ซึ่งกลายเป็นข้อมูลอ้างอิงหลักที่มีการอ้างอิงหลายหมื่นครั้ง
ควรใช้เมื่อใด
MICE เหมาะสมเมื่อข้อมูลขาดหายไปแบบสุ่ม (Missing At Random - MAR) และการขาดหายเกิดขึ้นพร้อมกันในหลายตัวแปร เหมาะสำหรับผลลัพธ์ต่อเนื่อง, ไบนารี, อันดับ และการนับ ผ่านการระบุแบบจำลองต่อตัวแปรที่ยืดหยุ่น ไม่ค่อยเหมาะสำหรับข้อมูลที่ขาดหายไปไม่เป็นแบบสุ่ม (Missing Not At Random - MNAR) หากไม่มีการสร้างแบบจำลองเสริม สำหรับชุดข้อมูลที่มีมิติสูงมากซึ่งแบบจำลองการเติมกลายเป็นเรื่องยุ่งยาก หรือเมื่ออัตราการขาดหายเกิน 50% ในตัวแปรหลัก การเติมข้อมูลครั้งเดียวหรือการวิเคราะห์กรณีที่สมบูรณ์อาจเพียงพอภายใต้ MCAR ที่มีอัตราการขาดหายต่ำ
ข้อจำกัดและข้อควรพิจารณา
- สมมติว่าข้อมูลขาดหายไปแบบสุ่ม (MAR); การละเมิดต้องมีการวิเคราะห์ความไวหรือส่วนขยายแบบผสมผสานรูปแบบ
- ต้นทุนการคำนวณเพิ่มขึ้นตามจำนวนตัวแปร, การวนซ้ำ และการเติม (m)
- การลู่เข้าของตัวอย่างแบบ Gibbs-like ไม่ได้รับการรับประกันทางคณิตศาสตร์สำหรับแบบจำลองเงื่อนไขที่ไม่เข้ากัน
- การระบุแบบจำลอง (การเลือกตัวทำนาย, วิธีการเติมต่อตัวแปร) ต้องใช้การตัดสินใจอย่างรอบคอบของนักวิเคราะห์
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- จัดการประเภทตัวแปรผสม (ต่อเนื่อง, ไบนารี, อันดับ, การนับ) ผ่านแบบจำลองที่ปรับแต่งตามคอลัมน์
- เผยแพร่ความไม่แน่นอนอย่างเหมาะสมผ่านชุดข้อมูลที่เติมหลายชุดและกฎการรวมของ Rubin
- การระบุตัวทำนายที่ยืดหยุ่นช่วยให้ความรู้เฉพาะทางและตัวแปรเสริมปรับปรุงคุณภาพการเติม
- การนำไปใช้ใน R ที่ได้รับการตรวจสอบอย่างดี (แพ็คเกจ mice) พร้อมการวินิจฉัยที่ครอบคลุมและการบำรุงรักษาอย่างต่อเนื่อง
การประยุกต์ใช้
- การทดลองทางคลินิกและการศึกษาแบบ cohort ทางระบาดวิทยาที่มีการวัดผลติดตามเป็นระยะ
- การประสานข้อมูลการสำรวจที่โมดูลแบบสอบถามที่แตกต่างกันทำให้เกิดรูปแบบการขาดหายที่แตกต่างกัน
- ไปป์ไลน์การประมวลผลล่วงหน้าของแมชชีนเลิร์นนิงที่ต้องการเมทริกซ์คุณลักษณะที่สมบูรณ์ก่อนการฝึกแบบจำลอง
- การวิจัยเศรษฐศาสตร์สุขภาพและนโยบายที่รวมบันทึกการบริหารเข้ากับข้อมูลแบบสอบถามที่รายงานด้วยตนเอง
- การประเมินการศึกษาตามยาวที่มีรายการที่ไม่ตอบกลับในหลายช่วงการทดสอบ
วิธีการทำงาน
วิธีการทำงาน
ก่อนที่จะเริ่มการวนซ้ำใด ๆ MICE จะแทนที่ค่าที่ขาดหายไปทั้งหมดด้วยค่าตัวยึดชั่วคราว — โดยทั่วไปคือค่าเฉลี่ยของคอลัมน์ที่สังเกตได้สำหรับตัวแปรต่อเนื่อง หรือค่าฐานนิยมสำหรับตัวแปรเชิงหมวดหมู่ การเติมเริ่มต้นนี้ช่วยให้มั่นใจว่าตัวแปรทุกตัวมีค่าอย่างน้อยบางส่วนพร้อมใช้งานเป็นตัวทำนายเมื่อเริ่มรอบการเติมครั้งแรก
สูตร
X^{(0)}_{\text{mis}} \leftarrow \text{simple imputation}(X_{\text{obs}})สำหรับตัวแปร j แต่ละตัวที่มีรายการที่ขาดหายไป MICE จะปรับแบบจำลองที่เหมาะสมกับตัวทำนาย (การถดถอยเชิงเส้น, การถดถอยโลจิสติก, การจับคู่ค่าเฉลี่ยเชิงทำนาย ฯลฯ) โดยใช้ตัวแปรอื่น ๆ ทั้งหมด X_{-j} เป็นตัวแปรควบคุม จากนั้นค่าที่ขาดหายไปของ X_j จะถูกดึงมาจาก posterior predictive distribution ของแบบจำลองนั้น ดังนั้นค่าที่เติมจึงสะท้อนทั้งความสัมพันธ์ที่ปรับแล้วและความไม่แน่นอนของพารามิเตอร์
สูตร
\hat{X}_j \sim P\!\left(X_j \mid X_{-j},\, \theta_j\right), \quad j = 1, \ldots, pหลังจากเติมตัวแปร p ทั้งหมดหนึ่งครั้ง รอบเต็มหนึ่งรอบก็เสร็จสมบูรณ์ MICE จะทำซ้ำรอบ — อัปเดตแบบจำลองการเติมของแต่ละตัวแปรด้วยค่าที่เติมใหม่ของตัวแปรควบคุม — เป็นจำนวนครั้งที่ผู้ใช้กำหนด (โดยทั่วไปคือ 5–20 ครั้ง) การลู่เข้าจะถูกตรวจสอบโดยการตรวจสอบ trace plots ของค่าเฉลี่ยที่เติมและส่วนเบี่ยงเบนมาตรฐานตลอดการวนซ้ำ
สูตร
\theta_j^{(t)} = \arg\max_{\theta_j} \prod_{i: x_{ij} \text{ obs}} P\!\left(x_{ij} \mid x_{i,-j}^{(t-1)},\, \theta_j\right)กระบวนการทั้งหมด (การเริ่มต้น + การวนซ้ำ) จะถูกทำซ้ำ m ครั้งอย่างอิสระเพื่อสร้างชุดข้อมูลที่สมบูรณ์ m ชุด แต่ละชุดข้อมูลจะถูกวิเคราะห์ด้วยวิธีการทางสถิติที่ตั้งใจไว้ ทำให้ได้ค่าประมาณจุด m ค่าและค่าความคลาดเคลื่อนมาตรฐาน จากนั้นกฎการรวมของ Rubin จะรวมสิ่งเหล่านี้เข้าเป็นค่าประมาณเดียวและค่าความแปรปรวนรวม T ที่เผยแพร่ความไม่แน่นอนทั้งภายในและระหว่างการเติมได้อย่างถูกต้อง
สูตร
\bar{Q} = \frac{1}{m}\sum_{l=1}^{m} \hat{Q}_l, \quad T = \bar{U} + \left(1 + \frac{1}{m}\right) Bข้อผิดพลาดที่พบบ่อย
- การใช้ชุดข้อมูลที่เติมน้อยเกินไป (m < 5) ประเมินค่าความคลาดเคลื่อนมาตรฐานต่ำเกินไปและเพิ่มอัตราการเกิดผลบวกปลอม
- การรวมตัวแปรผลลัพธ์ในแบบจำลองการเติมเป็นสิ่งสำคัญ; การละเว้นจะทำให้สัมประสิทธิ์การถดถอยมีอคติเข้าใกล้ศูนย์
- การละเลยพจน์ปฏิสัมพันธ์หรือความสัมพันธ์ที่ไม่เป็นเชิงเส้นในแบบจำลองการเติมสามารถบิดเบือนการวิเคราะห์ปลายน้ำได้
- การไม่ตรวจสอบการลู่เข้าผ่าน trace plots อาจนำไปสู่การรวมผลลัพธ์จากสายโซ่ที่ไม่ลู่เข้า
คำถามที่พบบ่อย
ฉันควรสร้างชุดข้อมูลที่เติม (m) กี่ชุด?
ค่าเริ่มต้นทั่วไปคือ m = 5 ซึ่งเพียงพอเมื่ออัตราการขาดหายต่ำ White, Royston, และ Wood (2011) แนะนำให้ตั้งค่า m โดยประมาณเท่ากับเปอร์เซ็นต์ของกรณีที่ไม่สมบูรณ์ สำหรับอัตราการขาดหายที่สูงกว่า 20–30% แนะนำให้ใช้ m = 20 หรือมากกว่า เพื่อให้ค่าประมาณรวมและค่าความคลาดเคลื่อนมาตรฐานมีเสถียรภาพ
MICE สามารถจัดการข้อมูลที่ขาดหายไปไม่เป็นแบบสุ่ม (MNAR) ได้หรือไม่?
MICE มาตรฐานสมมติว่าข้อมูลเป็น MAR ภายใต้ MNAR แบบจำลองการเติมจะถูกระบุผิด ซึ่งอาจทำให้ผลลัพธ์มีอคติ นักวิเคราะห์ควรทำการวิเคราะห์ความไว — ตัวอย่างเช่น โดยใช้การปรับเดลต้าหรือแบบจำลองผสมผสานรูปแบบ — เพื่อประเมินว่าผลลัพธ์เปลี่ยนแปลงไปอย่างไรภายใต้การเบี่ยงเบน MNAR ที่เป็นไปได้จากข้อสมมติฐาน MAR
ฉันควรเลือกวิธีการเติมข้อมูลใดสำหรับแต่ละตัวแปร?
แพ็คเกจ mice จะเลือกค่าเริ่มต้นตามประเภทตัวแปร: predictive mean matching (pmm) สำหรับตัวแปรต่อเนื่อง, logistic regression สำหรับไบนารี, polytomous regression สำหรับปัจจัยที่ไม่มีลำดับ, และ proportional odds สำหรับปัจจัยที่มีลำดับ ค่าเริ่มต้นเหล่านี้ทำงานได้ดีในการตั้งค่าที่ใช้งานส่วนใหญ่ แต่นักวิเคราะห์อาจใช้ random forests หรือตัวเรียนรู้ที่ยืดหยุ่นอื่น ๆ สำหรับการแจกแจงที่ซับซ้อน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
van Buuren, S., & Groothuis-Oudshoorn, K. (2011). mice: Multivariate imputation by chained equations in R. Journal of Statistical Software, 45(3), 1–67.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว