การซ้อนทับ
- ผู้เสนอ
- Wolpert, D.H.
- ปี
- 1992
- ประเภท
- Ensemble (heterogeneous meta-learning)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การซ้อนทับ หรือ stacked generalization เป็นวิธีการรวมกลุ่ม (ensemble method) ที่ David Wolpert นำเสนอในปี 1992 ซึ่งรวมผลลัพธ์จากโมเดลพื้นฐานหลายตัว (Level-0) เข้าด้วยกันผ่านโมเดลเมตา (meta-model) แยกต่างหาก (Level-1) แตกต่างจาก bagging และ boosting การซ้อนทับจงใจใช้โมเดลประเภทที่แตกต่างกัน และเป็นกลยุทธ์สุดท้ายที่เป็นมาตรฐานในการแข่งขัน Kaggle
แนวคิดเบื้องหลังวิธีการ
ตระกูลโมเดลที่แตกต่างกันสร้างข้อผิดพลาดที่แตกต่างกัน: กลุ่มโมเดลต้นไม้ (tree ensemble), เครื่องมือสนับสนุนเวกเตอร์ (support vector machine) และโมเดลเชิงเส้น (linear model) แต่ละตัวจับข้อมูลในแบบของตนเอง การซ้อนทับถือว่าการทำนายของโมเดลเหล่านั้นเป็นคุณลักษณะใหม่ (features) และฝึกโมเดลอีกตัวเพื่อเรียนรู้วิธีการผสมผสานโมเดลเหล่านั้นให้ดีที่สุด เพื่อให้โมเดลเมตาสามารถพึ่งพาโมเดลพื้นฐานแต่ละตัวในจุดที่แข็งแกร่งที่สุด และลดทอนความสำคัญในจุดที่อ่อนแอ — ทำให้เกิดการทำนายแบบรวมที่มักจะดีกว่าโมเดลเดี่ยวใดๆ
ประวัติศาสตร์
Stacked generalization ถูกนำเสนอโดย David Wolpert ในปี 1992 ในฐานะวิธีการรวมตัวจำแนกหลายตัวเข้าด้วยกันผ่านโมเดลระดับสูง แนวคิดนี้ต่อมาได้รับการทำให้เป็นทางการและมีพื้นฐานทางทฤษฎีที่แข็งแกร่งโดย van der Laan, Polley และ Hubbard ในปี 2007 ภายใต้ชื่อ Super Learner ซึ่งใช้ cross-validation เพื่อรวมคลังโมเดลพื้นฐาน ตั้งแต่นั้นมา การซ้อนทับได้กลายเป็นกลยุทธ์สุดท้ายที่เป็นมาตรฐานในการแข่งขัน machine-learning ซึ่งกลุ่มโมเดลที่แตกต่างกันมักจะครองอันดับต้นๆ ของกระดานผู้นำ
ควรใช้เมื่อใด
ใช้การซ้อนทับเมื่อความแม่นยำในการทำนายเป็นสิ่งสำคัญ และคุณมีโมเดลพื้นฐานที่ค่อนข้างแข็งแกร่งและหลากหลายที่จะรวมเข้าด้วยกัน บนข้อมูลแบบ cross-sectional ที่มีคุณลักษณะต่อเนื่อง, หมวดหมู่ หรือทวิภาค และมีข้อมูลอย่างน้อยประมาณ 100 รายการ ไม่จำเป็นต้องมีข้อมูลที่กระจายตัวแบบปกติ (normally distributed) เมื่อมีข้อมูลน้อยกว่าประมาณ 100 รายการ การทำ k-fold cross-validation ไม่สามารถสร้างการทำนาย Level-0 ที่น่าเชื่อถือเพียงพอ และโมเดลเมตาจะเกิด overfitting ดังนั้นโมเดลที่ปรับแต่งเพียงตัวเดียว เช่น random forest หรือ XGBoost จะปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการข้อมูลตัวอย่างค่อนข้างมาก (ประมาณ 100+) เพื่อให้ k-fold cross-validation สามารถสร้างการทำนาย Level-0 ที่น่าเชื่อถือได้
- ประโยชน์ลดลงเมื่อโมเดลพื้นฐานมีความสัมพันธ์กันสูง แทนที่จะมีความหลากหลาย
- ซับซ้อนและใช้ทรัพยากรในการคำนวณมากกว่าโมเดลเดี่ยว และตีความได้ยากโดยรวม
- ในข้อมูลตัวอย่างขนาดเล็ก ความหลากหลายของโมเดลพื้นฐานไม่สามารถทำได้ และโมเดลเดี่ยวก็เพียงพอแล้ว
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- มักจะให้ความแม่นยำในการทำนายสูงสุดโดยใช้ประโยชน์จากโมเดลพื้นฐานที่แตกต่างกันซึ่งสร้างข้อผิดพลาดที่แตกต่างกัน
- ยืดหยุ่น: โมเดลประเภทใดก็ได้สามารถใช้เป็นโมเดลพื้นฐาน โดยมีโมเดลเมตาแบบง่ายอยู่ด้านบน
- ข้อสมมติฐานน้อย — ไม่จำเป็นต้องมีการกระจายตัวแบบปกติ และจัดการกับคุณลักษณะต่อเนื่อง, หมวดหมู่ และทวิภาคได้
- กลยุทธ์สุดท้ายที่ได้รับการพิสูจน์แล้วในการตั้งค่าการทำนายเชิงแข่งขัน เช่น Kaggle
การประยุกต์ใช้
- การรวมกลุ่มในขั้นตอนสุดท้ายในการแข่งขัน predictive-modelling เช่น Kaggle
- การรวมโมเดลที่แตกต่างกันเพื่อการจำแนกและการทำนายที่มีความแม่นยำสูง
- กลุ่ม Super Learner ใน biostatistics และ epidemiology
- การผสมผสานโมเดลที่แข็งแกร่งแต่หลากหลายเมื่อการเพิ่มความแม่นยำพิเศษมีความสำคัญ
วิธีการทำงาน
วิธีการทำงาน
ชุดโมเดลพื้นฐานที่หลากหลาย (Level-0) ถูกฝึกบนข้อมูล — ตัวอย่างเช่น random forest, gradient-boosting model และ SVM ยิ่งโมเดลเหล่านี้มีความหลากหลายและเป็นอิสระต่อกันมากเท่าใด การซ้อนทับก็ยิ่งได้รับประโยชน์มากขึ้นเท่านั้น เมื่อโมเดลพื้นฐานมีความสัมพันธ์กันสูง ประโยชน์ของการซ้อนทับจะลดลง
การทำนาย Level-0 ถูกสร้างขึ้นผ่านการแบ่งส่วนแบบ k-fold cross-validation แทนที่จะใช้ข้อมูลเดียวกันกับที่โมเดลพื้นฐานถูกปรับ (fitted) วิธีการนอกส่วน (out-of-fold) นี้มีความสำคัญอย่างยิ่งในการป้องกันการรั่วไหลของข้อมูล (data leakage): คุณลักษณะเมตา (meta-features) ของแต่ละการสังเกตมาจากโมเดลที่ไม่เห็นข้อมูลนั้นระหว่างการฝึก
โมเดลเมตา (Level-1) ถูกฝึกบนผลลัพธ์ของโมเดลพื้นฐานที่ผ่านการ cross-validation เพื่อสร้างการทำนายสุดท้าย โมเดลเมตา (meta-learner) มักจะถูกทำให้เรียบง่าย — logistic regression, ridge regression หรือ XGBoost ขนาดเล็ก — เพื่อให้มันเรียนรู้น้ำหนักที่เหมาะสมสำหรับการรวมโมเดลพื้นฐานโดยไม่เกิดการ overfitting เอง
สูตร
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)ข้อผิดพลาดที่พบบ่อย
- การสร้างการทำนาย Level-0 บนข้อมูลเดียวกันกับที่โมเดลพื้นฐานถูกฝึก ทำให้เกิดการรั่วไหลของข้อมูลไปยังโมเดลเมตา
- การซ้อนทับโมเดลพื้นฐานที่มีความสัมพันธ์กันสูงจำนวนมากและคาดหวังผลประโยชน์ที่มาก
- การใช้โมเดลเมตาที่ซับซ้อนเกินไปซึ่งเกิด overfitting กับผลลัพธ์ของโมเดลพื้นฐาน แทนที่จะใช้ตัวถดถอย (regressor) แบบง่าย
- การใช้การซ้อนทับกับชุดข้อมูลขนาดเล็กซึ่งความหลากหลายของโมเดลพื้นฐานและการ cross-validation ที่น่าเชื่อถือเป็นไปไม่ได้
คำถามที่พบบ่อย
การซ้อนทับแตกต่างจาก bagging และ boosting อย่างไร?
Bagging และ boosting สร้างโมเดลประเภทเดียวกันหลายตัว ในขณะที่การซ้อนทับจงใจรวมตระกูลโมเดลที่แตกต่างกันและเรียนรู้วิธีการผสมผสานโมเดลเหล่านั้นด้วยโมเดลเมตาที่แยกต่างหาก ความหลากหลายนั้นคือที่มาของข้อได้เปรียบของการซ้อนทับ
เหตุใดจึงใช้ cross-validation เพื่อสร้าง meta-features?
หากโมเดลเมตาถูกฝึกบนการทำนายที่โมเดลพื้นฐานทำกับข้อมูลการฝึกของตนเอง ข้อมูลจะรั่วไหลและกลุ่มโมเดลจะเกิด overfitting การสร้างการทำนาย Level-0 แบบนอกส่วน (out-of-fold) ผ่าน k-fold cross-validation จะให้ข้อมูลป้อนเข้าที่ซื่อสัตย์แก่โมเดลเมตา
โมเดลเมตาควรเป็นอะไร?
ทำให้เรียบง่าย — logistic regression, ridge regression หรือ XGBoost ขนาดเล็ก โมเดลเมตาแบบง่ายจะเรียนรู้น้ำหนักการผสมผสานที่เหมาะสมโดยไม่เกิด overfitting กับผลลัพธ์ของโมเดลพื้นฐาน
เมื่อใดที่ฉันไม่ควรใช้การซ้อนทับ?
เมื่อคุณมีข้อมูลน้อยกว่าประมาณ 100 รายการ การ cross-validation ไม่สามารถสร้างการทำนาย Level-0 ที่น่าเชื่อถือเพียงพอ และความหลากหลายของโมเดลพื้นฐานทำได้ยาก ดังนั้น random forest หรือ XGBoost ที่ปรับแต่งเพียงตัวเดียวจึงเป็นทางเลือกที่ปลอดภัยกว่า
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วvan der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว