Skip to content
กลับไปยังผลการค้นหา

การซ้อนทับ

ผู้เสนอ
Wolpert, D.H.
ปี
1992
ประเภท
Ensemble (heterogeneous meta-learning)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การซ้อนทับ หรือ stacked generalization เป็นวิธีการรวมกลุ่ม (ensemble method) ที่ David Wolpert นำเสนอในปี 1992 ซึ่งรวมผลลัพธ์จากโมเดลพื้นฐานหลายตัว (Level-0) เข้าด้วยกันผ่านโมเดลเมตา (meta-model) แยกต่างหาก (Level-1) แตกต่างจาก bagging และ boosting การซ้อนทับจงใจใช้โมเดลประเภทที่แตกต่างกัน และเป็นกลยุทธ์สุดท้ายที่เป็นมาตรฐานในการแข่งขัน Kaggle

แนวคิดเบื้องหลังวิธีการ

ตระกูลโมเดลที่แตกต่างกันสร้างข้อผิดพลาดที่แตกต่างกัน: กลุ่มโมเดลต้นไม้ (tree ensemble), เครื่องมือสนับสนุนเวกเตอร์ (support vector machine) และโมเดลเชิงเส้น (linear model) แต่ละตัวจับข้อมูลในแบบของตนเอง การซ้อนทับถือว่าการทำนายของโมเดลเหล่านั้นเป็นคุณลักษณะใหม่ (features) และฝึกโมเดลอีกตัวเพื่อเรียนรู้วิธีการผสมผสานโมเดลเหล่านั้นให้ดีที่สุด เพื่อให้โมเดลเมตาสามารถพึ่งพาโมเดลพื้นฐานแต่ละตัวในจุดที่แข็งแกร่งที่สุด และลดทอนความสำคัญในจุดที่อ่อนแอ — ทำให้เกิดการทำนายแบบรวมที่มักจะดีกว่าโมเดลเดี่ยวใดๆ

ประวัติศาสตร์

Stacked generalization ถูกนำเสนอโดย David Wolpert ในปี 1992 ในฐานะวิธีการรวมตัวจำแนกหลายตัวเข้าด้วยกันผ่านโมเดลระดับสูง แนวคิดนี้ต่อมาได้รับการทำให้เป็นทางการและมีพื้นฐานทางทฤษฎีที่แข็งแกร่งโดย van der Laan, Polley และ Hubbard ในปี 2007 ภายใต้ชื่อ Super Learner ซึ่งใช้ cross-validation เพื่อรวมคลังโมเดลพื้นฐาน ตั้งแต่นั้นมา การซ้อนทับได้กลายเป็นกลยุทธ์สุดท้ายที่เป็นมาตรฐานในการแข่งขัน machine-learning ซึ่งกลุ่มโมเดลที่แตกต่างกันมักจะครองอันดับต้นๆ ของกระดานผู้นำ

ควรใช้เมื่อใด

ใช้การซ้อนทับเมื่อความแม่นยำในการทำนายเป็นสิ่งสำคัญ และคุณมีโมเดลพื้นฐานที่ค่อนข้างแข็งแกร่งและหลากหลายที่จะรวมเข้าด้วยกัน บนข้อมูลแบบ cross-sectional ที่มีคุณลักษณะต่อเนื่อง, หมวดหมู่ หรือทวิภาค และมีข้อมูลอย่างน้อยประมาณ 100 รายการ ไม่จำเป็นต้องมีข้อมูลที่กระจายตัวแบบปกติ (normally distributed) เมื่อมีข้อมูลน้อยกว่าประมาณ 100 รายการ การทำ k-fold cross-validation ไม่สามารถสร้างการทำนาย Level-0 ที่น่าเชื่อถือเพียงพอ และโมเดลเมตาจะเกิด overfitting ดังนั้นโมเดลที่ปรับแต่งเพียงตัวเดียว เช่น random forest หรือ XGBoost จะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการข้อมูลตัวอย่างค่อนข้างมาก (ประมาณ 100+) เพื่อให้ k-fold cross-validation สามารถสร้างการทำนาย Level-0 ที่น่าเชื่อถือได้
  • ประโยชน์ลดลงเมื่อโมเดลพื้นฐานมีความสัมพันธ์กันสูง แทนที่จะมีความหลากหลาย
  • ซับซ้อนและใช้ทรัพยากรในการคำนวณมากกว่าโมเดลเดี่ยว และตีความได้ยากโดยรวม
  • ในข้อมูลตัวอย่างขนาดเล็ก ความหลากหลายของโมเดลพื้นฐานไม่สามารถทำได้ และโมเดลเดี่ยวก็เพียงพอแล้ว

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • มักจะให้ความแม่นยำในการทำนายสูงสุดโดยใช้ประโยชน์จากโมเดลพื้นฐานที่แตกต่างกันซึ่งสร้างข้อผิดพลาดที่แตกต่างกัน
  • ยืดหยุ่น: โมเดลประเภทใดก็ได้สามารถใช้เป็นโมเดลพื้นฐาน โดยมีโมเดลเมตาแบบง่ายอยู่ด้านบน
  • ข้อสมมติฐานน้อย — ไม่จำเป็นต้องมีการกระจายตัวแบบปกติ และจัดการกับคุณลักษณะต่อเนื่อง, หมวดหมู่ และทวิภาคได้
  • กลยุทธ์สุดท้ายที่ได้รับการพิสูจน์แล้วในการตั้งค่าการทำนายเชิงแข่งขัน เช่น Kaggle

การประยุกต์ใช้

  • การรวมกลุ่มในขั้นตอนสุดท้ายในการแข่งขัน predictive-modelling เช่น Kaggle
  • การรวมโมเดลที่แตกต่างกันเพื่อการจำแนกและการทำนายที่มีความแม่นยำสูง
  • กลุ่ม Super Learner ใน biostatistics และ epidemiology
  • การผสมผสานโมเดลที่แข็งแกร่งแต่หลากหลายเมื่อการเพิ่มความแม่นยำพิเศษมีความสำคัญ

วิธีการทำงาน

วิธีการทำงาน

1

ชุดโมเดลพื้นฐานที่หลากหลาย (Level-0) ถูกฝึกบนข้อมูล — ตัวอย่างเช่น random forest, gradient-boosting model และ SVM ยิ่งโมเดลเหล่านี้มีความหลากหลายและเป็นอิสระต่อกันมากเท่าใด การซ้อนทับก็ยิ่งได้รับประโยชน์มากขึ้นเท่านั้น เมื่อโมเดลพื้นฐานมีความสัมพันธ์กันสูง ประโยชน์ของการซ้อนทับจะลดลง

2

การทำนาย Level-0 ถูกสร้างขึ้นผ่านการแบ่งส่วนแบบ k-fold cross-validation แทนที่จะใช้ข้อมูลเดียวกันกับที่โมเดลพื้นฐานถูกปรับ (fitted) วิธีการนอกส่วน (out-of-fold) นี้มีความสำคัญอย่างยิ่งในการป้องกันการรั่วไหลของข้อมูล (data leakage): คุณลักษณะเมตา (meta-features) ของแต่ละการสังเกตมาจากโมเดลที่ไม่เห็นข้อมูลนั้นระหว่างการฝึก

3

โมเดลเมตา (Level-1) ถูกฝึกบนผลลัพธ์ของโมเดลพื้นฐานที่ผ่านการ cross-validation เพื่อสร้างการทำนายสุดท้าย โมเดลเมตา (meta-learner) มักจะถูกทำให้เรียบง่าย — logistic regression, ridge regression หรือ XGBoost ขนาดเล็ก — เพื่อให้มันเรียนรู้น้ำหนักที่เหมาะสมสำหรับการรวมโมเดลพื้นฐานโดยไม่เกิดการ overfitting เอง

สูตร
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

ข้อผิดพลาดที่พบบ่อย

  • การสร้างการทำนาย Level-0 บนข้อมูลเดียวกันกับที่โมเดลพื้นฐานถูกฝึก ทำให้เกิดการรั่วไหลของข้อมูลไปยังโมเดลเมตา
  • การซ้อนทับโมเดลพื้นฐานที่มีความสัมพันธ์กันสูงจำนวนมากและคาดหวังผลประโยชน์ที่มาก
  • การใช้โมเดลเมตาที่ซับซ้อนเกินไปซึ่งเกิด overfitting กับผลลัพธ์ของโมเดลพื้นฐาน แทนที่จะใช้ตัวถดถอย (regressor) แบบง่าย
  • การใช้การซ้อนทับกับชุดข้อมูลขนาดเล็กซึ่งความหลากหลายของโมเดลพื้นฐานและการ cross-validation ที่น่าเชื่อถือเป็นไปไม่ได้

คำถามที่พบบ่อย

การซ้อนทับแตกต่างจาก bagging และ boosting อย่างไร?

Bagging และ boosting สร้างโมเดลประเภทเดียวกันหลายตัว ในขณะที่การซ้อนทับจงใจรวมตระกูลโมเดลที่แตกต่างกันและเรียนรู้วิธีการผสมผสานโมเดลเหล่านั้นด้วยโมเดลเมตาที่แยกต่างหาก ความหลากหลายนั้นคือที่มาของข้อได้เปรียบของการซ้อนทับ

เหตุใดจึงใช้ cross-validation เพื่อสร้าง meta-features?

หากโมเดลเมตาถูกฝึกบนการทำนายที่โมเดลพื้นฐานทำกับข้อมูลการฝึกของตนเอง ข้อมูลจะรั่วไหลและกลุ่มโมเดลจะเกิด overfitting การสร้างการทำนาย Level-0 แบบนอกส่วน (out-of-fold) ผ่าน k-fold cross-validation จะให้ข้อมูลป้อนเข้าที่ซื่อสัตย์แก่โมเดลเมตา

โมเดลเมตาควรเป็นอะไร?

ทำให้เรียบง่าย — logistic regression, ridge regression หรือ XGBoost ขนาดเล็ก โมเดลเมตาแบบง่ายจะเรียนรู้น้ำหนักการผสมผสานที่เหมาะสมโดยไม่เกิด overfitting กับผลลัพธ์ของโมเดลพื้นฐาน

เมื่อใดที่ฉันไม่ควรใช้การซ้อนทับ?

เมื่อคุณมีข้อมูลน้อยกว่าประมาณ 100 รายการ การ cross-validation ไม่สามารถสร้างการทำนาย Level-0 ที่น่าเชื่อถือเพียงพอ และความหลากหลายของโมเดลพื้นฐานทำได้ยาก ดังนั้น random forest หรือ XGBoost ที่ปรับแต่งเพียงตัวเดียวจึงเป็นทางเลือกที่ปลอดภัยกว่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว