XGBoost
- ผู้เสนอ
- Chen, T. & Guestrin, C.
- ปี
- 2016
- ประเภท
- Ensemble (gradient-boosted decision trees)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
XGBoost (Extreme Gradient Boosting) เป็นขั้นตอนวิธีบูสติงแบบต้นไม้ที่ปรับขนาดได้ ซึ่ง Tianqi Chen และ Carlos Guestrin ได้นำเสนอในปี 2016 โดยสร้างตัวทำนายที่แข็งแกร่งด้วยการเพิ่มต้นไม้ตัดสินใจทีละต้น ซึ่งแต่ละต้นจะแก้ไขข้อผิดพลาดที่เหลือจากต้นไม้ก่อนหน้า และเป็นวิธีการทำนายที่มีประสิทธิภาพซึ่งใช้กันอย่างแพร่หลายในการแข่งขัน
แนวคิดเบื้องหลังวิธีการ
แทนที่จะสร้างต้นไม้หลายต้นอย่างอิสระแล้วนำมาหาค่าเฉลี่ย XGBoost จะสร้างต้นไม้ตามลำดับ: ต้นไม้ใหม่แต่ละต้นจะมุ่งเน้นไปที่กรณีที่แบบจำลองปัจจุบันยังคงทำนายผิดพลาด ชุดแบบจำลองจะค่อยๆ ลดข้อผิดพลาดที่เหลืออยู่ทีละขั้นตอน ในขณะที่การปรับให้เป็นมาตรฐานจะช่วยให้ต้นไม้แต่ละต้นเรียบง่าย เพื่อให้แบบจำลองที่รวมกันสามารถสรุปผลได้ดีกว่าการจดจำข้อมูลการฝึกอบรม
ประวัติศาสตร์
XGBoost ได้รับการแนะนำโดย Tianqi Chen และ Carlos Guestrin ในบทความปี 2016 ของพวกเขาเรื่อง 'XGBoost: A Scalable Tree Boosting System' ที่ ACM SIGKDD ด้วยการรวมการบูสติงแบบเกรเดียนต์ที่ปรับให้เป็นมาตรฐานของต้นไม้ตัดสินใจเข้ากับการนำไปใช้ที่ปรับขนาดได้และมีประสิทธิภาพ ทำให้กลายเป็นหนึ่งในขั้นตอนวิธีการทำนายที่ใช้กันอย่างแพร่หลายที่สุด โดยเฉพาะอย่างยิ่งในการแข่งขันด้านวิทยาศาสตร์ข้อมูล
ควรใช้เมื่อใด
ใช้ XGBoost สำหรับการจำแนกประเภทหรือการทำนายที่แม่นยำบนข้อมูลเชิงตารางที่มีคุณลักษณะต่อเนื่อง, เชิงหมวดหมู่, ไบนารี หรือการนับ และมีข้อมูลอย่างน้อยประมาณ 100 รายการ เมื่อประสิทธิภาพการทำนายเป็นสิ่งสำคัญที่สุด ไม่จำเป็นต้องมีข้อมูลที่กระจายตัวแบบปกติ ข้อกำหนดหลักในทางปฏิบัติคือข้อมูลที่เพียงพอและการสร้างคุณลักษณะอย่างรอบคอบ หากมีกรณีศึกษาน้อยกว่า ~100 รายการ การบูสติงแบบเกรเดียนต์มักจะเกิดภาวะโอเวอร์ฟิตติง และแบบจำลองที่เรียบง่ายกว่า (เช่น การถดถอยโลจิสติกส์ หรือต้นไม้ตัดสินใจเดี่ยว) จะเชื่อถือได้มากกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการข้อมูลที่เพียงพอ — ประมาณ 100+ รายการ — มิฉะนั้นจะเกิดภาวะโอเวอร์ฟิตติงและผลการตรวจสอบความถูกต้องแบบไขว้ (cross-validation) จะไม่น่าเชื่อถือ
- ในตัวอย่างขนาดเล็กมีข้อมูลไม่เพียงพอที่จะปรับแต่งไฮเปอร์พารามิเตอร์จำนวนมาก ดังนั้นแบบจำลองที่เรียบง่ายกว่าจึงสรุปผลได้ดีกว่า
- ไฮเปอร์พารามิเตอร์จำนวนมากและชุดแบบจำลองแบบกล่องดำทำให้การตั้งค่าและการตีความยากกว่าแบบจำลองเดี่ยว
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ความแม่นยำในการทำนายที่สูงบนข้อมูลเชิงตาราง ซึ่งเป็นเหตุผลว่าทำไมจึงเป็นที่นิยมในการแข่งขัน
- การปรับให้เป็นมาตรฐานในตัวจะลงโทษความซับซ้อนของต้นไม้และช่วยควบคุมการเกิดภาวะโอเวอร์ฟิตติง
- ทนต่อค่าที่ขาดหายไปและจัดการกับประเภทคุณลักษณะที่หลากหลาย (ต่อเนื่อง, เชิงหมวดหมู่, ไบนารี, การนับ)
- ปรับขนาดได้ดีและได้รับประโยชน์โดยตรงจากการสร้างคุณลักษณะ
การประยุกต์ใช้
- การจำแนกประเภทและการทำนายบนข้อมูลเชิงตารางที่มีคุณลักษณะจำนวนมาก
- การสร้างแบบจำลองเชิงทำนายระดับการแข่งขันที่ความแม่นยำเป็นสิ่งสำคัญที่สุด
- การให้คะแนนความเสี่ยงและงานทำนายบนคุณลักษณะต่อเนื่อง, เชิงหมวดหมู่, ไบนารี และการนับ
- ปัญหาการสร้างแบบจำลองที่ค่าที่ขาดหายไปและคุณลักษณะที่สร้างขึ้นเป็นเรื่องปกติ
วิธีการทำงาน
วิธีการทำงาน
XGBoost เป็นวิธีการบูสติงแบบเกรเดียนต์: โดยรวมต้นไม้ตัดสินใจตื้นๆ หลายต้นเข้าเป็นชุดแบบจำลองเดียว ต้นไม้จะถูกเพิ่มทีละต้น และต้นไม้ใหม่แต่ละต้นจะถูกปรับให้ลดข้อผิดพลาดในการทำนายที่ยังคงเหลืออยู่หลังจากที่ต้นไม้ในแบบจำลองได้ถูกสร้างขึ้นแล้ว
แบบจำลองจะลดวัตถุประสงค์ที่รวมพจน์การสูญเสียที่วัดความเหมาะสมกับข้อมูลเข้ากับพจน์การปรับให้เป็นมาตรฐานที่ลงโทษความซับซ้อนของต้นไม้ การลงโทษความซับซ้อนที่ชัดเจนนี้เองที่ช่วยให้ XGBoost ควบคุมการเกิดภาวะโอเวอร์ฟิตติง (overfitting) ในขณะที่ยังคงสามารถปรับให้เข้ากับความสัมพันธ์แบบไม่เชิงเส้นที่ยืดหยุ่นได้
สูตร
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)ในแต่ละรอบของการบูสติง การทำนายปัจจุบันจะได้รับการปรับปรุงโดยการเพิ่มผลลัพธ์ของต้นไม้ที่ปรับใหม่ ต้นไม้แต่ละต้นจะถูกเลือกให้เคลื่อนการทำนายไปในทิศทางที่ลดวัตถุประสงค์ได้มากที่สุด ดังนั้นความแม่นยำของชุดแบบจำลองจึงดีขึ้นในแต่ละรอบ
สูตร
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)หลังจากทุกรอบการทำนายสุดท้ายคือผลรวมของการมีส่วนร่วมของต้นไม้ทุกต้น ซึ่งใช้สำหรับการจำแนกประเภทหรือการทำนายเป้าหมาย เนื่องจากแบบจำลองสามารถทนต่อค่าที่ขาดหายไปและได้รับประโยชน์จากการสร้างคุณลักษณะ (feature engineering) จึงทำงานได้ดีกับข้อมูลเชิงตารางเมื่อมีข้อมูลเพียงพอ
ข้อผิดพลาดที่พบบ่อย
- การนำไปใช้กับตัวอย่างขนาดเล็ก (n < 100) ซึ่งการบูสติงแบบเกรเดียนต์เกิดภาวะโอเวอร์ฟิตติงและค่าประมาณ CV ไม่น่าเชื่อถือ
- การข้ามการปรับแต่งไฮเปอร์พารามิเตอร์ผ่านการตรวจสอบความถูกต้องแบบไขว้ (เช่น การค้นหาแบบกริด) และยอมรับค่าเริ่มต้น
- การปล่อยให้การจัดการค่าที่ขาดหายไปและการเข้ารหัสเชิงหมวดหมู่ยังไม่ถูกตัดสินใจ แม้ว่า XGBoost จะทนต่อช่องว่างได้
- การไม่ตั้งค่าการแบ่งข้อมูลการฝึกอบรม/ทดสอบ หรือการตรวจสอบความถูกต้องแบบไขว้แบบ k-fold อย่างเหมาะสมก่อนที่จะรายงานประสิทธิภาพ
คำถามที่พบบ่อย
XGBoost ต้องการข้อมูลมากแค่ไหน?
ประมาณ 100 รายการเป็นจำนวนขั้นต่ำที่เหมาะสม หากมีกรณีศึกษาน้อยกว่า 100 รายการ การบูสติงแบบเกรเดียนต์มักจะเกิดภาวะโอเวอร์ฟิตติงและผลการตรวจสอบความถูกต้องแบบไขว้จะไม่น่าเชื่อถือ ดังนั้นแบบจำลองที่เรียบง่ายกว่า เช่น การถดถอยโลจิสติกส์ หรือต้นไม้ตัดสินใจเดี่ยว จึงเชื่อถือได้มากกว่า
XGBoost ต้องการข้อมูลที่กระจายตัวแบบปกติหรือไม่?
ไม่ ไม่มีการสมมติฐานเกี่ยวกับการกระจายตัวแบบปกติและทำงานได้กับคุณลักษณะต่อเนื่อง, เชิงหมวดหมู่, ไบนารี และการนับ ข้อกำหนดหลักในทางปฏิบัติคือการมีข้อมูลที่เพียงพอและการสร้างคุณลักษณะอย่างรอบคอบ
XGBoost แตกต่างจาก Random Forest อย่างไร?
Random Forest สร้างต้นไม้อย่างอิสระและนำมาหาค่าเฉลี่ยเพื่อลดความแปรปรวน XGBoost สร้างต้นไม้ตามลำดับ โดยแต่ละต้นจะแก้ไขข้อผิดพลาดของต้นไม้ก่อนหน้า และเพิ่มการลงโทษการปรับให้เป็นมาตรฐานสำหรับความซับซ้อนของต้นไม้ ซึ่งสามารถบรรลุความแม่นยำที่สูงขึ้นด้วยการปรับแต่งอย่างระมัดระวัง
ฉันจะตีความแบบจำลอง XGBoost ได้อย่างไร?
เนื่องจากแบบจำลองเป็นชุดของต้นไม้หลายต้น การมีส่วนร่วมมักจะถูกตรวจสอบด้วยการวิเคราะห์การระบุคุณลักษณะ เช่น SHAP ควบคู่ไปกับเมตริกชุดทดสอบ เช่น RMSE หรือ AUC และการปรับแต่งไฮเปอร์พารามิเตอร์แบบตรวจสอบความถูกต้องแบบไขว้
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว