การเสริมกำลังไล่ระดับ
- ผู้เสนอ
- Friedman, J. H.
- ปี
- 2001
- ประเภท
- Ensemble (sequential boosting of decision trees)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเสริมกำลังไล่ระดับ (Gradient Boosting) เป็นวิธีการเรียนรู้แบบรวมกลุ่ม (ensemble learning) ซึ่ง Jerome H. Friedman ได้กำหนดรูปแบบอย่างเป็นทางการในปี 2001 โดยเป็นการรวมกลุ่มของตัวเรียนรู้ที่อ่อนแอ (weak learners) หลายตัวเข้าด้วยกัน โดยทั่วไปคือต้นไม้ตัดสินใจ (decision trees) ที่ไม่ลึกนัก เพื่อให้ต้นไม้แต่ละต้นใหม่ถูกปรับให้เหมาะสมกับการลดข้อผิดพลาดตกค้าง (residual errors) ของต้นไม้ก่อนหน้า เป็นอัลกอริทึมหลักที่อยู่เบื้องหลังการนำไปใช้ที่ได้รับความนิยม เช่น XGBoost, LightGBM และ CatBoost
แนวคิดเบื้องหลังวิธีการ
แทนที่จะสร้างแบบจำลองที่แข็งแกร่งเพียงแบบจำลองเดียวในคราวเดียว การเสริมกำลังไล่ระดับจะสร้างต้นไม้ขนาดเล็กจำนวนมากตามลำดับ โดยต้นไม้ใหม่แต่ละต้นจะมุ่งเน้นไปที่ข้อผิดพลาดที่กลุ่มแบบจำลองปัจจุบันยังคงทำอยู่ ด้วยการค่อยๆ ปรับการทำนายไปในทิศทางที่ลดข้อผิดพลาดที่เหลืออยู่ให้มากที่สุด การเรียงต่อกันของตัวเรียนรู้ที่อ่อนแอจะรวมกันเป็นตัวทำนายที่มีความแม่นยำสูง
ประวัติศาสตร์
การเสริมกำลังไล่ระดับ (Gradient Boosting) ถูกกำหนดรูปแบบอย่างเป็นทางการโดย Jerome H. Friedman ในบทความปี 2001 ของเขาเรื่อง Greedy Function Approximation: A Gradient Boosting Machine ซึ่งได้กรอบแนวคิดการเสริมกำลังเป็นการลดความชัน (gradient descent) ในปริภูมิฟังก์ชัน (function space) แนวคิดนี้ — การเพิ่มตัวเรียนรู้ที่อ่อนแอซึ่งแต่ละตัวปรับให้เข้ากับข้อผิดพลาดตกค้างของกลุ่มแบบจำลองปัจจุบัน — ได้กลายเป็นรากฐานสำหรับอัลกอริทึมข้อมูลตารางที่ประสบความสำเร็จมากที่สุดในการปฏิบัติงาน รวมถึง XGBoost, LightGBM และ CatBoost
ควรใช้เมื่อใด
เป็นตัวเลือกที่ดีเยี่ยมสำหรับการจำแนกประเภทและการทำนายที่แม่นยำบนข้อมูลตารางแบบภาคตัดขวาง (cross-sectional) หรือข้อมูลแบบแผง (panel) ที่มีจำนวนการสังเกตอย่างน้อยประมาณ 100 รายการ โดยครอบคลุมคุณลักษณะทั้งแบบต่อเนื่อง (continuous) หมวดหมู่ (categorical) ทวิภาค (binary) และอันดับ (ordinal) โดยทั่วไปไม่จำเป็นต้องปรับมาตราส่วนคุณลักษณะ (feature scaling) แต่การปรับไฮเปอร์พารามิเตอร์ (hyperparameter tuning) ของจำนวนต้นไม้ อัตราการเรียนรู้ และความลึกสูงสุดมีความสำคัญอย่างยิ่ง และแนะนำให้ใช้การหยุดก่อนกำหนดเพื่อป้องกันการเรียนรู้เกิน เมื่อมีจำนวนการสังเกตน้อยกว่าประมาณ 100 รายการ ต้นไม้แบบลำดับมีแนวโน้มที่จะจดจำสัญญาณรบกวน (noise) และการใช้ Random Forest หรือต้นไม้ตัดสินใจเดี่ยวจะปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- การปรับไฮเปอร์พารามิเตอร์ของจำนวนต้นไม้ อัตราการเรียนรู้ และความลึกสูงสุดมีความสำคัญและใช้เวลานาน
- การเสริมกำลังแบบลำดับมีแนวโน้มที่จะเกิดการเรียนรู้เกินหากไม่ได้รับการควบคุม (regularised) ซึ่งเป็นเหตุผลว่าทำไมจึงแนะนำให้หยุดก่อนกำหนด
- ในกลุ่มตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 100) ต้นไม้แบบลำดับจะจดจำสัญญาณรบกวน และแม้แต่การหยุดก่อนกำหนดก็ไม่เพียงพอ
- เมื่อมีข้อมูลน้อยเกินไป จะไม่มีข้อมูลเพียงพอสำหรับการตรวจสอบไขว้ (cross-validation) เพื่อปรับไฮเปอร์พารามิเตอร์ให้เหมาะสมได้อย่างน่าเชื่อถือ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ความแม่นยำในการทำนายสูงมากบนข้อมูลตาราง ทั้งสำหรับการจำแนกประเภทและการทำนาย
- โดยทั่วไปไม่จำเป็นต้องปรับมาตราส่วนคุณลักษณะ และสามารถจัดการกับคุณลักษณะแบบต่อเนื่อง หมวดหมู่ ทวิภาค และอันดับได้
- เป็นอัลกอริทึมหลักที่อยู่เบื้องหลังไลบรารีที่ใช้กันอย่างแพร่หลาย เช่น XGBoost, LightGBM และ CatBoost
- การหยุดก่อนกำหนดและอัตราการเรียนรู้ที่น้อยช่วยให้ควบคุมการแลกเปลี่ยนระหว่างความเอนเอียงและความแปรปรวน (bias–variance trade-off) ได้อย่างละเอียด
การประยุกต์ใช้
- การจำแนกประเภทและการทำนายที่มีความแม่นยำสูงบนข้อมูลตารางแบบภาคตัดขวางและแบบแผง
- การให้คะแนนความเสี่ยงและการทำนายผลลัพธ์ โดยที่ประสิทธิภาพการทำนายสูงสุดเป็นสิ่งสำคัญอันดับแรก
- การสร้างแบบจำลองความสัมพันธ์ที่ไม่เป็นเชิงเส้นที่ซับซ้อนระหว่างคุณลักษณะแบบผสมประเภท (mixed-type features) โดยไม่ต้องปรับมาตราส่วนด้วยตนเอง
- ทำหน้าที่เป็นกลไกเบื้องหลังไลบรารีการเสริมกำลังไล่ระดับที่ใช้กันอย่างแพร่หลาย เช่น XGBoost และ LightGBM
วิธีการทำงาน
วิธีการทำงาน
การเสริมกำลังไล่ระดับจะฝึกตัวเรียนรู้ที่อ่อนแอ ซึ่งโดยทั่วไปคือต้นไม้ตัดสินใจที่ไม่ลึกนัก ทีละต้น แทนที่จะฝึกอย่างอิสระ กลุ่มแบบจำลองเริ่มต้นจากการประมาณค่าเริ่มต้นที่ง่ายๆ และต้นไม้แต่ละต้นที่ตามมาจะถูกเพิ่มเข้ามาเพื่อแก้ไขสิ่งที่แบบจำลองปัจจุบันยังคงทำผิดพลาด ดังนั้นความแม่นยำจึงดีขึ้นทีละขั้นตอน
ในแต่ละรอบ วิธีการจะพิจารณาข้อผิดพลาดตกค้างของกลุ่มแบบจำลองปัจจุบัน และปรับต้นไม้ถัดไปให้เหมาะสมกับข้อผิดพลาดเหล่านั้น (ซึ่งก็คือค่าลบของความชันของฟังก์ชันความสูญเสีย - negative gradient of the loss) ต้นไม้ใหม่จะถูกเพิ่มเข้ามาด้วยน้ำหนักอัตราการเรียนรู้ (learning-rate weight) ที่น้อย เพื่อให้การทำนายได้รับการปรับปรุงอย่างระมัดระวัง: F_m(x) = F_{m-1}(x) + nu * h_m(x) การแก้ไขตามลำดับที่ชี้นำโดยความชันนี้เองที่ทำให้วิธีการนี้มีชื่อเสียงและมีความแม่นยำ
สูตร
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)การทำนายสุดท้ายคือผลรวมของการประมาณค่าเริ่มต้นและการแก้ไขจากต้นไม้เล็กๆ ทั้งหมดที่สะสมมา เนื่องจากต้นไม้ถูกเพิ่มเข้ามาอย่างละโมบ (greedily) เพื่อไล่ตามข้อผิดพลาดที่เหลืออยู่ การปรับแต่งจำนวนต้นไม้ อัตราการเรียนรู้ และความลึกของต้นไม้ ควบคู่ไปกับการหยุดก่อนกำหนด (early stopping) จึงมีความสำคัญอย่างยิ่งในการหลีกเลี่ยงการเรียนรู้เกิน (overfitting)
ข้อผิดพลาดที่พบบ่อย
- การข้ามการหยุดก่อนกำหนดและปล่อยให้การเสริมกำลังทำงานนานเกินไปจนเกิดการเรียนรู้เกิน
- การตั้งค่าอัตราการเรียนรู้สูงเกินไป ทำให้แต่ละต้นไม้แก้ไขมากเกินไปแทนที่จะค่อยๆ ปรับการทำนายอย่างนุ่มนวล
- การนำไปใช้กับกลุ่มตัวอย่างที่มีจำนวนการสังเกตน้อยกว่าประมาณ 100 รายการ ซึ่งต้นไม้แบบลำดับจะจดจำสัญญาณรบกวน
- การยอมรับไฮเปอร์พารามิเตอร์เริ่มต้นแทนที่จะปรับแต่ง n_estimators, learning_rate และ max_depth
- การปฏิบัติต่อมันราวกับว่าต้องการการปรับมาตราส่วนคุณลักษณะเหมือนกับแบบจำลองที่อิงตามระยะทาง ทั้งที่โดยทั่วไปแล้วไม่จำเป็นต้องปรับมาตราส่วน
คำถามที่พบบ่อย
การเสริมกำลังไล่ระดับแตกต่างจาก Random Forest อย่างไร
Random Forest สร้างต้นไม้จำนวนมากที่เป็นอิสระต่อกันแบบขนานและหาค่าเฉลี่ย ในขณะที่ Gradient Boosting สร้างต้นไม้ตามลำดับ โดยแต่ละต้นจะถูกปรับให้แก้ไขข้อผิดพลาดตกค้างของต้นก่อนหน้า การเสริมกำลังมักให้ความแม่นยำสูงกว่า แต่ไวต่อการเรียนรู้เกินมากกว่า และต้องการการปรับแต่งอย่างระมัดระวัง
เหตุใดจึงแนะนำให้หยุดก่อนกำหนด
เนื่องจากต้นไม้ใหม่แต่ละต้นจะไล่ตามข้อผิดพลาดที่เหลืออยู่ การทำงานของการเสริมกำลังที่นานเกินไปจะเริ่มปรับให้เข้ากับสัญญาณรบกวน การหยุดก่อนกำหนดจะหยุดการฝึกอบรมเมื่อประสิทธิภาพบนชุดข้อมูลตรวจสอบ (validation performance) หยุดนิ่ง ซึ่งเป็นกลไกป้องกันหลักต่อการเรียนรู้เกิน
ฉันจำเป็นต้องปรับมาตราส่วนคุณลักษณะของฉันหรือไม่
โดยทั่วไปไม่จำเป็นต้องปรับมาตราส่วนคุณลักษณะสำหรับการเสริมกำลังไล่ระดับที่ใช้ต้นไม้ เนื่องจากจุดแบ่ง (splits) ขึ้นอยู่กับลำดับมากกว่าขนาด แต่ตัวปรับแต่งที่สำคัญคือจำนวนต้นไม้ อัตราการเรียนรู้ และความลึกของต้นไม้
ฉันต้องการขนาดกลุ่มตัวอย่างเท่าใด
อย่างน้อยประมาณ 100 รายการการสังเกต ต่ำกว่านั้น ต้นไม้แบบลำดับจะจดจำสัญญาณรบกวน และแม้แต่การหยุดก่อนกำหนดก็ไม่เพียงพอ ดังนั้น Random Forest หรือต้นไม้ตัดสินใจเดี่ยวจึงเป็นตัวเลือกที่ปลอดภัยกว่า
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว