Skip to content
กลับไปยังผลการค้นหา

การเสริมกำลังไล่ระดับ

ผู้เสนอ
Friedman, J. H.
ปี
2001
ประเภท
Ensemble (sequential boosting of decision trees)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเสริมกำลังไล่ระดับ (Gradient Boosting) เป็นวิธีการเรียนรู้แบบรวมกลุ่ม (ensemble learning) ซึ่ง Jerome H. Friedman ได้กำหนดรูปแบบอย่างเป็นทางการในปี 2001 โดยเป็นการรวมกลุ่มของตัวเรียนรู้ที่อ่อนแอ (weak learners) หลายตัวเข้าด้วยกัน โดยทั่วไปคือต้นไม้ตัดสินใจ (decision trees) ที่ไม่ลึกนัก เพื่อให้ต้นไม้แต่ละต้นใหม่ถูกปรับให้เหมาะสมกับการลดข้อผิดพลาดตกค้าง (residual errors) ของต้นไม้ก่อนหน้า เป็นอัลกอริทึมหลักที่อยู่เบื้องหลังการนำไปใช้ที่ได้รับความนิยม เช่น XGBoost, LightGBM และ CatBoost

แนวคิดเบื้องหลังวิธีการ

แทนที่จะสร้างแบบจำลองที่แข็งแกร่งเพียงแบบจำลองเดียวในคราวเดียว การเสริมกำลังไล่ระดับจะสร้างต้นไม้ขนาดเล็กจำนวนมากตามลำดับ โดยต้นไม้ใหม่แต่ละต้นจะมุ่งเน้นไปที่ข้อผิดพลาดที่กลุ่มแบบจำลองปัจจุบันยังคงทำอยู่ ด้วยการค่อยๆ ปรับการทำนายไปในทิศทางที่ลดข้อผิดพลาดที่เหลืออยู่ให้มากที่สุด การเรียงต่อกันของตัวเรียนรู้ที่อ่อนแอจะรวมกันเป็นตัวทำนายที่มีความแม่นยำสูง

ประวัติศาสตร์

การเสริมกำลังไล่ระดับ (Gradient Boosting) ถูกกำหนดรูปแบบอย่างเป็นทางการโดย Jerome H. Friedman ในบทความปี 2001 ของเขาเรื่อง Greedy Function Approximation: A Gradient Boosting Machine ซึ่งได้กรอบแนวคิดการเสริมกำลังเป็นการลดความชัน (gradient descent) ในปริภูมิฟังก์ชัน (function space) แนวคิดนี้ — การเพิ่มตัวเรียนรู้ที่อ่อนแอซึ่งแต่ละตัวปรับให้เข้ากับข้อผิดพลาดตกค้างของกลุ่มแบบจำลองปัจจุบัน — ได้กลายเป็นรากฐานสำหรับอัลกอริทึมข้อมูลตารางที่ประสบความสำเร็จมากที่สุดในการปฏิบัติงาน รวมถึง XGBoost, LightGBM และ CatBoost

ควรใช้เมื่อใด

เป็นตัวเลือกที่ดีเยี่ยมสำหรับการจำแนกประเภทและการทำนายที่แม่นยำบนข้อมูลตารางแบบภาคตัดขวาง (cross-sectional) หรือข้อมูลแบบแผง (panel) ที่มีจำนวนการสังเกตอย่างน้อยประมาณ 100 รายการ โดยครอบคลุมคุณลักษณะทั้งแบบต่อเนื่อง (continuous) หมวดหมู่ (categorical) ทวิภาค (binary) และอันดับ (ordinal) โดยทั่วไปไม่จำเป็นต้องปรับมาตราส่วนคุณลักษณะ (feature scaling) แต่การปรับไฮเปอร์พารามิเตอร์ (hyperparameter tuning) ของจำนวนต้นไม้ อัตราการเรียนรู้ และความลึกสูงสุดมีความสำคัญอย่างยิ่ง และแนะนำให้ใช้การหยุดก่อนกำหนดเพื่อป้องกันการเรียนรู้เกิน เมื่อมีจำนวนการสังเกตน้อยกว่าประมาณ 100 รายการ ต้นไม้แบบลำดับมีแนวโน้มที่จะจดจำสัญญาณรบกวน (noise) และการใช้ Random Forest หรือต้นไม้ตัดสินใจเดี่ยวจะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • การปรับไฮเปอร์พารามิเตอร์ของจำนวนต้นไม้ อัตราการเรียนรู้ และความลึกสูงสุดมีความสำคัญและใช้เวลานาน
  • การเสริมกำลังแบบลำดับมีแนวโน้มที่จะเกิดการเรียนรู้เกินหากไม่ได้รับการควบคุม (regularised) ซึ่งเป็นเหตุผลว่าทำไมจึงแนะนำให้หยุดก่อนกำหนด
  • ในกลุ่มตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 100) ต้นไม้แบบลำดับจะจดจำสัญญาณรบกวน และแม้แต่การหยุดก่อนกำหนดก็ไม่เพียงพอ
  • เมื่อมีข้อมูลน้อยเกินไป จะไม่มีข้อมูลเพียงพอสำหรับการตรวจสอบไขว้ (cross-validation) เพื่อปรับไฮเปอร์พารามิเตอร์ให้เหมาะสมได้อย่างน่าเชื่อถือ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ความแม่นยำในการทำนายสูงมากบนข้อมูลตาราง ทั้งสำหรับการจำแนกประเภทและการทำนาย
  • โดยทั่วไปไม่จำเป็นต้องปรับมาตราส่วนคุณลักษณะ และสามารถจัดการกับคุณลักษณะแบบต่อเนื่อง หมวดหมู่ ทวิภาค และอันดับได้
  • เป็นอัลกอริทึมหลักที่อยู่เบื้องหลังไลบรารีที่ใช้กันอย่างแพร่หลาย เช่น XGBoost, LightGBM และ CatBoost
  • การหยุดก่อนกำหนดและอัตราการเรียนรู้ที่น้อยช่วยให้ควบคุมการแลกเปลี่ยนระหว่างความเอนเอียงและความแปรปรวน (bias–variance trade-off) ได้อย่างละเอียด

การประยุกต์ใช้

  • การจำแนกประเภทและการทำนายที่มีความแม่นยำสูงบนข้อมูลตารางแบบภาคตัดขวางและแบบแผง
  • การให้คะแนนความเสี่ยงและการทำนายผลลัพธ์ โดยที่ประสิทธิภาพการทำนายสูงสุดเป็นสิ่งสำคัญอันดับแรก
  • การสร้างแบบจำลองความสัมพันธ์ที่ไม่เป็นเชิงเส้นที่ซับซ้อนระหว่างคุณลักษณะแบบผสมประเภท (mixed-type features) โดยไม่ต้องปรับมาตราส่วนด้วยตนเอง
  • ทำหน้าที่เป็นกลไกเบื้องหลังไลบรารีการเสริมกำลังไล่ระดับที่ใช้กันอย่างแพร่หลาย เช่น XGBoost และ LightGBM

วิธีการทำงาน

วิธีการทำงาน

1

การเสริมกำลังไล่ระดับจะฝึกตัวเรียนรู้ที่อ่อนแอ ซึ่งโดยทั่วไปคือต้นไม้ตัดสินใจที่ไม่ลึกนัก ทีละต้น แทนที่จะฝึกอย่างอิสระ กลุ่มแบบจำลองเริ่มต้นจากการประมาณค่าเริ่มต้นที่ง่ายๆ และต้นไม้แต่ละต้นที่ตามมาจะถูกเพิ่มเข้ามาเพื่อแก้ไขสิ่งที่แบบจำลองปัจจุบันยังคงทำผิดพลาด ดังนั้นความแม่นยำจึงดีขึ้นทีละขั้นตอน

2

ในแต่ละรอบ วิธีการจะพิจารณาข้อผิดพลาดตกค้างของกลุ่มแบบจำลองปัจจุบัน และปรับต้นไม้ถัดไปให้เหมาะสมกับข้อผิดพลาดเหล่านั้น (ซึ่งก็คือค่าลบของความชันของฟังก์ชันความสูญเสีย - negative gradient of the loss) ต้นไม้ใหม่จะถูกเพิ่มเข้ามาด้วยน้ำหนักอัตราการเรียนรู้ (learning-rate weight) ที่น้อย เพื่อให้การทำนายได้รับการปรับปรุงอย่างระมัดระวัง: F_m(x) = F_{m-1}(x) + nu * h_m(x) การแก้ไขตามลำดับที่ชี้นำโดยความชันนี้เองที่ทำให้วิธีการนี้มีชื่อเสียงและมีความแม่นยำ

สูตร
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)
3

การทำนายสุดท้ายคือผลรวมของการประมาณค่าเริ่มต้นและการแก้ไขจากต้นไม้เล็กๆ ทั้งหมดที่สะสมมา เนื่องจากต้นไม้ถูกเพิ่มเข้ามาอย่างละโมบ (greedily) เพื่อไล่ตามข้อผิดพลาดที่เหลืออยู่ การปรับแต่งจำนวนต้นไม้ อัตราการเรียนรู้ และความลึกของต้นไม้ ควบคู่ไปกับการหยุดก่อนกำหนด (early stopping) จึงมีความสำคัญอย่างยิ่งในการหลีกเลี่ยงการเรียนรู้เกิน (overfitting)

ข้อผิดพลาดที่พบบ่อย

  • การข้ามการหยุดก่อนกำหนดและปล่อยให้การเสริมกำลังทำงานนานเกินไปจนเกิดการเรียนรู้เกิน
  • การตั้งค่าอัตราการเรียนรู้สูงเกินไป ทำให้แต่ละต้นไม้แก้ไขมากเกินไปแทนที่จะค่อยๆ ปรับการทำนายอย่างนุ่มนวล
  • การนำไปใช้กับกลุ่มตัวอย่างที่มีจำนวนการสังเกตน้อยกว่าประมาณ 100 รายการ ซึ่งต้นไม้แบบลำดับจะจดจำสัญญาณรบกวน
  • การยอมรับไฮเปอร์พารามิเตอร์เริ่มต้นแทนที่จะปรับแต่ง n_estimators, learning_rate และ max_depth
  • การปฏิบัติต่อมันราวกับว่าต้องการการปรับมาตราส่วนคุณลักษณะเหมือนกับแบบจำลองที่อิงตามระยะทาง ทั้งที่โดยทั่วไปแล้วไม่จำเป็นต้องปรับมาตราส่วน

คำถามที่พบบ่อย

การเสริมกำลังไล่ระดับแตกต่างจาก Random Forest อย่างไร

Random Forest สร้างต้นไม้จำนวนมากที่เป็นอิสระต่อกันแบบขนานและหาค่าเฉลี่ย ในขณะที่ Gradient Boosting สร้างต้นไม้ตามลำดับ โดยแต่ละต้นจะถูกปรับให้แก้ไขข้อผิดพลาดตกค้างของต้นก่อนหน้า การเสริมกำลังมักให้ความแม่นยำสูงกว่า แต่ไวต่อการเรียนรู้เกินมากกว่า และต้องการการปรับแต่งอย่างระมัดระวัง

เหตุใดจึงแนะนำให้หยุดก่อนกำหนด

เนื่องจากต้นไม้ใหม่แต่ละต้นจะไล่ตามข้อผิดพลาดที่เหลืออยู่ การทำงานของการเสริมกำลังที่นานเกินไปจะเริ่มปรับให้เข้ากับสัญญาณรบกวน การหยุดก่อนกำหนดจะหยุดการฝึกอบรมเมื่อประสิทธิภาพบนชุดข้อมูลตรวจสอบ (validation performance) หยุดนิ่ง ซึ่งเป็นกลไกป้องกันหลักต่อการเรียนรู้เกิน

ฉันจำเป็นต้องปรับมาตราส่วนคุณลักษณะของฉันหรือไม่

โดยทั่วไปไม่จำเป็นต้องปรับมาตราส่วนคุณลักษณะสำหรับการเสริมกำลังไล่ระดับที่ใช้ต้นไม้ เนื่องจากจุดแบ่ง (splits) ขึ้นอยู่กับลำดับมากกว่าขนาด แต่ตัวปรับแต่งที่สำคัญคือจำนวนต้นไม้ อัตราการเรียนรู้ และความลึกของต้นไม้

ฉันต้องการขนาดกลุ่มตัวอย่างเท่าใด

อย่างน้อยประมาณ 100 รายการการสังเกต ต่ำกว่านั้น ต้นไม้แบบลำดับจะจดจำสัญญาณรบกวน และแม้แต่การหยุดก่อนกำหนดก็ไม่เพียงพอ ดังนั้น Random Forest หรือต้นไม้ตัดสินใจเดี่ยวจึงเป็นตัวเลือกที่ปลอดภัยกว่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว