Skip to content
กลับไปยังผลการค้นหา

ไลท์จีบีเอ็ม

ผู้เสนอ
Ke, G. et al. (Microsoft)
ปี
2017
ประเภท
Gradient boosting decision tree ensemble

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

ไลท์จีบีเอ็ม (LightGBM) คือการนำการเพิ่มประสิทธิภาพแบบไล่ระดับ (gradient boosting) ของต้นไม้ตัดสินใจ (decision tree) ที่พัฒนาโดยไมโครซอฟท์ เปิดตัวโดย Ke และคณะในปี 2017 ซึ่งสร้างต้นไม้แบบใบต่อใบ (leaf-wise) และจัดกลุ่มคุณลักษณะ (feature) เป็นฮิสโตแกรมเพื่อความรวดเร็ว บนชุดข้อมูลขนาดใหญ่ ไลท์จีบีเอ็มเร็วกว่าเอ็กซ์จีบีโอโอสต์ (XGBoost) อย่างมาก โดยยังคงรักษาความแม่นยำในการทำนายที่แข็งแกร่ง

แนวคิดเบื้องหลังวิธีการ

การเพิ่มประสิทธิภาพแบบไล่ระดับ (gradient boosting) สร้างกลุ่มของต้นไม้ทีละต้น โดยต้นไม้ใหม่แต่ละต้นจะแก้ไขข้อผิดพลาดที่เหลือจากต้นไม้ก่อนหน้า ไลท์จีบีเอ็มยังคงแนวคิดหลักนี้ แต่ทำให้เร็วขึ้น: แทนที่จะทดสอบจุดแบ่งที่เป็นไปได้ทั้งหมดบนคุณลักษณะต่อเนื่อง มันจะจัดกลุ่มค่าของคุณลักษณะเป็นจำนวนคงที่ของถังฮิสโตแกรม และแทนที่จะสร้างต้นไม้ทีละระดับ มันจะสร้างใบที่ให้ผลตอบแทนจากการปรับปรุงมากที่สุดเสมอ ผลลัพธ์คือแบบจำลองที่ลู่เข้าอย่างรวดเร็วและปรับขนาดได้สำหรับข้อมูลตารางขนาดใหญ่

ประวัติศาสตร์

ไลท์จีบีเอ็มถูกนำเสนอโดย Guolin Ke และคณะที่ไมโครซอฟท์ในบทความ NeurIPS ปี 2017 ชื่อ 'LightGBM: A Highly Efficient Gradient Boosting Decision Tree.' ทางเลือกที่โดดเด่นสองประการ — การจัดกลุ่มคุณลักษณะแบบฮิสโตแกรมและการสร้างต้นไม้แบบใบต่อใบ (ดีที่สุดก่อน) — ถูกออกแบบมาเพื่อทำให้ gradient boosting เร็วขึ้นและมีประสิทธิภาพด้านหน่วยความจำมากขึ้นอย่างมากบนชุดข้อมูลขนาดใหญ่ และได้กลายเป็นหนึ่งในไลบรารี boosting ที่ใช้กันอย่างแพร่หลายที่สุดสำหรับข้อมูลตาราง ควบคู่ไปกับเอ็กซ์จีบีโอโอสต์

ควรใช้เมื่อใด

เป็นตัวเลือกที่แข็งแกร่งสำหรับการทำนาย การจำแนกประเภท และการพยากรณ์บนชุดข้อมูลตารางขนาดใหญ่ — ทั้งแบบตัดขวาง (cross-sectional) แบบแผง (panel) หรืออนุกรมเวลา (time-series) — ที่มีคุณลักษณะต่อเนื่อง ประเภทหมวดหมู่ แบบไบนารี หรือแบบอันดับ (ordinal) และมีจำนวนการสังเกตอย่างน้อยประมาณ 200 รายการ มีประโยชน์มากที่สุดเมื่อความเร็วในการฝึกอบรมและขนาดมีความสำคัญ และคุณสามารถปรับการควบคุมแบบจำลองได้ ต่ำกว่าประมาณ 200 การสังเกต การสร้างแบบใบต่อใบมีแนวโน้มที่จะเกิดการเรียนรู้เกินอย่างรุนแรง และวิธีการแบบระดับต่อระดับ เช่น เอ็กซ์จีบีโอโอสต์ หรือการสุ่มป่า (Random Forest) ที่เสถียรกว่า จะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • การสร้างแบบใบต่อใบเกิดการเรียนรู้เกินบนตัวอย่างขนาดเล็ก เว้นแต่จะมีการควบคุมแบบจำลองอย่างระมัดระวัง
  • จำเป็นต้องปรับแต่ง num_leaves และ min_data_in_leaf เพื่อควบคุมความซับซ้อน
  • บนชุดข้อมูลที่มีจำนวนน้อยกว่าประมาณ 200 การสังเกต วิธีการแบบระดับต่อระดับ (เอ็กซ์จีบีโอโอสต์) หรือการสุ่มป่าจะน่าเชื่อถือกว่า
  • เช่นเดียวกับต้นไม้ที่เพิ่มประสิทธิภาพแบบไล่ระดับอื่นๆ มันเป็นกล่องดำ (black box) ที่ไม่มีสัมประสิทธิ์ที่ตีความได้โดยตรง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เร็วกว่าเอ็กซ์จีบีโอโอสต์อย่างมากบนชุดข้อมูลขนาดใหญ่ ด้วยการแบ่งแบบฮิสโตแกรม
  • การสร้างแบบใบต่อใบจะลู่เข้าอย่างรวดเร็วและมักจะให้ความแม่นยำสูง
  • จัดการคุณลักษณะประเภทหมวดหมู่ได้โดยตรง โดยไม่ต้องมีการเข้ารหัสแบบหนึ่งฮอตด้วยตนเอง
  • ใช้ได้กับการทำนาย การจำแนกประเภท และการพยากรณ์ในข้อมูลแบบตัดขวาง แบบแผง และอนุกรมเวลา

การประยุกต์ใช้

  • การทำนายและการจำแนกประเภทบนชุดข้อมูลตารางขนาดใหญ่
  • งานพยากรณ์บนข้อมูลแบบตัดขวาง แบบแผง และอนุกรมเวลา
  • ทางเลือกที่รวดเร็วและปรับขนาดได้แทนเอ็กซ์จีบีโอโอสต์ เมื่อเวลาในการฝึกอบรมมีความสำคัญ
  • การสร้างแบบจำลองข้อมูลที่มีคุณลักษณะประเภทหมวดหมู่จำนวนมากโดยไม่ต้องมีการประมวลผลล่วงหน้าหนัก

วิธีการทำงาน

วิธีการทำงาน

1

ต้นไม้จะถูกเพิ่มตามลำดับ: ต้นไม้ใหม่แต่ละต้นจะถูกปรับให้เข้ากับข้อผิดพลาดส่วนที่เหลือ (residual errors) ของกลุ่มต้นไม้ปัจจุบัน และถูกเพิ่มด้วยการหดตัวของอัตราการเรียนรู้ (learning-rate shrinkage) ดังนั้นแบบจำลองจะค่อยๆ ลดการสูญเสีย (loss) ทีละขั้นตอน คุณลักษณะประเภทหมวดหมู่ (categorical features) สามารถป้อนเข้าไลท์จีบีเอ็มได้โดยตรงโดยไม่ต้องมีการเข้ารหัสแบบหนึ่งฮอต (one-hot encoding) ด้วยตนเอง

สูตร
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)
2

ค่าของคุณลักษณะต่อเนื่องจะถูกจัดกลุ่มเป็นจำนวนคงที่ของถังฮิสโตแกรมก่อนทำการแบ่ง อัลกอริทึมจะค้นหาการแบ่งที่ดีที่สุดบนถังเหล่านี้ แทนที่จะเป็นค่าดิบทั้งหมด ซึ่งเป็นเหตุผลหลักที่ไลท์จีบีเอ็มเร็วกว่าการนำไปใช้แบบระดับต่อระดับ (level-wise) เช่น เอ็กซ์จีบีโอโอสต์ บนข้อมูลขนาดใหญ่

3

แทนที่จะขยายใบทั้งหมดที่ความลึกเท่ากัน (แบบระดับต่อระดับ) ไลท์จีบีเอ็มจะสร้างแบบใบต่อใบ: มันจะแบ่งใบที่ให้ผลตอบแทนจากการลดการสูญเสียมากที่สุดเสมอ วิธีนี้จะลู่เข้าเร็วขึ้น แต่อาจเกิดการเรียนรู้เกิน (overfit) บนตัวอย่างขนาดเล็ก ดังนั้นจำนวนใบ (num_leaves) และข้อมูลขั้นต่ำต่อใบ (min_data_in_leaf) จะต้องถูกตั้งค่าเพื่อควบคุมแบบจำลอง (regularise)

ข้อผิดพลาดที่พบบ่อย

  • การใช้ไลท์จีบีเอ็มกับตัวอย่างขนาดเล็กที่การสร้างแบบใบต่อใบทำให้เกิดการเรียนรู้เกินอย่างรุนแรง
  • การปล่อยให้ค่า num_leaves และ min_data_in_leaf ผ่อนปรนเกินไปสำหรับขนาดชุดข้อมูล
  • การเข้ารหัสตัวแปรประเภทหมวดหมู่แบบหนึ่งฮอตด้วยตนเอง แทนที่จะส่งเข้าไลท์จีบีเอ็มโดยตรง
  • การเชื่อความแม่นยำภายในตัวอย่าง (in-sample accuracy) โดยไม่มีการประเมินแบบแยกส่วน (held-out) หรือการประเมินแบบไขว้ (cross-validated)

คำถามที่พบบ่อย

ไลท์จีบีเอ็มแตกต่างจากเอ็กซ์จีบีโอโอสต์อย่างไร

ทั้งสองเป็นไลบรารีต้นไม้ตัดสินใจแบบเพิ่มประสิทธิภาพแบบไล่ระดับ (gradient boosting decision tree) ไลท์จีบีเอ็มใช้การแบ่งแบบฮิสโตแกรมและการสร้างต้นไม้แบบใบต่อใบ (ดีที่สุดก่อน) ซึ่งทำให้เร็วกว่ามากบนชุดข้อมูลขนาดใหญ่ เอ็กซ์จีบีโอโอสต์สร้างแบบระดับต่อระดับ ซึ่งมักจะปลอดภัยกว่าบนตัวอย่างขนาดเล็ก

ทำไมไลท์จีบีเอ็มจึงเกิดการเรียนรู้เกินบนชุดข้อมูลขนาดเล็ก

การสร้างแบบใบต่อใบจะแบ่งใบที่มีกำไรมากที่สุดเสมอ ซึ่งอาจแบ่งข้อมูลออกเป็นใบมากเกินไปเมื่อเทียบกับขนาดของมัน บนตัวอย่างขนาดเล็ก (ต่ำกว่าประมาณ 200 การสังเกต) สิ่งนี้นำไปสู่การเรียนรู้เกินอย่างรุนแรง ดังนั้นจึงแนะนำวิธีการแบบระดับต่อระดับหรือการสุ่มป่า

ฉันจำเป็นต้องเข้ารหัสตัวแปรประเภทหมวดหมู่แบบหนึ่งฮอตหรือไม่

ไม่ ไลท์จีบีเอ็มสามารถรับคุณลักษณะประเภทหมวดหมู่ได้โดยตรง ดังนั้นการเข้ารหัสแบบหนึ่งฮอตด้วยตนเองจึงไม่จำเป็น และอาจส่งผลเสียต่อประสิทธิภาพด้วยซ้ำ

การตั้งค่าใดที่ควบคุมการเรียนรู้เกิน

จำนวนใบ (num_leaves) และข้อมูลขั้นต่ำต่อใบ (min_data_in_leaf) เป็นตัวควบคุมการควบคุมแบบจำลองที่สำคัญ การทำให้เข้มงวดขึ้นจะจำกัดความซับซ้อนของต้นไม้เมื่อเทียบกับขนาดของชุดข้อมูล

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว