Skip to content
กลับไปยังผลการค้นหา

Random Forest

ผู้เสนอ
Breiman, L.
ปี
2001
ประเภท
Ensemble (bagging of decision trees)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Random Forest เป็นวิธีการเรียนรู้แบบรวมกลุ่ม (ensemble learning method) ที่ Leo Breiman นำเสนอในปี 2001 โดยสร้างต้นไม้ตัดสินใจ (decision trees) จำนวนมากจากตัวอย่าง bootstrap ของข้อมูล และรวมผลการลงคะแนนของต้นไม้เหล่านั้นเพื่อจำแนกประเภท (classification) และการถดถอย (regression) ที่มีความแม่นยำและเสถียรภาพสูง การรวมต้นไม้หลายๆ ต้นที่แตกต่างกันเล็กน้อยเข้าด้วยกัน ทำให้ได้การทำนายที่แม่นยำและเสถียรกว่าต้นไม้เดี่ยวๆ

แนวคิดเบื้องหลังวิธีการ

ต้นไม้ตัดสินใจเดี่ยวๆ ที่เติบโตอย่างลึกซึ้งจะปรับให้เข้ากับข้อมูลฝึกสอนได้อย่างใกล้ชิด แต่ขาดเสถียรภาพ: การเปลี่ยนแปลงเล็กน้อยในข้อมูลอาจทำให้เกิดต้นไม้ที่แตกต่างกันอย่างมาก Random Forest แก้ปัญหานี้โดยการสร้างต้นไม้จำนวนมาก โดยแต่ละต้นจะใช้มุมมองข้อมูลที่สุ่มและแตกต่างกันเล็กน้อย และให้ต้นไม้เหล่านั้นลงคะแนน ข้อผิดพลาดของต้นไม้แต่ละต้นมีแนวโน้มที่จะหักล้างกัน ดังนั้นการทำนายที่รวมกันจึงน่าเชื่อถือมากกว่าต้นไม้เดี่ยวๆ

ประวัติศาสตร์

Random Forest ถูกเสนอโดย Leo Breiman ในปี 2001 โดยผสมผสาน bootstrap aggregation เข้ากับการเลือกคุณลักษณะแบบสุ่มในแต่ละการแบ่ง กลายเป็นหนึ่งในวิธีการเรียนรู้ของเครื่อง (machine-learning methods) ที่ใช้กันอย่างแพร่หลายและน่าเชื่อถือที่สุดสำหรับข้อมูลตาราง และเป็นข้อมูลอ้างอิงมาตรฐานในตำราต่างๆ เช่น An Introduction to Statistical Learning (บทที่ 8) เมื่อเร็วๆ นี้ เครื่องมือต่างๆ เช่น SHAP values ได้ทำให้ความสามารถในการตีความใกล้เคียงกับ logistic regression มากขึ้น ซึ่งช่วยเพิ่มการยอมรับในสาขาสังคมศาสตร์

ควรใช้เมื่อใด

เหมาะสมสำหรับการจำแนกประเภท การถดถอย หรือการทำนายที่แม่นยำและแข็งแกร่งบนข้อมูลตาราง (tabular data) ที่มีคุณลักษณะจำนวนมาก ซึ่งอาจมีความสัมพันธ์แบบไม่เชิงเส้นและมีปฏิสัมพันธ์กัน และมีข้อมูลอย่างน้อยประมาณ 50 รายการ เมื่อประสิทธิภาพการทำนายมีความสำคัญมากกว่าการรายงานค่าสัมประสิทธิ์ที่ชัดเจน Random Forest มีข้อสมมติฐานน้อย: ไม่ต้องการข้อมูลที่กระจายตัวแบบปกติ (normally distributed) และจัดการกับคุณลักษณะแบบต่อเนื่อง (continuous) แบบจำแนกประเภท (categorical) แบบสองค่า (binary) แบบอันดับ (ordinal) และแบบนับ (count) แนะนำให้ปรับแต่งไฮเปอร์พารามิเตอร์ (hyperparameter tuning) เมื่อขนาดตัวอย่างน้อยกว่าประมาณ 50 โมเดลที่ง่ายกว่า เช่น logistic regression หรือ linear regression จะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ไม่มีค่าสัมประสิทธิ์ให้ตีความ ลักษณะแบบกล่องดำ (black-box nature) อาจขัดแย้งกับผู้ตรวจสอบที่คาดหวังผลกระทบที่ชัดเจน
  • แนะนำให้ปรับแต่งไฮเปอร์พารามิเตอร์ และกลุ่มต้นไม้ขนาดใหญ่ต้องใช้หน่วยความจำและพลังประมวลผลมาก
  • สำหรับตัวอย่างขนาดเล็ก (n น้อยกว่าประมาณ 50) ต้นไม้จำนวนมากจะเกิด Overfitting และผลการ cross-validation จะทำให้เข้าใจผิดได้
  • ค่าประมาณความสำคัญของคุณลักษณะอาจไม่เสถียรและไม่สามารถทำซ้ำได้ในขนาดตัวอย่างเล็ก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ความแม่นยำสูงที่พร้อมใช้งานทันทีบนข้อมูลตาราง ทั้งสำหรับการจำแนกประเภทและการถดถอย
  • ทนทานต่อการเกิด Overfitting (การปรับให้เข้ากับข้อมูลฝึกสอนมากเกินไป) ด้วยการใช้ bagging ร่วมกับการเลือกคุณลักษณะแบบสุ่มในแต่ละการแบ่ง
  • การวัดความสำคัญของคุณลักษณะ (feature importance) ในตัวช่วยให้การจัดอันดับตัวแปรถูกรวมเข้ากับโมเดลโดยตรง
  • ค่าความคลาดเคลื่อนนอกถุง (out-of-bag error) ให้ค่าประมาณการตรวจสอบความถูกต้องที่ซื่อสัตย์โดยไม่ต้องผ่านกระบวนการ cross-validation แยกต่างหาก
  • ข้อสมมติฐานน้อย: ไม่ต้องการการกระจายตัวแบบปกติ และจัดการกับคุณลักษณะผสมและปฏิสัมพันธ์แบบไม่เชิงเส้น

การประยุกต์ใช้

  • การจำแนกประเภทและการถดถอยบนข้อมูลตารางที่มีคุณลักษณะจำนวนมาก
  • การเลือกและการจัดอันดับตัวแปรผ่านการวัดความสำคัญของคุณลักษณะในตัว
  • การประเมินความเสี่ยงและการทำนายที่ความแข็งแกร่งมีความสำคัญมากกว่าค่าสัมประสิทธิ์ที่ชัดเจน
  • การสร้างโมเดลพื้นฐานก่อนที่จะลองใช้กลุ่มต้นไม้ที่ซับซ้อนกว่า เช่น gradient boosting

วิธีการทำงาน

วิธีการทำงาน

1

มีการสุ่มตัวอย่าง bootstrap จำนวนมากจากชุดข้อมูลฝึกสอน โดยแต่ละตัวอย่างเป็นการสุ่มเลือกแบบใส่คืน (with replacement) ดังนั้นต้นไม้จึงเห็นข้อมูลที่แตกต่างกันเล็กน้อย ข้อมูลที่ไม่ได้ถูกเลือกในตัวอย่างใดตัวอย่างหนึ่ง (ชุดนอกถุง - out-of-bag set) จะให้ค่าประมาณการตรวจสอบความถูกต้องในตัวโดยไม่ต้องใช้ชุดข้อมูลสำรองแยกต่างหาก

2

ในการแบ่งแต่ละครั้งของต้นไม้แต่ละต้น จะมีการพิจารณาเฉพาะชุดย่อยแบบสุ่มของคุณลักษณะที่มีอยู่เท่านั้นที่จะถูกนำมาเป็นตัวเลือก การเลือกคุณลักษณะแบบสุ่มนี้จะลดความสัมพันธ์ระหว่างต้นไม้ (de-correlates) เพื่อไม่ให้ต้นไม้ทั้งหมดมุ่งเน้นไปที่ตัวทำนายหลักเดียวกัน ซึ่งเป็นสิ่งที่ทำให้กลุ่มต้นไม้สามารถลดความแปรปรวน (variance) ให้น้อยกว่าต้นไม้เดี่ยวๆ

3

ต้นไม้แต่ละต้นทำการทำนายของตนเอง และกลุ่มต้นไม้จะรวมผลการทำนายเหล่านั้น: การลงคะแนนเสียงข้างมากระหว่างต้นไม้สำหรับการจำแนกประเภท หรือค่าเฉลี่ยของผลลัพธ์สำหรับการถดถอย การรวมผลนี้คือสิ่งที่เปลี่ยนต้นไม้ที่มีสัญญาณรบกวนจำนวนมากให้กลายเป็นตัวทำนายที่แข็งแกร่งเพียงหนึ่งเดียว

สูตร
\hat{y} = \text{mode/mean of } T \text{ trees}

ข้อผิดพลาดที่พบบ่อย

  • การข้ามการแบ่งข้อมูลฝึก/ทดสอบ (train/test split) หรือ cross-validation และเชื่อมั่นในประสิทธิภาพภายในชุดข้อมูลฝึก
  • การละเลยความไม่สมดุลของคลาส (class imbalance) แทนที่จะถ่วงน้ำหนักคลาสใหม่ (class_weight='balanced') หรือการสุ่มตัวอย่างใหม่ (resampling)
  • การรายงานเฉพาะความแม่นยำ (accuracy) โดยไม่มี F1 และ AUC ควบคู่ไปด้วย
  • การถือว่าการจัดอันดับความสำคัญของคุณลักษณะในขนาดตัวอย่างเล็กมีความเสถียร
  • การยอมรับค่าไฮเปอร์พารามิเตอร์เริ่มต้นโดยไม่ได้ทำการปรับแต่งจำนวนต้นไม้

คำถามที่พบบ่อย

ควรมีต้นไม้ในกลุ่มต้นไม้กี่ต้น?

ต้นไม้ที่มากขึ้นช่วยลดความแปรปรวนและทำให้การลงคะแนนมีเสถียรภาพ โดยแลกมาด้วยต้นทุนด้านการประมวลผลและหน่วยความจำ จุดเริ่มต้นทั่วไปคือประมาณ 100 ต้น และเพิ่มขึ้นจนกว่าค่าความคลาดเคลื่อนนอกถุงจะไม่ดีขึ้นอีก

Random Forest เกิด Overfitting หรือไม่?

มีความทนทานสูงต่อการเกิด Overfitting เนื่องจาก bagging และการเลือกคุณลักษณะแบบสุ่มช่วยลดความสัมพันธ์ระหว่างต้นไม้และเฉลี่ยข้อผิดพลาดของต้นไม้แต่ละต้น ความเสี่ยงหลักคือการปรับให้เข้ากับต้นไม้ที่ลึกมากบนชุดข้อมูลที่เล็กมาก ซึ่งโมเดลจะเกิด Overfitting และ cross-validation จะทำให้เข้าใจผิดได้

ฉันสามารถเชื่อถือการวัดความสำคัญของคุณลักษณะได้หรือไม่?

การวัดความสำคัญของคุณลักษณะมีประโยชน์สำหรับการจัดอันดับตัวทำนาย แต่ในขนาดตัวอย่างเล็ก อาจไม่เสถียรและไม่สามารถทำซ้ำได้ ดังนั้นควรใช้การจัดอันดับในขนาดตัวอย่างเล็กด้วยความระมัดระวัง การจับคู่กับการวิเคราะห์ SHAP จะให้มุมมองที่ชัดเจนยิ่งขึ้นเกี่ยวกับการมีส่วนร่วมของคุณลักษณะแต่ละอย่าง

ฉันควรตรวจสอบอะไรก่อนและหลังการปรับโมเดล?

ก่อนอื่น ให้จัดการกับค่าที่ขาดหายไป (missing values) เข้ารหัสตัวแปรจำแนกประเภท และตั้งค่าการแบ่งข้อมูลฝึก/ทดสอบ หรือ k-fold cross-validation หลังจากนั้น ให้ประเมินค่าความคลาดเคลื่อนนอกถุง (out-of-bag error) รัน cross-validation และตรวจสอบการมีส่วนร่วมของคุณลักษณะ (เช่น ด้วย SHAP)

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.

    ISBN: 978-1-4614-7138-7
    คัดลอกแล้ว