Random Forest
- ผู้เสนอ
- Breiman, L.
- ปี
- 2001
- ประเภท
- Ensemble (bagging of decision trees)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Random Forest เป็นวิธีการเรียนรู้แบบรวมกลุ่ม (ensemble learning method) ที่ Leo Breiman นำเสนอในปี 2001 โดยสร้างต้นไม้ตัดสินใจ (decision trees) จำนวนมากจากตัวอย่าง bootstrap ของข้อมูล และรวมผลการลงคะแนนของต้นไม้เหล่านั้นเพื่อจำแนกประเภท (classification) และการถดถอย (regression) ที่มีความแม่นยำและเสถียรภาพสูง การรวมต้นไม้หลายๆ ต้นที่แตกต่างกันเล็กน้อยเข้าด้วยกัน ทำให้ได้การทำนายที่แม่นยำและเสถียรกว่าต้นไม้เดี่ยวๆ
แนวคิดเบื้องหลังวิธีการ
ต้นไม้ตัดสินใจเดี่ยวๆ ที่เติบโตอย่างลึกซึ้งจะปรับให้เข้ากับข้อมูลฝึกสอนได้อย่างใกล้ชิด แต่ขาดเสถียรภาพ: การเปลี่ยนแปลงเล็กน้อยในข้อมูลอาจทำให้เกิดต้นไม้ที่แตกต่างกันอย่างมาก Random Forest แก้ปัญหานี้โดยการสร้างต้นไม้จำนวนมาก โดยแต่ละต้นจะใช้มุมมองข้อมูลที่สุ่มและแตกต่างกันเล็กน้อย และให้ต้นไม้เหล่านั้นลงคะแนน ข้อผิดพลาดของต้นไม้แต่ละต้นมีแนวโน้มที่จะหักล้างกัน ดังนั้นการทำนายที่รวมกันจึงน่าเชื่อถือมากกว่าต้นไม้เดี่ยวๆ
ประวัติศาสตร์
Random Forest ถูกเสนอโดย Leo Breiman ในปี 2001 โดยผสมผสาน bootstrap aggregation เข้ากับการเลือกคุณลักษณะแบบสุ่มในแต่ละการแบ่ง กลายเป็นหนึ่งในวิธีการเรียนรู้ของเครื่อง (machine-learning methods) ที่ใช้กันอย่างแพร่หลายและน่าเชื่อถือที่สุดสำหรับข้อมูลตาราง และเป็นข้อมูลอ้างอิงมาตรฐานในตำราต่างๆ เช่น An Introduction to Statistical Learning (บทที่ 8) เมื่อเร็วๆ นี้ เครื่องมือต่างๆ เช่น SHAP values ได้ทำให้ความสามารถในการตีความใกล้เคียงกับ logistic regression มากขึ้น ซึ่งช่วยเพิ่มการยอมรับในสาขาสังคมศาสตร์
ควรใช้เมื่อใด
เหมาะสมสำหรับการจำแนกประเภท การถดถอย หรือการทำนายที่แม่นยำและแข็งแกร่งบนข้อมูลตาราง (tabular data) ที่มีคุณลักษณะจำนวนมาก ซึ่งอาจมีความสัมพันธ์แบบไม่เชิงเส้นและมีปฏิสัมพันธ์กัน และมีข้อมูลอย่างน้อยประมาณ 50 รายการ เมื่อประสิทธิภาพการทำนายมีความสำคัญมากกว่าการรายงานค่าสัมประสิทธิ์ที่ชัดเจน Random Forest มีข้อสมมติฐานน้อย: ไม่ต้องการข้อมูลที่กระจายตัวแบบปกติ (normally distributed) และจัดการกับคุณลักษณะแบบต่อเนื่อง (continuous) แบบจำแนกประเภท (categorical) แบบสองค่า (binary) แบบอันดับ (ordinal) และแบบนับ (count) แนะนำให้ปรับแต่งไฮเปอร์พารามิเตอร์ (hyperparameter tuning) เมื่อขนาดตัวอย่างน้อยกว่าประมาณ 50 โมเดลที่ง่ายกว่า เช่น logistic regression หรือ linear regression จะปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ไม่มีค่าสัมประสิทธิ์ให้ตีความ ลักษณะแบบกล่องดำ (black-box nature) อาจขัดแย้งกับผู้ตรวจสอบที่คาดหวังผลกระทบที่ชัดเจน
- แนะนำให้ปรับแต่งไฮเปอร์พารามิเตอร์ และกลุ่มต้นไม้ขนาดใหญ่ต้องใช้หน่วยความจำและพลังประมวลผลมาก
- สำหรับตัวอย่างขนาดเล็ก (n น้อยกว่าประมาณ 50) ต้นไม้จำนวนมากจะเกิด Overfitting และผลการ cross-validation จะทำให้เข้าใจผิดได้
- ค่าประมาณความสำคัญของคุณลักษณะอาจไม่เสถียรและไม่สามารถทำซ้ำได้ในขนาดตัวอย่างเล็ก
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ความแม่นยำสูงที่พร้อมใช้งานทันทีบนข้อมูลตาราง ทั้งสำหรับการจำแนกประเภทและการถดถอย
- ทนทานต่อการเกิด Overfitting (การปรับให้เข้ากับข้อมูลฝึกสอนมากเกินไป) ด้วยการใช้ bagging ร่วมกับการเลือกคุณลักษณะแบบสุ่มในแต่ละการแบ่ง
- การวัดความสำคัญของคุณลักษณะ (feature importance) ในตัวช่วยให้การจัดอันดับตัวแปรถูกรวมเข้ากับโมเดลโดยตรง
- ค่าความคลาดเคลื่อนนอกถุง (out-of-bag error) ให้ค่าประมาณการตรวจสอบความถูกต้องที่ซื่อสัตย์โดยไม่ต้องผ่านกระบวนการ cross-validation แยกต่างหาก
- ข้อสมมติฐานน้อย: ไม่ต้องการการกระจายตัวแบบปกติ และจัดการกับคุณลักษณะผสมและปฏิสัมพันธ์แบบไม่เชิงเส้น
การประยุกต์ใช้
- การจำแนกประเภทและการถดถอยบนข้อมูลตารางที่มีคุณลักษณะจำนวนมาก
- การเลือกและการจัดอันดับตัวแปรผ่านการวัดความสำคัญของคุณลักษณะในตัว
- การประเมินความเสี่ยงและการทำนายที่ความแข็งแกร่งมีความสำคัญมากกว่าค่าสัมประสิทธิ์ที่ชัดเจน
- การสร้างโมเดลพื้นฐานก่อนที่จะลองใช้กลุ่มต้นไม้ที่ซับซ้อนกว่า เช่น gradient boosting
วิธีการทำงาน
วิธีการทำงาน
มีการสุ่มตัวอย่าง bootstrap จำนวนมากจากชุดข้อมูลฝึกสอน โดยแต่ละตัวอย่างเป็นการสุ่มเลือกแบบใส่คืน (with replacement) ดังนั้นต้นไม้จึงเห็นข้อมูลที่แตกต่างกันเล็กน้อย ข้อมูลที่ไม่ได้ถูกเลือกในตัวอย่างใดตัวอย่างหนึ่ง (ชุดนอกถุง - out-of-bag set) จะให้ค่าประมาณการตรวจสอบความถูกต้องในตัวโดยไม่ต้องใช้ชุดข้อมูลสำรองแยกต่างหาก
ในการแบ่งแต่ละครั้งของต้นไม้แต่ละต้น จะมีการพิจารณาเฉพาะชุดย่อยแบบสุ่มของคุณลักษณะที่มีอยู่เท่านั้นที่จะถูกนำมาเป็นตัวเลือก การเลือกคุณลักษณะแบบสุ่มนี้จะลดความสัมพันธ์ระหว่างต้นไม้ (de-correlates) เพื่อไม่ให้ต้นไม้ทั้งหมดมุ่งเน้นไปที่ตัวทำนายหลักเดียวกัน ซึ่งเป็นสิ่งที่ทำให้กลุ่มต้นไม้สามารถลดความแปรปรวน (variance) ให้น้อยกว่าต้นไม้เดี่ยวๆ
ต้นไม้แต่ละต้นทำการทำนายของตนเอง และกลุ่มต้นไม้จะรวมผลการทำนายเหล่านั้น: การลงคะแนนเสียงข้างมากระหว่างต้นไม้สำหรับการจำแนกประเภท หรือค่าเฉลี่ยของผลลัพธ์สำหรับการถดถอย การรวมผลนี้คือสิ่งที่เปลี่ยนต้นไม้ที่มีสัญญาณรบกวนจำนวนมากให้กลายเป็นตัวทำนายที่แข็งแกร่งเพียงหนึ่งเดียว
สูตร
\hat{y} = \text{mode/mean of } T \text{ trees}ข้อผิดพลาดที่พบบ่อย
- การข้ามการแบ่งข้อมูลฝึก/ทดสอบ (train/test split) หรือ cross-validation และเชื่อมั่นในประสิทธิภาพภายในชุดข้อมูลฝึก
- การละเลยความไม่สมดุลของคลาส (class imbalance) แทนที่จะถ่วงน้ำหนักคลาสใหม่ (class_weight='balanced') หรือการสุ่มตัวอย่างใหม่ (resampling)
- การรายงานเฉพาะความแม่นยำ (accuracy) โดยไม่มี F1 และ AUC ควบคู่ไปด้วย
- การถือว่าการจัดอันดับความสำคัญของคุณลักษณะในขนาดตัวอย่างเล็กมีความเสถียร
- การยอมรับค่าไฮเปอร์พารามิเตอร์เริ่มต้นโดยไม่ได้ทำการปรับแต่งจำนวนต้นไม้
คำถามที่พบบ่อย
ควรมีต้นไม้ในกลุ่มต้นไม้กี่ต้น?
ต้นไม้ที่มากขึ้นช่วยลดความแปรปรวนและทำให้การลงคะแนนมีเสถียรภาพ โดยแลกมาด้วยต้นทุนด้านการประมวลผลและหน่วยความจำ จุดเริ่มต้นทั่วไปคือประมาณ 100 ต้น และเพิ่มขึ้นจนกว่าค่าความคลาดเคลื่อนนอกถุงจะไม่ดีขึ้นอีก
Random Forest เกิด Overfitting หรือไม่?
มีความทนทานสูงต่อการเกิด Overfitting เนื่องจาก bagging และการเลือกคุณลักษณะแบบสุ่มช่วยลดความสัมพันธ์ระหว่างต้นไม้และเฉลี่ยข้อผิดพลาดของต้นไม้แต่ละต้น ความเสี่ยงหลักคือการปรับให้เข้ากับต้นไม้ที่ลึกมากบนชุดข้อมูลที่เล็กมาก ซึ่งโมเดลจะเกิด Overfitting และ cross-validation จะทำให้เข้าใจผิดได้
ฉันสามารถเชื่อถือการวัดความสำคัญของคุณลักษณะได้หรือไม่?
การวัดความสำคัญของคุณลักษณะมีประโยชน์สำหรับการจัดอันดับตัวทำนาย แต่ในขนาดตัวอย่างเล็ก อาจไม่เสถียรและไม่สามารถทำซ้ำได้ ดังนั้นควรใช้การจัดอันดับในขนาดตัวอย่างเล็กด้วยความระมัดระวัง การจับคู่กับการวิเคราะห์ SHAP จะให้มุมมองที่ชัดเจนยิ่งขึ้นเกี่ยวกับการมีส่วนร่วมของคุณลักษณะแต่ละอย่าง
ฉันควรตรวจสอบอะไรก่อนและหลังการปรับโมเดล?
ก่อนอื่น ให้จัดการกับค่าที่ขาดหายไป (missing values) เข้ารหัสตัวแปรจำแนกประเภท และตั้งค่าการแบ่งข้อมูลฝึก/ทดสอบ หรือ k-fold cross-validation หลังจากนั้น ให้ประเมินค่าความคลาดเคลื่อนนอกถุง (out-of-bag error) รัน cross-validation และตรวจสอบการมีส่วนร่วมของคุณลักษณะ (เช่น ด้วย SHAP)
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วJames, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ISBN: 978-1-4614-7138-7คัดลอกแล้ว