Extra Trees
- ผู้เสนอ
- Geurts, P.; Ernst, D.; Wehenkel, L.
- ปี
- 2006
- ประเภท
- Ensemble (extremely randomized decision trees)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Extra Trees (Extremely Randomized Trees) ซึ่งถูกนำเสนอโดย Geurts, Ernst และ Wehenkel ในปี 2006 เป็นวิธีการแบบกลุ่มของต้นไม้ตัดสินใจ (decision trees) ที่เพิ่มการสุ่ม (randomisation) ให้มากขึ้นกว่า Random Forest โดยทั้งคุณลักษณะที่ใช้ในการแบ่ง (candidate features) และเกณฑ์การแบ่ง (split thresholds) จะถูกเลือกแบบสุ่มทั้งหมดในแต่ละโหนด ซึ่งช่วยขจัดกระบวนการค้นหาแบบละโมบ (greedy search) สำหรับเกณฑ์การแบ่ง การสุ่มที่เพิ่มขึ้นนี้ช่วยลดความแปรปรวน (variance) มักจะให้ความแม่นยำเทียบเท่าหรือดีกว่า Random Forest และทำงานได้เร็วกว่าอย่างมีนัยสำคัญในระหว่างการฝึกฝน
แนวคิดเบื้องหลังวิธีการ
Random Forest ลดความสัมพันธ์ระหว่างต้นไม้ (de-correlates trees) ด้วยการสุ่มเลือกคุณลักษณะในแต่ละการแบ่ง แต่ยังคงค้นหาเกณฑ์การแบ่งที่ดีที่สุดในบรรดาคุณลักษณะเหล่านั้น Extra Trees ก้าวไปอีกขั้น: สำหรับคุณลักษณะที่ใช้ในการพิจารณาแต่ละรายการ จะเลือกเกณฑ์การแบ่งแบบสุ่ม แทนที่จะปรับให้เหมาะสม ในตอนแรกอาจฟังดูเหมือนว่าจะส่งผลเสียต่อความแม่นยำ แต่เนื่องจากต้นไม้ที่ได้มีความสัมพันธ์กันน้อยลงไปอีก ค่าเฉลี่ยของกลุ่มจะช่วยหักล้างความแปรปรวนได้มากขึ้น การสูญเสียจากเกณฑ์การแบ่งที่ไม่ดีเพียงเล็กน้อยจะน้อยมากเมื่อเฉลี่ยจากต้นไม้จำนวนมาก และการเพิ่มความเร็วจากการไม่ต้องค้นหาเกณฑ์การแบ่งที่เหมาะสมนั้นมีนัยสำคัญ
ประวัติศาสตร์
Extra Trees ถูกเสนอโดย Pierre Geurts, Damien Ernst และ Louis Wehenkel ในบทความ Machine Learning ปี 2006 ผู้เขียนแสดงให้เห็นว่าการเพิ่มการสุ่มแบบเต็มที่ของเกณฑ์การแบ่ง (split thresholds) — แทนที่จะค้นหาจุดตัดที่เหมาะสมที่สุด — ช่วยลดความแปรปรวนได้อย่างมีนัยสำคัญ ในขณะที่แลกเปลี่ยนกับการเพิ่มขึ้นเล็กน้อยของความเอนเอียง วิธีการนี้ได้กลายเป็นทางเลือกมาตรฐานแทน Random Forest ในระบบนิเวศของ scikit-learn และถูกใช้อย่างแพร่หลายในฐานะ baseline ที่รวดเร็วและมีความแม่นยำสูงสำหรับการเปรียบเทียบข้อมูลแบบตาราง
ควรใช้เมื่อใด
ใช้ Extra Trees เมื่อคุณต้องการการฝึกฝนที่รวดเร็วและความแม่นยำสูงบนข้อมูลแบบตาราง (tabular data) ที่มีคุณลักษณะแบบต่อเนื่องหรือผสมประเภท มีประโยชน์อย่างยิ่งเมื่อเวลาในการฝึกฝนเป็นข้อจำกัด — การตัดการปรับเกณฑ์การแบ่งให้เหมาะสมออกไปทำให้เร็วกว่า Random Forest อย่างมีนัยสำคัญ โดยให้ความแม่นยำที่ใกล้เคียงกัน เหมาะสำหรับงานจำแนกประเภทและงานถดถอยที่มีข้อมูลขนาดปานกลางถึงใหญ่ (ประมาณ 50 หรือมากกว่า) ควรเลือก Random Forest หรือ gradient boosting หากคุณต้องการการประมาณค่าแบบนอกกลุ่มตัวอย่าง (out-of-bag estimates) ในตัว หรือหากข้อมูลมีสัญญาณรบกวนสูงมาก และคุณสงสัยว่าเกณฑ์การแบ่งแบบสุ่มทั้งหมดจะส่งผลเสียต่อความแม่นยำ สำหรับชุดข้อมูลขนาดเล็กมาก โมเดลที่ง่ายกว่า เช่น logistic regression หรือ decision tree เดี่ยวๆ จะปลอดภัยกว่าและตีความได้ง่ายกว่า
ข้อจำกัดและข้อควรพิจารณา
- ไม่มีการประมาณค่าแบบนอกกลุ่มตัวอย่าง (out-of-bag estimate) ในตัว (แตกต่างจาก Random Forest) ดังนั้นจึงจำเป็นต้องใช้การตรวจสอบไขว้ (cross-validation) เพื่อการประเมินข้อผิดพลาดที่เที่ยงตรง
- เกณฑ์การแบ่งแบบสุ่มทั้งหมดอาจส่งผลเสียต่อข้อมูลที่มีสัญญาณรบกวนสูงมาก ซึ่งเกณฑ์การแบ่งที่เหมาะสมมีความสำคัญ
- กล่องดำ (Black-box): ไม่ได้ให้ค่าสัมประสิทธิ์ที่ชัดเจน จำกัดความสามารถในการตีความสำหรับผู้ที่คาดหวังขนาดของผลกระทบ
- การใช้หน่วยความจำเพิ่มขึ้นตามจำนวนต้นไม้และความลึกของต้นไม้
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- การฝึกฝนเร็วกว่า Random Forest เนื่องจากไม่มีการปรับเกณฑ์การแบ่งให้เหมาะสมที่แต่ละการแบ่ง
- ความหลากหลายสูงระหว่างต้นไม้ นำไปสู่การลดความแปรปรวนที่แข็งแกร่ง และมักจะให้ความแม่นยำเทียบเท่าหรือดีกว่า Random Forest
- จัดการกับประเภทคุณลักษณะผสมและปฏิสัมพันธ์ที่ไม่เป็นเชิงเส้น (nonlinear interactions) โดยไม่มีข้อสมมติฐานในการประมวลผลลื้องต้น
- ให้ค่าความสำคัญของคุณลักษณะ (feature importances) ในตัวสำหรับการจัดอันดับและการเลือกตัวแปร
- ปรับขนาดได้ดีกับข้อมูลที่มีมิติสูง (high-dimensional data) ซึ่งมีคุณลักษณะที่ไม่เกี่ยวข้องจำนวนมาก
การประยุกต์ใช้
- Baseline การจำแนกประเภทและถดถอยที่รวดเร็วบนข้อมูลแบบตาราง
- การเลือกคุณลักษณะและการจัดอันดับความสำคัญในชุดข้อมูลที่มีมิติสูง
- การสร้างแบบจำลองเชิงคาดการณ์ (predictive modelling) ในชีวสารสนเทศศาสตร์ (bioinformatics), การรับรู้จากระยะไกล (remote sensing) และการวิเคราะห์ข้อมูลเซ็นเซอร์
- การค้นหา hyperparameter ในไปป์ไลน์ (pipeline) ที่ความเร็วในการฝึกฝนมีความสำคัญอย่างยิ่ง
- สถานการณ์ข้อมูลขนาดใหญ่ที่เวลาในการฝึกฝนของ Random Forest เป็นไปไม่ได้
วิธีการทำงาน
วิธีการทำงาน
แตกต่างจาก Random Forest โดยค่าเริ่มต้น Extra Trees จะฝึกฝนต้นไม้แต่ละต้นด้วยชุดข้อมูลฝึกฝนทั้งหมด แทนที่จะใช้ตัวอย่างแบบ bootstrap ซึ่งช่วยลดความเอนเอียง (bias) ที่เกิดจากการสุ่มตัวอย่าง แต่หมายความว่าไม่มีชุดข้อมูลนอกกลุ่มตัวอย่าง (out-of-bag set) ในตัว ดังนั้นจึงจำเป็นต้องใช้การตรวจสอบไขว้ (cross-validation) เพื่อการประเมินข้อผิดพลาดที่เที่ยงตรง
ที่แต่ละโหนดภายใน จะมีการสุ่มเลือกชุดย่อยของคุณลักษณะ สำหรับคุณลักษณะที่ใช้ในการพิจารณาแต่ละรายการ จะมีการสุ่มเลือกเกณฑ์การแบ่งจากช่วงค่าที่สังเกตได้ของคุณลักษณะนั้นๆ แบบสุ่มอย่างสม่ำเสมอ (uniformly at random) โดยไม่มีการค้นหาจุดตัดที่เหมาะสมที่สุด จะมีการเลือกคู่คุณลักษณะ-เกณฑ์การแบ่งที่ให้คะแนนดีที่สุด (เช่น การลดลงของ Gini impurity) จากบรรดาตัวเลือกแบบสุ่มเหล่านั้น
ต้นไม้จะถูกสร้างจนถึงความลึกสูงสุด (full depth) โดยค่าเริ่มต้น ซึ่งหมายความว่าใบ (leaves) มีความบริสุทธิ์มากที่สุดเท่าที่จะเป็นไปได้ ความลึกสูงสุด ร่วมกับการแบ่งแบบสุ่ม เป็นสิ่งที่ขับเคลื่อนการลดความแปรปรวนในกลุ่ม: ต้นไม้แต่ละต้นมีความแปรปรวนสูง แต่มีความหลากหลายสูง
การทำนายจากต้นไม้ทั้งหมดจะถูกรวมเข้าด้วยกัน: การลงคะแนนเสียงส่วนใหญ่ (majority vote) สำหรับการจำแนกประเภท (classification) และค่าเฉลี่ย (mean output) สำหรับการถดถอย (regression) ความหลากหลายที่แข็งแกร่งระหว่างต้นไม้หมายความว่าข้อผิดพลาดของแต่ละต้นมีแนวโน้มที่จะหักล้างกัน ทำให้กลุ่มมีความเสถียรมากกว่าต้นไม้เดี่ยวๆ
สูตร
\hat{y} = \text{mode/mean of } T \text{ trees}ข้อผิดพลาดที่พบบ่อย
- การข้ามการตรวจสอบไขว้และการพึ่งพาความแม่นยำภายในชุดข้อมูล (in-sample accuracy) เนื่องจากไม่มีการประมาณค่า OOB ในตัวโดยค่าเริ่มต้น
- การละเลยความไม่สมดุลของคลาส (class imbalance) — ใช้ class_weight='balanced' หรือการสุ่มตัวอย่างใหม่ (resampling) ก่อนทำการ fit
- การรายงานเฉพาะความแม่นยำโดยไม่มีเมตริกเสริม เช่น F1, AUC หรือ RMSE
- การปฏิบัติต่อการจัดอันดับความสำคัญของคุณลักษณะว่ามีความเสถียร โดยไม่ได้ตรวจสอบความสามารถในการทำซ้ำ (reproducibility) ข้าม seed
คำถามที่พบบ่อย
Extra Trees แตกต่างจาก Random Forest อย่างไร?
ทั้งสองเป็นกลุ่มของต้นไม้ตัดสินใจที่มีชุดย่อยของคุณลักษณะแบบสุ่มในการแบ่งแต่ละครั้ง ความแตกต่างที่สำคัญคือ Extra Trees เลือกเกณฑ์การแบ่งแบบสุ่มทั้งหมด แทนที่จะปรับให้เหมาะสม และโดยค่าเริ่มต้นจะฝึกด้วยชุดข้อมูลฝึกฝนทั้งหมด แทนที่จะใช้ตัวอย่าง bootstrap ซึ่งทำให้ Extra Trees เร็วกว่า และโดยทั่วไปจะสร้างต้นไม้ที่มีความหลากหลายมากกว่าและมีความสัมพันธ์กันน้อยกว่า
ฉันควรเลือก Extra Trees หรือ Random Forest?
เมื่อความเร็วในการฝึกฝนมีความสำคัญ หรือข้อมูลค่อนข้างสะอาด Extra Trees มักจะให้ความแม่นยำเทียบเท่าหรือดีกว่า Random Forest ด้วยต้นทุนการคำนวณที่ต่ำกว่า หากคุณต้องการการประมาณค่าแบบนอกกลุ่มตัวอย่าง (out-of-bag estimate) ในตัว หรือข้อมูลของคุณมีสัญญาณรบกวน (ซึ่งเกณฑ์การแบ่งที่ดีกว่าจะช่วยได้) Random Forest จะปลอดภัยกว่า
ต้องใช้ต้นไม้กี่ต้น?
เริ่มต้นด้วย 100 ต้น และเพิ่มขึ้นจนกว่าประสิทธิภาพจะคงที่บนชุดข้อมูลตรวจสอบ (validation set) หรือในการตรวจสอบไขว้ (cross-validation) ต้นไม้ที่มากขึ้นช่วยเพิ่มเสถียรภาพ แต่เพิ่มการใช้หน่วยความจำและเวลาในการทำนาย
Extra Trees เกิดการเรียนรู้เกินพอ (overfit) หรือไม่?
ต้นไม้แต่ละต้นถูกสร้างจนถึงความลึกสูงสุด และสามารถเกิดการเรียนรู้เกินพอได้เมื่ออยู่เดี่ยวๆ แต่ค่าเฉลี่ยของกลุ่มช่วยลดความแปรปรวนได้อย่างมาก โดยทั่วไปการเรียนรู้เกินพอของกลุ่มทั้งหมดนั้นเกิดขึ้นได้ยาก แม้ว่าในชุดข้อมูลขนาดเล็กมากที่มีคุณลักษณะจำนวนมากก็ยังสามารถเกิดขึ้นได้
ฉันจะประเมินประสิทธิภาพของโมเดลได้อย่างไรหากไม่มีชุด OOB?
ใช้การตรวจสอบไขว้แบบ k-fold — โดยทั่วไปคือ 5 หรือ 10 folds ประเมินงานจำแนกประเภทด้วย accuracy, F1 และ AUC; ประเมินงานถดถอยด้วย RMSE และ R-squared
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วExtra-Trees. Wikipedia.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว