Skip to content
กลับไปยังผลการค้นหา

ต้นไม้ตัดสินใจ

ผู้เสนอ
Breiman, Friedman, Olshen & Stone
ปี
1984
ประเภท
Recursive partitioning (if-then rules)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

ต้นไม้ตัดสินใจ (Decision Tree) เป็นวิธีการจำแนกประเภทและการถดถอยที่สามารถตีความได้ ซึ่งได้รับการจัดรูปแบบโดย Breiman, Friedman, Olshen และ Stone ในกรอบการทำงาน CART ปี 1984 โดยแบ่งข้อมูลด้วยกฎ if-then แบบลำดับชั้น แต่ละการแบ่งจะส่งการสังเกตลงไปตามกิ่งก้านสาขาหนึ่งหรืออีกกิ่งหนึ่งจนกว่าจะได้ค่าการทำนายจากใบ (leaf)

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพต้นไม้ตัดสินใจเหมือนผังงานของคำถามใช่/ไม่ใช่ เริ่มต้นจากข้อมูลทั้งหมด ต้นไม้จะถามคำถามเดียวเกี่ยวกับคุณลักษณะที่แบ่งแยกกรณีต่างๆ ได้ดีที่สุดซ้ำๆ เช่น 'อายุเกิน 40 ปีหรือไม่?' และแบ่งข้อมูลออกเป็นสองกลุ่ม มันจะแบ่งแต่ละกลุ่มต่อไปจนกว่ากรณีต่างๆ ภายในกลุ่มจะมีความคล้ายคลึงกันพอสมควร และกลุ่มสุดท้าย (ใบ) จะให้ค่าการทำนาย ลำดับของคำถามจากราก (root) ไปยังใบ (leaf) คือกฎที่ผู้อ่านทุกคนสามารถปฏิบัติตามได้

ประวัติศาสตร์

ต้นไม้ตัดสินใจได้รับการวางรากฐานที่เข้มงวดโดย Leo Breiman, Jerome Friedman, Richard Olshen และ Charles Stone ในบทความวิชาการปี 1984 เรื่อง Classification and Regression Trees ซึ่งได้นำเสนออัลกอริทึม CART และการใช้มาตรวัดความไม่บริสุทธิ์ เช่น ดัชนี Gini โครงสร้าง if-then ที่โปร่งใสทำให้ต้นไม้เป็นส่วนสำคัญของการวิเคราะห์ประยุกต์ และต่อมาได้กลายเป็นส่วนประกอบหลักของกลุ่มโมเดลที่มีประสิทธิภาพมากขึ้น — ถูกรวมเป็น Random Forests และถูกเพิ่มประสิทธิภาพใน Gradient Boosting — ซึ่งต้นไม้หลายต้นจะถูกรวมเข้าด้วยกันเพื่อเอาชนะความไม่เสถียรของต้นไม้เดี่ยวใดๆ

ควรใช้เมื่อใด

ใช้ต้นไม้ตัดสินใจเมื่อคุณต้องการโมเดลที่ตีความได้สำหรับการจำแนกประเภท การทำนาย หรือการอธิบายข้อมูลตารางแบบภาคตัดขวาง (cross-sectional tabular data) ที่มีข้อมูลอย่างน้อยประมาณ 30 การสังเกต โดยผสมผสานคุณลักษณะแบบต่อเนื่อง แบบจำแนกประเภท แบบไบนารี และแบบอันดับ ไม่จำเป็นต้องปรับขนาดคุณลักษณะ และกฎต่างๆ สื่อสารได้ง่าย ที่ข้อมูลน้อยกว่าประมาณ 30 กรณี ต้นไม้จะเกิดการเรียนรู้เกินได้ง่าย — ใบอาจมีเพียงการสังเกตเดียว — และโมเดลที่ง่ายกว่าและเสถียรกว่า เช่น การถดถอยโลจิสติก (logistic regression) หรือ Naive Bayes จะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • มีแนวโน้มที่จะเกิดการเรียนรู้เกิน เว้นแต่จะถูกตัดแต่งผ่าน max_depth หรือ min_samples_leaf
  • ในกลุ่มตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 30) ต้นไม้จะเกิดการเรียนรู้เกินได้ง่าย โดยใบอาจมีเพียงการสังเกตเดียว
  • หลังจากตัดแต่ง ต้นไม้ตัวอย่างขนาดเล็กอาจเหลือการแบ่งน้อยเกินไปที่จะมีประโยชน์ ซึ่งการถดถอยโลจิสติกมีความเสถียรกว่า
  • ต้นไม้เดี่ยวไม่เสถียร — การเปลี่ยนแปลงข้อมูลเล็กน้อยสามารถสร้างโครงสร้างที่แตกต่างกันมากได้

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ตีความได้สูง: เส้นทางจากรากไปยังใบเป็นกฎ if-then ที่ชัดเจน
  • ไม่จำเป็นต้องปรับขนาดคุณลักษณะ จัดการคุณลักษณะแบบต่อเนื่อง แบบจำแนกประเภท แบบไบนารี และแบบอันดับได้โดยตรง
  • ความยากต่ำ — เหมาะสำหรับผู้ใช้เริ่มต้น
  • ทำหน้าที่เป็นส่วนประกอบพื้นฐานของกลุ่มโมเดล (ensembles) เช่น Random Forest และ Gradient Boosting

การประยุกต์ใช้

  • การจำแนกประเภทที่ตีความได้ของข้อมูลตารางแบบภาคตัดขวาง
  • การทำนายและการแบ่งกลุ่มความเสี่ยงที่กฎที่โปร่งใสมีคุณค่า
  • การวิเคราะห์เชิงอธิบายเพื่อเปิดเผยว่าคุณลักษณะและเกณฑ์ใดที่ขับเคลื่อนผลลัพธ์
  • ตัวเรียนรู้พื้นฐานภายในกลุ่มโมเดล เช่น Random Forest และ Gradient Boosting

วิธีการทำงาน

วิธีการทำงาน

1

ที่แต่ละโหนด ต้นไม้จะค้นหาคุณลักษณะทุกอย่างและทุกเกณฑ์ที่เป็นไปได้สำหรับการแบ่งที่ปรับปรุงความบริสุทธิ์ (purity) ได้มากที่สุด — โดยทั่วไปอัลกอริทึม CART จะใช้ดัชนี Gini หรือการเพิ่มข้อมูล (information gain) สำหรับการจำแนกประเภท การแบ่งที่ให้การลดลงของความไม่บริสุทธิ์ (impurity) มากที่สุดจะถูกเลือก ดังนั้นแต่ละกิ่งจะประกอบด้วยกรณีที่มีความคล้ายคลึงกันมากกว่าก่อนหน้านี้

สูตร
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
2

การแบ่งที่เลือกจะถูกนำไปใช้ และกระบวนการจะทำซ้ำบนแต่ละกิ่งที่เกิดขึ้น โดยแบ่งข้อมูลซ้ำแล้วซ้ำเล่า เนื่องจากไม่จำเป็นต้องปรับขนาดคุณลักษณะ (feature scaling) คุณลักษณะแบบต่อเนื่อง แบบจำแนกประเภท แบบไบนารี และแบบอันดับ (ordinal) สามารถใช้ได้โดยตรง หากปล่อยไว้โดยไม่มีการควบคุม ต้นไม้จะเติบโตต่อไปจนกว่าใบจะเกือบจะบริสุทธิ์ — ซึ่งเป็นจุดที่การเรียนรู้เกิน (overfitting) จะเกิดขึ้น

3

เพื่อควบคุมการเรียนรู้เกิน ต้นไม้จะถูกจำกัด — โดยการจำกัดความลึก (max_depth) การกำหนดจำนวนกรณีขั้นต่ำต่อใบ (min_samples_leaf) หรือการตัดกิ่งที่เพิ่มเพียงเล็กน้อย ผลลัพธ์คือชุดกฎที่กระชับและอ่านง่าย: เส้นทางจากรากไปยังใบเป็นกฎการตัดสินใจที่โปร่งใส ซึ่งเป็นเหตุผลว่าทำไมต้นไม้ตัดสินใจจึงเหมาะสมแม้กระทั่งสำหรับผู้เริ่มต้น

ข้อผิดพลาดที่พบบ่อย

  • การทำให้ต้นไม้เติบโตจนสุดความลึกโดยไม่มีการจำกัด max_depth หรือ min_samples_leaf
  • การเชื่อถือต้นไม้ที่ลึกเพียงต้นเดียวบนข้อมูลน้อยกว่าประมาณ 30 การสังเกต
  • การอ่านต้นไม้ตัวอย่างขนาดเล็กที่เปราะบางเป็นการอธิบายข้อมูลที่เสถียร
  • การรายงานความแม่นยำภายในกลุ่มตัวอย่าง (in-sample accuracy) โดยไม่มีการแบ่งข้อมูลฝึก/ทดสอบ หรือการตรวจสอบไขว้ (cross-validation)

คำถามที่พบบ่อย

เลือกการแบ่งอย่างไร?

อัลกอริทึม CART ประเมินการแบ่งที่เป็นไปได้ทั่วทั้งคุณลักษณะและเกณฑ์ทั้งหมด และเลือกการแบ่งที่ลดความไม่บริสุทธิ์ของโหนดได้มากที่สุด ซึ่งโดยทั่วไปวัดด้วยดัชนี Gini หรือการเพิ่มข้อมูลสำหรับการจำแนกประเภท

เหตุใดต้นไม้ตัดสินใจจึงเกิดการเรียนรู้เกิน และฉันจะหยุดได้อย่างไร?

หากปล่อยให้เติบโตอย่างอิสระ ต้นไม้จะแบ่งต่อไปจนกว่าใบจะเกือบจะบริสุทธิ์ โดยจดจำสัญญาณรบกวน จำกัดมันโดยการจำกัดความลึก (max_depth) การกำหนดจำนวนกรณีขั้นต่ำต่อใบ (min_samples_leaf) หรือการตัดแต่งกิ่งที่เพิ่มเพียงเล็กน้อย

ต้องใช้ข้อมูลเท่าใด?

ตั้งเป้าไว้ที่อย่างน้อยประมาณ 30 การสังเกต ที่ต่ำกว่านั้น ต้นไม้จะเกิดการเรียนรู้เกินได้ง่าย — ใบอาจมีเพียงการสังเกตเดียว — และโมเดลที่ง่ายกว่า เช่น การถดถอยโลจิสติก หรือ Naive Bayes จะเสถียรกว่า

ต้นไม้ตัดสินใจเกี่ยวข้องกับ Random Forest อย่างไร?

ต้นไม้ตัดสินใจเดี่ยวเป็นส่วนประกอบพื้นฐานของกลุ่มโมเดล: Random Forest สร้างต้นไม้จำนวนมากบนข้อมูลที่สุ่มตัวอย่างใหม่และรวมคะแนนของพวกมัน และ Gradient Boosting สร้างต้นไม้ตามลำดับ — ทั้งสองอย่างแลกเปลี่ยนความโปร่งใสของต้นไม้เดี่ยวเพื่อความแม่นยำและความเสถียรที่มากขึ้น

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว