الانتقال إلى المحتوى
العودة إلى نتائج البحث

شجرة القرار (Decision Tree)

قدّمه
Breiman, Friedman, Olshen & Stone
السنة
1984
النوع
Recursive partitioning (if-then rules)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

شجرة القرار هي طريقة تفسيرية للتصنيف والانحدار، صاغها بريمان وفريدمان وأولشين وستون في إطار عمل CART الخاص بهم عام 1984، والتي تقسم البيانات باستخدام قواعد هرمية "إذا-إذن". كل انقسام يرسل الملاحظات عبر فرع أو آخر حتى يتم قراءة التنبؤ من الورقة.

الفكرة الحدسية وراء الطريقة

فكر في شجرة القرار على أنها مخطط انسيابي لأسئلة "نعم/لا". بدءًا من جميع البيانات، تطرح الشجرة بشكل متكرر سؤالًا واحدًا حول ميزة واحدة تفصل الحالات بشكل أفضل - على سبيل المثال، "هل العمر فوق 40؟" - وتقسم البيانات إلى مجموعتين. تستمر في تقسيم كل مجموعة حتى تصبح الحالات بداخلها متجانسة بشكل معقول، وتعطي المجموعات النهائية (الأوراق) التنبؤ. سلسلة الأسئلة من الجذر إلى الورقة هي قاعدة يمكن لأي قارئ اتباعها.

التاريخ

وضعت أشجار القرار على أساس صارم من قبل ليو بريمان وجيروم فريدمان وريتشارد أولشين وتشارلز ستون في أطروحتهم عام 1984 "تصنيف أشجار الانحدار" (Classification and Regression Trees)، والتي قدمت خوارزمية CART واستخدامها لمقاييس عدم النقاوة مثل مؤشر جيني (Gini index). الهيكل الشفاف "إذا-إذن" جعل الأشجار عنصرًا أساسيًا في التحليل التطبيقي، وأصبحت لاحقًا اللبنة الأساسية للمجموعات الأكثر قوة - مجمعة في الغابات العشوائية (Random Forests) ومعززة في تعزيز التدرج (Gradient Boosting) - حيث يتم دمج العديد من الأشجار للتغلب على عدم استقرار أي شجرة بمفردها.

متى تُستخدم

استخدم شجرة قرار عندما تريد نموذجًا تفسيريًا للتصنيف أو التنبؤ أو الشرح على بيانات جدولية مقطعية مع حوالي 30 ملاحظة على الأقل، وتمزج بين الميزات المستمرة والفئوية والثنائية والترتيبية. لا حاجة لقياس الميزات والقواعد سهلة التواصل. أقل من حوالي 30 حالة، يحدث الإفراط في التجهيز بسهولة - يمكن أن تحتوي الأوراق على ملاحظة واحدة - ويكون نموذج أبسط وأكثر استقرارًا مثل الانحدار اللوجستي أو نايف بايز (naive Bayes) أكثر أمانًا.

الحدود والاعتبارات

  • عرضة للإفراط في التجهيز ما لم يتم تقليمها عبر max_depth أو min_samples_leaf.
  • على العينات الصغيرة (n أقل من حوالي 30) يحدث الإفراط في التجهيز بسهولة، مع أوراق قد تحتوي على ملاحظة واحدة.
  • بعد التقليم، قد تحتفظ شجرة العينة الصغيرة بعدد قليل جدًا من الانقسامات لتكون مفيدة، حيث يكون الانحدار اللوجستي أكثر استقرارًا.
  • شجرة واحدة غير مستقرة - التغييرات الصغيرة في البيانات يمكن أن تنتج هيكلًا مختلفًا جدًا.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • قابلة للتفسير بدرجة عالية: المسار من الجذر إلى الورقة هو قاعدة "إذا-إذن" واضحة.
  • لا يلزم قياس الميزات؛ تتعامل مع الميزات المستمرة والفئوية والثنائية والترتيبية مباشرة.
  • صعوبة منخفضة - مناسبة حتى للمستخدمين المبتدئين.
  • تعمل كأساس للمجموعات مثل الغابات العشوائية (Random Forest) وتعزيز التدرج (Gradient Boosting).

التطبيقات

  • تصنيف تفسيري للبيانات الجدولية المقطعية.
  • التنبؤ وتقسيم المخاطر حيث تُقدر القواعد الشفافة.
  • التحليل التفسيري للكشف عن الميزات والعتبات التي تدفع النتيجة.
  • متعلم أساسي داخل المجموعات مثل الغابات العشوائية (Random Forest) وتعزيز التدرج (Gradient Boosting).

كيف يعمل

كيف يعمل

1

عند كل عقدة، تبحث الشجرة في كل ميزة وكل عتبة ممكنة للانقسام الذي يحسن النقاوة بأكبر قدر - خوارزمية CART تستخدم عادةً مؤشر جيني (Gini index) أو اكتساب المعلومات (information gain) للتصنيف. يتم اختيار الانقسام الذي ينتج عنه أكبر انخفاض في عدم النقاوة، لذلك يحتوي كل فرع على حالات أكثر تشابهًا من ذي قبل.

الصيغة
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
2

يتم تطبيق الانقسام المختار ويتكرر الإجراء على كل فرع ناتج، مقسمًا البيانات مرارًا وتكرارًا. نظرًا لعدم الحاجة إلى قياس الميزات، يمكن استخدام الميزات المستمرة والفئوية والثنائية والترتيبية مباشرة. إذا تُركت دون رقابة، تستمر الشجرة في النمو حتى تصبح الأوراق نقية تقريبًا - وهذا بالضبط حيث يتسلل الإفراط في التجهيز (overfitting).

3

للتحكم في الإفراط في التجهيز، يتم تقييد الشجرة - عن طريق تحديد العمق الأقصى (max_depth)، أو طلب الحد الأدنى لعدد الحالات لكل ورقة (min_samples_leaf)، أو تقليم الفروع التي تضيف القليل. النتيجة هي مجموعة مدمجة من القواعد القابلة للقراءة: المسار من الجذر إلى الورقة هو قاعدة قرار شفافة، وهذا هو السبب في أن أشجار القرار مناسبة تمامًا حتى للمبتدئين.

الأخطاء الشائعة

  • نمو الشجرة إلى عمق كامل دون تحديد max_depth أو min_samples_leaf.
  • الثقة في شجرة عميقة واحدة على أقل من حوالي 30 ملاحظة.
  • قراءة شجرة عينة صغيرة هشة كتفسير مستقر للبيانات.
  • الإبلاغ عن دقة داخل العينة (in-sample accuracy) بدون تقسيم تدريب/اختبار أو التحقق المتقاطع (cross-validation).

الأسئلة الشائعة

كيف يتم اختيار الانقسام؟

تقوم خوارزمية CART بتقييم الانقسامات المرشحة عبر جميع الميزات والعتبات وتختار الانقسام الذي يقلل من عدم نقاوة العقدة بأكبر قدر، ويُقاس عادةً بمؤشر جيني (Gini index) أو اكتساب المعلومات (information gain) للتصنيف.

لماذا تحدث الإفراط في التجهيز لشجرة القرار، وكيف أتوقف عنه؟

إذا تُركت الشجرة لتنمو بحرية، فإنها تستمر في الانقسام حتى تصبح الأوراق نقية تقريبًا، وتتذكر الضوضاء. قيدها عن طريق تحديد العمق الأقصى (max_depth)، أو طلب الحد الأدنى لعدد الحالات لكل ورقة (min_samples_leaf)، أو تقليم الفروع التي تضيف القليل.

كم أحتاج من البيانات؟

استهدف حوالي 30 ملاحظة على الأقل. أقل من ذلك، يحدث الإفراط في التجهيز بسهولة - يمكن أن تحتوي الأوراق على حالة واحدة - ويكون نموذج أبسط مثل الانحدار اللوجستي أو نايف بايز (naive Bayes) أكثر استقرارًا.

كيف ترتبط شجرة القرار بالغابات العشوائية (Random Forest)؟

شجرة القرار الواحدة هي اللبنة الأساسية للمجموعات: تنمو الغابات العشوائية (Random Forest) العديد من الأشجار على بيانات معاد أخذ عينات منها وتجمع أصواتها، ويبني تعزيز التدرج (Gradient Boosting) الأشجار بشكل تسلسلي - كلاهما يتاجر بشفافية الشجرة الواحدة مقابل دقة واستقرار أكبر.

طرق ذات صلة

المصادر

  1. Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.

    افتح مرجع DOI
    تم النسخ.