الانتقال إلى المحتوى
العودة إلى نتائج البحث

الأشجار الإضافية (Extra Trees)

قدّمه
Geurts, P.; Ernst, D.; Wehenkel, L.
السنة
2006
النوع
Ensemble (extremely randomized decision trees)
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تُعد الأشجار الإضافية (Extra Trees)، التي قدمها غيرتس وإرنست ويهينكل في عام 2006، تجميعة من أشجار القرار التي تدفع العشوائية إلى أبعد من الغابات العشوائية (Random Forest). تُختار كل من السمات المرشحة وعتبات التقسيم بشكل عشوائي تمامًا عند كل عقدة، مما يلغي البحث الجشع عن العتبات. هذه العشوائية الإضافية تقلل التباين، وغالبًا ما تطابق أو تتجاوز دقة الغابات العشوائية، وتعمل بشكل أسرع بكثير في وقت التدريب.

الفكرة الحدسية وراء الطريقة

الغابات العشوائية (Random Forest) تقلل بالفعل من ارتباط الأشجار عن طريق أخذ عينات من السمات عشوائيًا عند كل تقسيم، لكنها لا تزال تبحث عن أفضل عتبة بين تلك السمات. الأشجار الإضافية (Extra Trees) تذهب خطوة أبعد: لكل سمة مرشحة، تختار عتبة عشوائية بدلاً من تحسينها. للوهلة الأولى، يبدو هذا وكأنه سيضر بالدقة، ولكن نظرًا لأن الأشجار الناتجة أقل ارتباطًا ببعضها البعض، فإن متوسط التجميع يلغي المزيد من التباين. الخسارة الناتجة عن أي تقسيم سيء واحد تكون ضئيلة بمجرد حساب المتوسط على العديد من الأشجار، وتكون مكاسب السرعة من عدم البحث عن عتبة مثلى كبيرة.

التاريخ

تم اقتراح الأشجار الإضافية (Extra Trees) بواسطة بيير غيرتس وداميان إرنست ولويس ويهينكل في ورقة بحثية في مجلة Machine Learning عام 2006. أظهر المؤلفون أن إدخال العشوائية الكاملة لعتبات التقسيم - بدلاً من البحث عن نقاط القطع المثلى - يقلل بشكل كبير من التباين مع مقايضة زيادة طفيفة في التحيز. أصبحت الطريقة منذ ذلك الحين بديلاً قياسيًا للغابات العشوائية (Random Forest) في نظام scikit-learn البيئي وتستخدم على نطاق واسع كخط أساس سريع وعالي الدقة لمعايير البيانات الجدولية.

متى تُستخدم

استخدم الأشجار الإضافية (Extra Trees) عندما تريد تدريبًا سريعًا ودقة قوية على البيانات الجدولية ذات السمات المستمرة أو المختلطة. إنها مفيدة بشكل خاص عندما يكون وقت التدريب قيدًا - فإن إزالتها لتحسين العتبة يجعلها أسرع بكثير من الغابات العشوائية (Random Forest) بدقة مماثلة. إنها تناسب مهام التصنيف والانحدار مع عينات متوسطة إلى كبيرة (حوالي 50 ملاحظة أو أكثر). فضل الغابات العشوائية (Random Forest) أو تعزيز التدرج (gradient boosting) إذا كنت بحاجة إلى تقديرات خارج العينة (out-of-bag) مدمجة أو إذا كان ضجيج مجموعة البيانات مرتفعًا جدًا وتشتبه في أن العتبات العشوائية تمامًا تضر بالدقة. بالنسبة لمجموعات البيانات الصغيرة جدًا، فإن النماذج الأبسط مثل الانحدار اللوجستي أو شجرة قرار واحدة تكون أكثر أمانًا وأكثر قابلية للتفسير.

الحدود والاعتبارات

  • لا يوجد تقدير خارج العينة (out-of-bag) مدمج (على عكس الغابات العشوائية Random Forest)، لذا فإن التحقق المتقاطع (cross-validation) مطلوب لتقييم الخطأ غير المتحيز.
  • العتبات العشوائية تمامًا يمكن أن تضر بالبيانات شديدة الضوضاء حيث تكون التقسيمات المثلى مفيدة.
  • صندوق أسود: لا يوفر معاملات صريحة، مما يحد من قابلية التفسير للجماهير التي تتوقع أحجام التأثير.
  • يزداد استخدام الذاكرة مع عدد الأشجار وعمق الشجرة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • تدريب أسرع من الغابات العشوائية (Random Forest) لأنه لا يتم إجراء تحسين للعتبة عند كل تقسيم.
  • يؤدي التنوع العالي بين الأشجار إلى تقليل قوي للتباين وغالبًا ما يطابق أو يتفوق على دقة الغابات العشوائية (Random Forest).
  • يعالج أنواع السمات المختلطة والتفاعلات غير الخطية دون افتراضات المعالجة المسبقة.
  • يوفر أهمية السمات الأصلية لترتيب واختيار المتغيرات.
  • يتوسع بشكل جيد مع البيانات عالية الأبعاد التي تحتوي على العديد من السمات غير ذات الصلة.

التطبيقات

  • خطوط أساس سريعة للتصنيف والانحدار على البيانات الجدولية.
  • اختيار السمات وترتيب الأهمية في مجموعات البيانات عالية الأبعاد.
  • النمذجة التنبؤية في المعلوماتية الحيوية والاستشعار عن بعد وتحليل بيانات المستشعرات.
  • البحث عن المعلمات الفائقة في خطوط الأنابيب حيث تكون سرعة التدريب حرجة.
  • سيناريوهات البيانات واسعة النطاق حيث يكون وقت تدريب الغابات العشوائية (Random Forest) باهظًا.

كيف يعمل

كيف يعمل

1

على عكس الغابات العشوائية (Random Forest)، تقوم الأشجار الإضافية (Extra Trees) افتراضيًا بتدريب كل شجرة على مجموعة التدريب بأكملها بدلاً من عينة استعيانية (bootstrap sample). هذا يقلل من التحيز الناتج عن أخذ العينات ولكنه يعني عدم وجود مجموعة خارج العينة (out-of-bag set) مدمجة؛ وبالتالي، فإن التحقق المتقاطع (cross-validation) ضروري لتقدير الخطأ بشكل صادق.

2

عند كل عقدة داخلية، يتم سحب مجموعة فرعية عشوائية من السمات. لكل سمة مرشحة، يتم أخذ عينة من عتبة التقسيم بشكل موحد وعشوائي من النطاق المرصود لقيم تلك السمة - لا يتم إجراء بحث عن نقطة القطع المثلى. يتم اختيار زوج السمة-العتبة الذي يحقق أفضل درجة (مثل، انخفاض شوائب جيني) من بين المرشحين العشوائيين.

3

تنمو الأشجار إلى عمق كامل افتراضيًا، مما يعني أن الأوراق نقية قدر الإمكان. العمق الكامل، جنبًا إلى جنب مع التقسيمات العشوائية، هو ما يدفع التباين إلى الانخفاض عبر التجميع: الأشجار الفردية ذات تباين عالٍ ولكنها متنوعة للغاية.

4

يتم دمج التنبؤات من جميع الأشجار: تصويت الأغلبية للتصنيف ومتوسط المخرجات للانحدار. التنوع القوي بين الأشجار يعني أن الأخطاء الفردية تميل إلى الإلغاء، مما يجعل التجميع أكثر استقرارًا من أي شجرة فردية.

الصيغة
\hat{y} = \text{mode/mean of } T \text{ trees}

الأخطاء الشائعة

  • تخطي التحقق المتقاطع (cross-validation) والاعتماد على الدقة داخل العينة، نظرًا لعدم إنتاج تقدير خارج العينة (OOB) افتراضيًا.
  • تجاهل عدم توازن الفئات - استخدم class_weight='balanced' أو إعادة أخذ العينات قبل التجهيز.
  • الإبلاغ عن الدقة فقط دون مقاييس تكميلية مثل F1 أو AUC أو RMSE.
  • معاملة ترتيب أهمية السمات على أنها مستقرة دون التحقق من قابلية التكرار عبر البذور.

الأسئلة الشائعة

كيف تختلف الأشجار الإضافية (Extra Trees) عن الغابات العشوائية (Random Forest)؟

كلاهما تجميعات من أشجار القرار مع مجموعات فرعية عشوائية من السمات عند كل تقسيم. الاختلاف الرئيسي هو أن الأشجار الإضافية (Extra Trees) تختار عتبات التقسيم بشكل عشوائي تمامًا بدلاً من تحسينها، وتقوم افتراضيًا بالتدريب على مجموعة التدريب الكاملة بدلاً من عينات الاستعيانية (bootstrap samples). هذا يجعل الأشجار الإضافية (Extra Trees) أسرع وينتج عادةً أشجارًا أكثر تنوعًا وأقل ارتباطًا.

أيهما يجب أن أفضل - الأشجار الإضافية (Extra Trees) أم الغابات العشوائية (Random Forest)؟

عندما تكون سرعة التدريب مهمة أو تكون البيانات نظيفة نسبيًا، غالبًا ما تطابق الأشجار الإضافية (Extra Trees) أو تتفوق على دقة الغابات العشوائية (Random Forest) بتكلفة حسابية أقل. إذا كنت تريد تقديرًا مدمجًا خارج العينة (out-of-bag) أو كانت بياناتك صاخبة (حيث تساعد عتبات التقسيم الأفضل)، فإن الغابات العشوائية (Random Forest) أكثر أمانًا.

كم عدد الأشجار التي أحتاجها؟

ابدأ بـ 100 شجرة وزد حتى يستقر الأداء على مجموعة تحقق (validation set) أو في التحقق المتقاطع (cross-validation). المزيد من الأشجار يحسن الاستقرار ولكنه يزيد من استخدام الذاكرة وزمن استجابة التنبؤ.

هل الأشجار الإضافية (Extra Trees) تفرط في التجهيز (overfit)؟

تنمو الأشجار الفردية إلى عمق كامل ويمكن أن تفرط في التجهيز بشكل منفرد، لكن متوسط التجميع يقلل بشكل كبير من التباين. بشكل عام، نادرًا ما يحدث الإفراط في تجهيز التجميع الكامل، على الرغم من أنه في مجموعات البيانات الصغيرة جدًا مع العديد من السمات، لا يزال من الممكن حدوثه.

كيف أقوم بتقييم أداء النموذج بدون مجموعة خارج العينة (OOB set)؟

استخدم التحقق المتقاطع k-fold - عادةً 5 أو 10 طيات. قم بتقييم مهام التصنيف باستخدام الدقة (accuracy) و F1 و AUC؛ قم بتقييم مهام الانحدار باستخدام RMSE و R-squared.

طرق ذات صلة

المصادر

  1. Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.

    افتح مرجع DOI
    تم النسخ.
  2. Extra-Trees. Wikipedia.

    افتح مرجع المنشور
    تم النسخ.