الغابات العشوائية
- قدّمه
- Breiman, L.
- السنة
- 2001
- النوع
- Ensemble (bagging of decision trees)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
الغابات العشوائية (Random Forest) هي طريقة تعلم جماعي (ensemble learning) قدمها ليو بريمان عام 2001، تقوم على بناء العديد من أشجار القرار على عينات تمهيدية (bootstrap samples) من البيانات وتجمع أصواتها لإنتاج تصنيفات وتنبؤات قوية. من خلال تجميع العديد من الأشجار المختلفة قليلاً، فإنها تنتج تنبؤات أكثر دقة واستقرارًا من أي شجرة منفردة.
الفكرة الحدسية وراء الطريقة
شجرة القرار الواحدة التي يتم بناؤها بعمق تتناسب بشكل وثيق مع بيانات التدريب ولكنها غير مستقرة: يمكن أن يؤدي تغيير بسيط في البيانات إلى إنتاج شجرة مختلفة تمامًا. تتصدى الغابات العشوائية لذلك عن طريق بناء العديد من الأشجار، كل منها على رؤية عشوائية مختلفة قليلاً للبيانات، وتركها تصوت. تميل أخطاء الأشجار الفردية إلى الإلغاء المتبادل، لذا فإن التنبؤ المجمع يكون أكثر موثوقية بكثير من أي شجرة بمفردها.
التاريخ
اقترح ليو بريمان الغابات العشوائية في عام 2001، حيث جمعت بين تجميع التمهيد (bootstrap aggregation) واختيار الميزات العشوائي عند كل تقسيم. أصبحت واحدة من أكثر طرق التعلم الآلي الجاهزة للاستخدام شيوعًا وموثوقية للبيانات الجدولية، وهي مرجع قياسي في نصوص مثل An Introduction to Statistical Learning (الفصل 8). في الآونة الأخيرة، جلبت أدوات مثل قيم SHAP قابليتها للتفسير أقرب إلى الانحدار اللوجستي، مما زاد من قبولها في العلوم الاجتماعية.
متى تُستخدم
مناسبة تمامًا للتصنيف والانحدار أو التنبؤ الدقيق والقوي على البيانات الجدولية التي تحتوي على العديد من الميزات — التي قد تكون غير خطية ومتفاعلة — وما لا يقل عن 50 ملاحظة تقريبًا، عندما يكون الأداء التنبؤي أهم من الإبلاغ عن المعاملات الصريحة. الغابات العشوائية خفيفة الافتراضات: لا تتطلب بيانات موزعة طبيعيًا وتتعامل مع الميزات المستمرة والفئوية والثنائية والترتيبية والعددية. يوصى بضبط المعلمات الفائقة (hyperparameter tuning). عندما تنخفض أحجام العينات إلى أقل من 50 تقريبًا، تكون النماذج الأبسط مثل الانحدار اللوجستي أو الخطي أكثر أمانًا.
الحدود والاعتبارات
- لا توجد معاملات لتفسيرها؛ طبيعتها كصندوق أسود (black-box) قد تتعارض مع المراجعين الذين يتوقعون تأثيرات صريحة.
- يوصى بضبط المعلمات الفائقة (hyperparameter tuning)، وتتطلب الغابات الكبيرة ذاكرة وحسابات مكلفة.
- في العينات الصغيرة (n أقل من 50 تقريبًا) تتجاوز العديد من الأشجار وتصبح نتائج التحقق المتقاطع مضللة.
- تقديرات أهمية الميزة يمكن أن تكون غير مستقرة وغير قابلة للتكرار في أحجام العينات الصغيرة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- دقة قوية جاهزة للاستخدام على البيانات الجدولية لكل من التصنيف والانحدار.
- مقاومة للتجاوز (overfitting) بفضل التجميع (bagging) بالإضافة إلى الاختيار العشوائي للميزات عند كل تقسيم.
- أهمية الميزة المدمجة (built-in feature importance) تدمج ترتيب المتغيرات مباشرة في النموذج.
- خطأ خارج الحقيبة (out-of-bag error) يعطي تقدير تحقق صادقًا دون الحاجة إلى تمريرة تحقق متقاطع منفصلة.
- خفيفة الافتراضات: لا يوجد متطلب للتوزيع الطبيعي، وتتعامل مع أنواع الميزات المختلطة والتفاعلات غير الخطية.
التطبيقات
- التصنيف والانحدار على البيانات الجدولية ذات الميزات العديدة.
- اختيار المتغيرات وترتيبها عبر أهمية الميزة الأصلية.
- تسجيل المخاطر والتنبؤ حيث تكون المتانة أهم من المعاملات الصريحة.
- النمذجة الأساسية قبل تجربة مجموعات أكثر تعقيدًا مثل تعزيز التدرج (gradient boosting).
كيف يعمل
كيف يعمل
يتم سحب العديد من العينات التمهيدية (bootstrap samples) من مجموعة التدريب — كل منها عينة عشوائية مأخوذة مع الإرجاع، بحيث ترى الأشجار بيانات مختلفة قليلاً. الملاحظات التي تُترك خارج عينة معينة (مجموعة خارج الحقيبة - out-of-bag set) توفر تقدير تحقق مدمجًا دون الحاجة إلى جزء منفصل للاختبار (hold-out fold).
عند كل تقسيم في كل شجرة، يتم النظر فقط في مجموعة فرعية عشوائية من الميزات المتاحة كمرشحين. يؤدي هذا الاختيار العشوائي للميزات إلى فك الارتباط بين الأشجار بحيث لا ترتبط جميعها بنفس المتنبئات المهيمنة، وهذا ما يسمح للمجموعة بتقليل التباين إلى ما دون أي شجرة منفردة.
تقوم كل شجرة بتنبؤها الخاص، وتجمع الغابة بينها: تصويت الأغلبية عبر الأشجار للتصنيف، أو متوسط مخرجاتها للانحدار. هذا التجميع هو ما يحول العديد من الأشجار الصاخبة إلى متنبئ واحد قوي.
الصيغة
\hat{y} = \text{mode/mean of } T \text{ trees}الأخطاء الشائعة
- تجاوز تقسيم التدريب/الاختبار أو التحقق المتقاطع والثقة في الأداء داخل العينة.
- تجاهل عدم توازن الفئات بدلاً من إعادة ترجيح الفئات (class_weight='balanced') أو إعادة أخذ العينات.
- الإبلاغ عن الدقة فقط دون F1 و AUC بجانبها.
- التعامل مع ترتيب أهمية الميزة في العينات الصغيرة على أنه مستقر.
- قبول المعلمات الفائقة الافتراضية بشكل أعمى بدلاً من ضبط عدد الأشجار.
الأسئلة الشائعة
كم عدد الأشجار التي يجب أن تحتوي عليها الغابة؟
المزيد من الأشجار يقلل التباين ويثبت التصويت على حساب الحساب والذاكرة. نقطة البداية الشائعة هي حوالي 100 شجرة، مع الزيادة حتى يتوقف خطأ خارج الحقيبة عن التحسن.
هل تتجاوز الغابات العشوائية (Random Forest)؟
إنها مقاومة للغاية للتجاوز (overfitting) لأن التجميع (bagging) والاختيار العشوائي للميزات يفك الارتباط بين الأشجار ويوازن أخطاءها الفردية. الخطر الرئيسي هو ملاءمة العديد من الأشجار العميقة على مجموعة بيانات صغيرة جدًا، حيث يتجاوز النموذج وتصبح نتائج التحقق المتقاطع مضللة.
هل يمكنني الوثوق بأهمية الميزة؟
أهمية الميزة مفيدة لترتيب المتنبئات، ولكن في أحجام العينات الصغيرة يمكن أن تكون غير مستقرة وغير قابلة للتكرار، لذا تعامل مع ترتيبات العينات الصغيرة بحذر. إقرانها بتحليل SHAP يعطي رؤية أوضح لمساهمة كل ميزة.
ماذا يجب أن أتحقق قبل وبعد الملاءمة؟
مسبقًا، تعامل مع القيم المفقودة، ورمز المتغيرات الفئوية، وقم بإعداد تقسيم التدريب/الاختبار أو التحقق المتقاطع k-fold. بعد ذلك، قم بتقييم خطأ خارج الحقيبة، وقم بإجراء التحقق المتقاطع، وافحص مساهمات الميزات (على سبيل المثال باستخدام SHAP).
طرق ذات صلة
المصادر
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
افتح مرجع DOIتم النسخ.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ردمك: 978-1-4614-7138-7تم النسخ.