XGBoost
- قدّمه
- Chen, T. & Guestrin, C.
- السنة
- 2016
- النوع
- Ensemble (gradient-boosted decision trees)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
XGBoost (تعزيز التدرج المتطرف) هو خوارزمية شجرية قابلة للتطوير تم تقديمها بواسطة Tianqi Chen و Carlos Guestrin في عام 2016. تبني هذه الخوارزمية مُتنبئًا قويًا عن طريق إضافة أشجار القرار واحدة تلو الأخرى، حيث تقوم كل شجرة بتصحيح الأخطاء التي تركتها الأشجار السابقة، وهي طريقة تنبؤ قوية تُستخدم على نطاق واسع في المسابقات.
الفكرة الحدسية وراء الطريقة
بدلاً من بناء العديد من الأشجار المستقلة و حساب متوسطها، تبني XGBoost الأشجار بالتتابع: تركز كل شجرة جديدة على الحالات التي لا يزال النموذج الحالي يخطئ فيها. خطوة بخطوة، تعمل المجموعة على تقليل الخطأ المتبقي، بينما تفرض عقوبة التنظيم (regularisation penalty) على تبسيط الأشجار الفردية بحيث يعمم النموذج المدمج بدلاً من حفظ بيانات التدريب.
التاريخ
تم تقديم XGBoost بواسطة Tianqi Chen و Carlos Guestrin في ورقتهم البحثية لعام 2016 بعنوان 'XGBoost: A Scalable Tree Boosting System' في مؤتمر ACM SIGKDD. من خلال الجمع بين تعزيز التدرج المنظم لأشجار القرار مع تطبيق فعال وقابل للتطوير، أصبح أحد خوارزميات التنبؤ الأكثر اعتمادًا على نطاق واسع، وبرز بشكل خاص في مسابقات علم البيانات.
متى تُستخدم
استخدم XGBoost للتصنيف الدقيق أو التنبؤ على البيانات الجدولية ذات الميزات المستمرة، والفئوية، والثنائية، أو العددية، وبوجود حوالي 100 ملاحظة على الأقل، عندما يكون أداء التنبؤ هو الأولوية. لا يتطلب بيانات موزعة طبيعيًا؛ البيانات الكافية وهندسة الميزات المدروسة هي الافتراضات العملية الرئيسية. مع أقل من حوالي 100 حالة، يميل تعزيز التدرج إلى الإفراط في التخصيص، ويكون النموذج الأبسط (مثل الانحدار اللوجستي أو شجرة قرار واحدة) أكثر موثوقية.
الحدود والاعتبارات
- يحتاج إلى بيانات كافية - حوالي 100+ ملاحظة - وإلا فإنه يُفرط في التخصيص وتصبح نتائج التحقق المتقاطع (cross-validation) غير موثوقة.
- في العينات الصغيرة، لا توجد بيانات كافية لضبط العديد من المعلمات الفائقة (hyperparameters)، لذا فإن النموذج الأبسط يعمم بشكل أفضل.
- العديد من المعلمات الفائقة ومجموعة الأشجار التي تعمل كصندوق أسود تجعل الإعداد والتفسير أصعب من نموذج واحد.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- دقة تنبؤ قوية على البيانات الجدولية، وهذا هو سبب شيوعه في المسابقات.
- التنظيم المدمج يعاقب تعقيد الشجرة ويساعد على التحكم في الإفراط في التخصيص.
- يتحمل القيم المفقودة ويعالج أنواع الميزات المختلطة (مستمرة، فئوية، ثنائية، عددية).
- يتوسع بشكل جيد ويستفيد مباشرة من هندسة الميزات.
التطبيقات
- التصنيف والتنبؤ على البيانات الجدولية ذات العديد من الميزات.
- نمذجة تنبؤية على مستوى المنافسة حيث الدقة أمر بالغ الأهمية.
- مهام تسجيل المخاطر والتنبؤ على الميزات المستمرة، والفئوية، والثنائية، والعددية.
- مشاكل النمذجة حيث تكون القيم المفقودة والميزات المهندسة شائعة.
كيف يعمل
كيف يعمل
XGBoost هي طريقة تعزيز التدرج (gradient-boosting): تجمع بين العديد من أشجار القرار الضحلة في مجموعة واحدة. تُضاف الأشجار واحدة تلو الأخرى، وتُناسب كل شجرة جديدة لتقليل خطأ التنبؤ المتبقي بعد الأشجار الموجودة بالفعل في النموذج.
يُقلل النموذج من دالة هدف (objective function) تجمع بين حد الخطأ (loss term) الذي يقيس مدى ملاءمة البيانات وحد التنظيم (regularisation term) الذي يُعاقب تعقيد الشجرة. هذه العقوبة الصريحة للتعقيد هي ما يساعد XGBoost على التحكم في الإفراط في التخصيص (overfitting) مع الاستمرار في ملاءمة العلاقات المرنة وغير الخطية.
الصيغة
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)في كل جولة تعزيز (boosting round)، يتم تحديث التنبؤ الحالي بإضافة ناتج شجرة مُناسبة حديثًا. تُختار كل شجرة لتحريك التنبؤات في الاتجاه الذي يقلل دالة الهدف بأكبر قدر، لذلك تتحسن دقة المجموعة جولة بعد جولة.
الصيغة
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)بعد جميع الجولات، يكون التنبؤ النهائي هو مجموع مساهمات كل شجرة، ويُستخدم للتصنيف أو للتنبؤ بقيمة مستهدفة. نظرًا لأن النموذج يتحمل القيم المفقودة ويستفيد من هندسة الميزات (feature engineering)، فإنه يؤدي أداءً قويًا على البيانات الجدولية بمجرد توفر ملاحظات كافية.
الأخطاء الشائعة
- تطبيقه على عينات صغيرة (n < 100) حيث يُفرط تعزيز التدرج في التخصيص وتقديرات التحقق المتقاطع غير موثوقة.
- تخطي ضبط المعلمات الفائقة عبر التحقق المتقاطع (مثل البحث الشبكي) وقبول القيم الافتراضية.
- ترك معالجة القيم المفقودة والترميز الفئوي غير محدد على الرغم من أن XGBoost يتحمل الفجوات.
- الفشل في إعداد تقسيم صحيح للتدريب/الاختبار أو التحقق المتقاطع k-fold قبل الإبلاغ عن الأداء.
الأسئلة الشائعة
ما مقدار البيانات التي يحتاجها XGBoost؟
حوالي 100 ملاحظة هو حد أدنى معقول. مع أقل من 100 حالة، يميل تعزيز التدرج إلى الإفراط في التخصيص وتصبح نتائج التحقق المتقاطع غير موثوقة، لذا فإن النموذج الأبسط مثل الانحدار اللوجستي أو شجرة قرار واحدة يكون أكثر موثوقية.
هل يتطلب XGBoost بيانات موزعة طبيعيًا؟
لا. لا يفترض التوزيع الطبيعي ويعمل مع الميزات المستمرة، والفئوية، والثنائية، والعددية. المتطلبات العملية الرئيسية هي توفر بيانات كافية وإجراء بعض هندسة الميزات المدروسة.
كيف يختلف XGBoost عن Random Forest؟
يقوم Random Forest ببناء الأشجار بشكل مستقل ويحسب متوسطها لتقليل التباين. يقوم XGBoost ببناء الأشجار بالتتابع، حيث تقوم كل شجرة بتصحيح أخطاء الأشجار السابقة، ويضيف عقوبة تنظيم على تعقيد الشجرة، مما يمكن أن يصل إلى دقة أعلى مع الضبط الدقيق.
كيف يمكنني تفسير نموذج XGBoost؟
نظرًا لأن النموذج هو مجموعة من العديد من الأشجار، يتم عادةً فحص المساهمات باستخدام تحليل سمات الميزات (feature-attribution analysis) مثل SHAP، إلى جانب مقاييس مجموعة الاختبار مثل RMSE أو AUC وضبط المعلمات الفائقة عبر التحقق المتقاطع.
طرق ذات صلة
المصادر
Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.
افتح مرجع DOIتم النسخ.