الانتقال إلى المحتوى
العودة إلى نتائج البحث

تعزيز التدرج

قدّمه
Friedman, J. H.
السنة
2001
النوع
Ensemble (sequential boosting of decision trees)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تعزيز التدرج هو طريقة تعلم تجميعي، صاغها جيروم إتش فريدمان في عام 2001، تجمع بين سلسلة من المتعلمين الضعفاء - عادة أشجار القرار الضحلة - بحيث يتم ملاءمة كل شجرة جديدة لتقليل الأخطاء المتبقية للأشجار التي قبلها. إنها الخوارزمية الأساسية وراء التطبيقات الشائعة مثل XGBoost و LightGBM و CatBoost.

الفكرة الحدسية وراء الطريقة

بدلاً من بناء نموذج قوي واحد دفعة واحدة، يبني تعزيز التدرج العديد من الأشجار الصغيرة بالتتابع، حيث تركز كل شجرة جديدة على الأخطاء التي لا يزال التجميع الحالي يرتكبها. من خلال دفع التنبؤ بشكل متكرر في الاتجاه الذي يقلل خطأ المتبقي إلى أقصى حد، تضيف سلسلة من المتعلمين الضعفاء إلى متنبئ واحد عالي الدقة.

التاريخ

تم صياغة تعزيز التدرج بواسطة جيروم إتش فريدمان في ورقته البحثية لعام 2001 "Greedy Function Approximation: A Gradient Boosting Machine"، والتي وصفت التعزيز على أنه انحدار تدرجي في فضاء الدوال. أصبحت الفكرة - إضافة متعلمين ضعفاء يناسب كل منهم الأخطاء المتبقية للتجميع الحالي - الأساس للخوارزميات الأكثر نجاحًا للبيانات الجدولية في الممارسة العملية، بما في ذلك XGBoost و LightGBM و CatBoost.

متى تُستخدم

خيار قوي للتصنيف والتنبؤ الدقيق على البيانات الجدولية المقطعية أو اللوحية مع ما لا يقل عن حوالي 100 ملاحظة، عبر ميزات مستمرة وفئوية وثنائية وترتيبية. لا يلزم عادةً قياس الميزات، ولكن ضبط المعلمات الفائقة لعدد الأشجار ومعدل التعلم والحد الأقصى للعمق أمر بالغ الأهمية، ويوصى بالتوقف المبكر للحماية من الإفراط في الملاءمة. مع أقل من حوالي 100 ملاحظة، تميل الأشجار المتسلسلة إلى حفظ الضوضاء، ويكون الغابة العشوائية أو شجرة قرار واحدة أكثر أمانًا.

الحدود والاعتبارات

  • يعد ضبط المعلمات الفائقة لعدد الأشجار ومعدل التعلم والحد الأقصى للعمق أمرًا بالغ الأهمية ويستغرق وقتًا طويلاً.
  • تعزيز التسلسل عرضة للإفراط في الملاءمة إذا لم يتم تنظيمه، ولهذا السبب يوصى بالتوقف المبكر.
  • في العينات الصغيرة (n أقل من حوالي 100) تحفظ الأشجار المتسلسلة الضوضاء، وحتى التوقف المبكر غير كافٍ.
  • مع القليل جدًا من البيانات، لا توجد مادة كافية للتحقق المتقاطع لتحسين المعلمات الفائقة بشكل موثوق.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • دقة تنبؤية عالية جدًا على البيانات الجدولية للتصنيف والتنبؤ على حد سواء.
  • لا يلزم عادةً قياس الميزات، وهي تتعامل مع ميزات مستمرة وفئوية وثنائية وترتيبية.
  • تشكل الخوارزمية الأساسية وراء المكتبات المستخدمة على نطاق واسع مثل XGBoost و LightGBM و CatBoost.
  • يمنح التوقف المبكر ومعدل التعلم الصغير تحكمًا دقيقًا في المفاضلة بين التحيز والتباين.

التطبيقات

  • تصنيف وتنبؤ عالي الدقة على البيانات الجدولية المقطعية واللوحية.
  • تسجيل المخاطر والتنبؤ بالنتائج حيث يكون الأداء التنبؤي الأقصى هو الأولوية.
  • نمذجة العلاقات غير الخطية المعقدة بين الميزات المختلطة النوع دون قياس يدوي.
  • العمل كمحرك وراء مكتبات تعزيز التدرج الإنتاجية مثل XGBoost و LightGBM.

كيف يعمل

كيف يعمل

1

يدرب تعزيز التدرج المتعلمين الضعفاء - عادة أشجار القرار الضحلة - واحدًا تلو الآخر بدلاً من بشكل مستقل. يبدأ التجميع بتخمين أولي بسيط، ويتم إضافة كل شجرة لاحقة لتصحيح ما لا يزال النموذج الحالي يخطئ فيه، لذلك تتحسن الدقة خطوة بخطوة.

2

في كل جولة، تنظر الطريقة إلى الأخطاء المتبقية للتجميع الحالي وتناسب الشجرة التالية لتلك الأخطاء المتبقية (التدرج السلبي للخسارة). تتم إضافة الشجرة الجديدة بوزن معدل تعلم صغير، لذلك يتم تحديث التنبؤ بحذر: F_m(x) = F_{m-1}(x) + nu * h_m(x). هذا التصحيح المتسلسل الموجه بالتدرج هو ما يعطي الطريقة اسمها ودقتها.

الصيغة
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)
3

التنبؤ النهائي هو مجموع التقدير الأولي وجميع تصحيحات الأشجار الصغيرة المتراكمة على طول الطريق. نظرًا لأنه تتم إضافة الأشجار بشكل جشع لمطاردة الخطأ المتبقي، فإن ضبط عدد الأشجار ومعدل التعلم وعمق الشجرة - جنبًا إلى جنب مع التوقف المبكر - أمر بالغ الأهمية لتجنب الإفراط في الملاءمة.

الأخطاء الشائعة

  • تخطي التوقف المبكر والسماح للتعزيز بالعمل لعدد كبير جدًا من الجولات حتى يحدث الإفراط في الملاءمة.
  • تعيين معدل التعلم مرتفعًا جدًا بحيث تقوم كل شجرة بالإفراط في التصحيح بدلاً من دفع التنبؤ بلطف.
  • تطبيقه على عينة أقل من حوالي 100 ملاحظة حيث تحفظ الأشجار المتسلسلة الضوضاء.
  • قبول المعلمات الفائقة الافتراضية بدلاً من ضبط n_estimators و learning_rate و max_depth.
  • معاملته على أنه يحتاج إلى قياس الميزات مثل النماذج المستندة إلى المسافة، عندما يكون القياس غير ضروري بشكل عام.

الأسئلة الشائعة

كيف يختلف تعزيز التدرج عن الغابة العشوائية؟

تبني الغابة العشوائية العديد من الأشجار المستقلة بالتوازي وتتوسطها، بينما يبني تعزيز التدرج الأشجار بالتتابع، حيث يتم ملاءمة كل شجرة لتصحيح الأخطاء المتبقية للأشجار التي قبلها. غالبًا ما يحقق التعزيز دقة أعلى ولكنه أكثر حساسية للإفراط في الملاءمة ويتطلب ضبطًا دقيقًا.

لماذا يوصى بالتوقف المبكر؟

نظرًا لأن كل شجرة جديدة تطارد الخطأ المتبقي، فإن تشغيل التعزيز الطويل جدًا يبدأ في ملاءمة الضوضاء. يوقف التوقف المبكر التدريب بمجرد توقف أداء التحقق من الصحة عن التحسن، وهو الضمان الرئيسي ضد الإفراط في الملاءمة.

هل أحتاج إلى قياس ميزاتي؟

لا يلزم عادةً قياس الميزات لتعزيز التدرج المستند إلى الأشجار، حيث تعتمد الانقسامات على الترتيب بدلاً من الحجم. المفاتيح الحاسمة هي بدلاً من ذلك عدد الأشجار ومعدل التعلم وعمق الشجرة.

ما هو حجم العينة الذي أحتاجه؟

ما لا يقل عن حوالي 100 ملاحظة. أقل من ذلك، تحفظ الأشجار المتسلسلة الضوضاء وحتى التوقف المبكر غير كافٍ، لذا فإن الغابة العشوائية أو شجرة قرار واحدة هي الخيار الأكثر أمانًا.

طرق ذات صلة

المصادر

  1. Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.

    افتح مرجع DOI
    تم النسخ.