الانتقال إلى المحتوى
العودة إلى نتائج البحث

التعزيز

قدّمه
Schapire, R. E.; Freund, Y.
السنة
1990–1997
النوع
Sequential ensemble (iterative reweighting)
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التعزيز هو تقنية تجميع تسلسلية تحول العديد من المتعلمين البسيطة التي بالكاد تتجاوز الصدفة إلى نموذج واحد عالي الدقة من خلال التركيز المتكرر للتدريب على الأمثلة التي أخطأت فيها المتعلمون السابقون، ثم تجميع كل المتعلمين بأوزان تتناسب مع دقتهم الفردية.

الفكرة الحدسية وراء الطريقة

تخيل تصحيح اختبار وإعادته للطلاب لمراجعته: في كل جولة، يقضي الطلاب وقتًا إضافيًا في الأسئلة التي أخطأوا فيها. يعمل التعزيز بنفس الطريقة - بعد تدريب كل متعلم ضعيف، تتلقى الأمثلة المصنفة بشكل خاطئ أوزانًا أعلى حتى يركز المتعلم التالي على الحالات الصعبة. الإجابة النهائية هي تصويت مرجح لجميع المتعلمين، حيث يكون للمتعلمين الأكثر دقة وزن أكبر. هذا التصحيح التكراري هو ما يجعل التعزيز أقوى بكثير من نموذج بسيط واحد.

التاريخ

تم وضع الأساس النظري للتعزيز بواسطة روبرت شابير في عام 1990، الذي أثبت أن قابلية التعلم الضعيف تعني قابلية التعلم القوي. قدم فروند وشابير بعد ذلك AdaBoost في عام 1997، وهو أول خوارزمية عملية، والتي سرعان ما أصبحت نتيجة بارزة في التعلم الآلي. قام فريدمان بتعميم النهج باسم التعزيز المتدرج في عام 2001، مؤطرًا التعلم التجميعي التسلسلي كنزول متدرج في فضاء الدوال. أنتج هذا النسب XGBoost (2016)، و LightGBM (2017)، و CatBoost (2018)، والتي تهيمن الآن على معايير التعلم الآلي التنافسية على البيانات الجدولية.

متى تُستخدم

استخدم التعزيز عندما تحتاج إلى دقة تنبؤية عالية في مهمة تصنيف أو انحدار جدولية ولديك مجموعة بيانات مصنفة بحجم معقول (عادةً ما لا يقل عن 50-100 ملاحظة لكل فئة). يتفوق في البيانات المهيكلة ذات العلاقات المعقدة وغير الخطية ويتعامل مع أنواع الميزات المختلطة بشكل جيد. التطبيقات الملموسة - AdaBoost للتصنيف، والتعزيز المتدرج للانحدار والتصنيف - هي الخيارات المعتادة. تجنب التعزيز عندما تكون جودة البيانات ضعيفة أو الملصقات مشوشة، لأن إعادة الترجيح التسلسلية تضخم الملصقات المشوشة بشكل كبير، مما يؤدي إلى الإفراط في التخصيص. تجنبه أيضًا عندما يكون النموذج البسيط والقابل للتفسير ذو المعاملات الصريحة مطلوبًا (على سبيل المثال، للتقارير التنظيمية أو السريرية)، أو عندما يكون وقت التدريب مقيدًا بشدة.

الحدود والاعتبارات

  • حساس للغاية للملصقات المشوشة والقيم المتطرفة: زيادة وزن الأمثلة الصعبة تضخم النقاط المصنفة بشكل خاطئ.
  • عرضة للإفراط في التخصيص على مجموعات البيانات الصغيرة ما لم يتم ضبط التنظيم (معدل التعلم، عمق الشجرة، أخذ العينات الفرعية) بعناية.
  • التدريب التسلسلي أبطأ بطبيعته في الموازاة من طرق التجميع مثل الغابات العشوائية.
  • يتطلب ضبطًا دقيقًا للمعلمات الفائقة (عدد الجولات، معدل التعلم، عمق الشجرة) لتحقيق ميزة الدقة الخاصة به.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يحقق دقة حديثة على البيانات الجدولية، وغالبًا ما يتفوق على الغابات العشوائية عند ضبطه.
  • يركز تلقائيًا على الأمثلة الصعبة من خلال إعادة الترجيح التكرارية، مما يجعله فعالًا على البيانات غير المتوازنة مع دوال الخسارة المناسبة.
  • يعمل مع مجموعة متنوعة من المتعلمين الأساسيين؛ الأشجار الضحلة (الجذوع) هي خيار شائع وفعال.
  • تدعم امتدادات التعزيز المتدرج مجموعة واسعة من دوال الخسارة للانحدار والترتيب والتصنيف.
  • التطبيقات الحديثة (XGBoost، LightGBM، CatBoost) محسّنة للغاية وتتوسع إلى مجموعات بيانات كبيرة.

التطبيقات

  • تصنيف ثنائي ومتعدد الفئات على البيانات الجدولية عبر التمويل والرعاية الصحية والتسويق.
  • مهام الانحدار مثل التنبؤ بأسعار المنازل أو التنبؤ بالطلب.
  • مشاكل النقر والترتيب في استرجاع المعلومات.
  • كشف الاحتيال وتسجيل الشذوذ حيث تكون الدقة في الأحداث النادرة أمرًا بالغ الأهمية.
  • اختيار الميزات وترتيب أهمية المتغيرات في التحليلات الاستكشافية.

كيف يعمل

كيف يعمل

1

تبدأ جميع أمثلة التدريب بأوزان متساوية، لذا من المرجح أن تؤثر كل منها بالتساوي على المتعلم الضعيف الأول. يضمن هذا التهيئة الموحدة أن تكون الجولة الأولى رؤية غير متحيزة للبيانات.

الصيغة
w_i^{(1)} = 1/n \; \forall i
2

يتم ملاءمة متعلم ضعيف - غالبًا شجرة قرار ضحلة (جذع) - لتقليل خطأ التدريب المرجح. الأمثلة المصنفة بشكل خاطئ، والتي تحمل أوزانًا أعلى، تسحب المتعلم نحو تصحيح أخطاء الجولة السابقة.

الصيغة
h_t = \arg\min_{h} \sum_i w_i^{(t)} \mathbf{1}[h(x_i) \neq y_i]
3

يتلقى كل متعلم معامل مساهمة يتناسب مع دقة لوغاريتم الأرجحية الخاص به. يحصل المتعلم ذو الخطأ المرجح المنخفض على معامل كبير؛ والمتعلم الذي يؤدي قريبًا من الصدفة يحصل على معامل قريب من الصفر ويؤثر بالكاد على المجموعة.

الصيغة
\alpha_t = \frac{1}{2} \ln\!\left(\frac{1 - \epsilon_t}{\epsilon_t}\right)
4

يتم تقليل أوزان الأمثلة المصنفة بشكل صحيح وزيادة أوزان الأمثلة المصنفة بشكل خاطئ. يجبر هذا إعادة الترجيح المتعلم التالي على التركيز بشكل غير متناسب على الأمثلة التي لا تزال المجموعة تخطئ فيها.

الصيغة
w_i^{(t+1)} \propto w_i^{(t)} \exp(-\alpha_t y_i h_t(x_i))
5

التنبؤ النهائي هو إشارة المجموع المرجح لمخرجات جميع المتعلمين. يصوت كل متعلم بما يتناسب مع معامله، لذا تنتج المجموعة مصنفًا قويًا واحدًا من العديد من المصنفات الضعيفة.

الصيغة
H(x) = \text{sign}\!\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

الأخطاء الشائعة

  • التدريب بمعدل تعلم مرتفع والعديد من الجولات على مجموعة بيانات صغيرة بدون إيقاف مبكر، مما يسبب إفراطًا شديدًا في التخصيص.
  • تجاهل ضوضاء الملصقات قبل التدريب - سيتناسب التعزيز مع الملصقات المشوشة بقوة أكبر من أي طريقة أخرى.
  • تخطي التحقق المتقاطع والإبلاغ فقط عن خطأ التدريب داخل العينة.
  • استخدام المعلمات الفائقة الافتراضية من برنامج تعليمي دون تعديل لحجم مجموعة البيانات أو توازن الفئة.
  • اختيار التعزيز عندما يكون الهدف هو نموذج قابل للتفسير مع معاملات ميزات صريحة.

الأسئلة الشائعة

ما الفرق بين التعزيز والتجميع (الغابة العشوائية)؟

يقوم التجميع بتدريب أشجار مستقلة بالتوازي على عينات التمهيد ويقوم بمتوسط تنبؤاتها، مما يقلل بشكل أساسي من التباين. يقوم التعزيز بتدريب الأشجار بشكل تسلسلي، كل منها يصحح أخطاء السابقة، مما يقلل بشكل أساسي من التحيز. غالبًا ما يحقق التعزيز دقة أعلى ولكنه أكثر عرضة للإفراط في التخصيص على البيانات المشوشة.

أي خوارزمية تعزيز يجب أن أستخدم؟

AdaBoost نقطة انطلاق جيدة للتصنيف الثنائي. بالنسبة لمعظم مهام الانحدار أو التصنيف الجدولية، فإن تطبيقات التعزيز المتدرج مثل XGBoost أو LightGBM أو CatBoost هي الخيارات العملية؛ فهي تضيف التنظيم وتتوسع بشكل أفضل من AdaBoost الأصلي.

كيف أمنع الإفراط في التخصيص باستخدام التعزيز؟

استخدم معدل تعلم منخفض (0.01-0.1) مع عدد أكبر من الجولات وطبق الإيقاف المبكر على مجموعة تحقق منفصلة. قم أيضًا بتنظيم عمق الشجرة (عادةً ما يكون max_depth 3-6) وفكر في أخذ عينات فرعية للصفوف والأعمدة لكل شجرة.

هل يمكن للتعزيز التعامل مع عدم توازن الفئات؟

نعم، تسمح لك أطر عمل التعزيز المتدرج بتعيين أوزان الفئات أو استخدام دوال خسارة مخصصة. يساعد إعادة الترجيح الطبيعي لـ AdaBoost أيضًا، ولكنه يمكن أن يضخم أيضًا الضوضاء في الفئة الأقلية، لذا قد يكون المعالجة المسبقة (أخذ عينات زائدة أو ناقصة) مفيدة.

هل التعزيز قابل للتفسير؟

مجموعات التعزيز ليست قابلة للتفسير بشكل مباشر بالطريقة التي تكون بها النماذج الخطية. ومع ذلك، يمكن لدرجات أهمية الميزات المضمنة والأدوات اللاحقة مثل قيم SHAP شرح التنبؤات الفردية، مما يجعلها مقبولة في العديد من سياقات البحث التطبيقي.

طرق ذات صلة

المصادر

  1. Freund, Y. & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    افتح مرجع DOI
    تم النسخ.
  2. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197–227.

    افتح مرجع DOI
    تم النسخ.