AdaBoost
- قدّمه
- Freund, Y. & Schapire, R.E.
- السنة
- 1997
- النوع
- Ensemble (sequential boosting of weak learners)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
AdaBoost (التعزيز التكيفي) هو خوارزمية التعزيز الأصلية، التي قدمها يواف فريند وروبرت شابير في عام 1997، والتي تجمع بين سلسلة من المتعلمين الضعفاء البسيطين عن طريق إعطاء وزن أكبر للملاحظات التي تخطئ فيها. وهي سلف التعزيز التدرجي، وهي بسيطة وقابلة للتفسير، وتشكل خط أساس قوي للتصنيف.
الفكرة الحدسية وراء الطريقة
الشجرة الضحلة الواحدة هي متعلم ضعيف: أفضل بقليل من التخمين. يحول AdaBoost العديد من هؤلاء المتعلمين الضعفاء إلى متنبئ قوي واحد عن طريق تدريبهم واحدًا تلو الآخر. بعد تدريب كل متعلم، يتم إعطاء وزن أكبر للملاحظات التي أخطأ في تصنيفها، بحيث يركز المتعلم التالي على الحالات الصعبة التي تستمر الآخرون في الخطأ فيها. التنبؤ النهائي هو تصويت مرجح، حيث يكون للمتعلمين الأكثر دقة وزن أكبر.
التاريخ
تم تقديم AdaBoost بواسطة يواف فريند وروبرت شابير في عام 1997 كتعميم نظري للقرار للتعلم عبر الإنترنت المطبق على التعزيز. كان أول خوارزمية تعزيز عملية وأظهر أنه يمكن دمج العديد من المتعلمين الضعفاء في متعلم قوي واحد، وهو عمل أصبح أساسيًا لعائلة التعزيز بأكملها. إنه السلف المباشر للتعزيز التدرجي والأدوات الحديثة مثل XGBoost.
متى تُستخدم
مناسب للتصنيف والتنبؤ على البيانات الجدولية المقطعية ذات الميزات المستمرة أو الفئوية أو الثنائية وحوالي 50 ملاحظة على الأقل، عندما تريد خط أساس تعزيز بسيط وقابل للتفسير. لا يفترض AdaBoost افتراضات حول التوزيع الطبيعي، ولكنه حساس للبيانات المشوشة والقيم المتطرفة، لذا قم بفحص القيم المتطرفة أولاً. تحكم في عدد المقدرات لإدارة خطر التجاوز الصغير ولكن غير الصفري. في العينات الصغيرة، تكون الانحدار اللوجستي الأبسط أو الغابة العشوائية الأكثر قوة أكثر أمانًا.
الحدود والاعتبارات
- حساس للبيانات المشوشة والقيم المتطرفة بسبب خسارته الأسية؛ يلزم فحص القيم المتطرفة.
- خطر التجاوز منخفض ولكنه غير صفري ويجب التحكم فيه من خلال عدد المقدرات.
- في العينات الصغيرة (أقل من حوالي 50 ملاحظة)، يتم ترجيح الملاحظات المشوشة بشكل مفرط ويمكن أن يؤدي كل تكرار إلى تفاقم الأداء.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- بسيط وقابل للتفسير، مع عدد قليل من المعلمات لضبطها.
- يحول المتعلمين الضعفاء بعمق 1 إلى مصنف قوي، وهو خط أساس صلب جاهز للاستخدام.
- لا يفترض افتراضات حول التوزيع الطبيعي؛ يتعامل مع الميزات المستمرة والفئوية والثنائية.
- سلف التعزيز التدرجي، مع آلية وزن تكيفية واضحة.
التطبيقات
- خطوط أساس التصنيف على البيانات الجدولية المقطعية.
- مهام التنبؤ حيث يُفضل نموذج تعزيز بسيط وقابل للتفسير.
- تعليم وتوضيح فكرة التعزيز قبل الانتقال إلى التعزيز التدرجي.
- دمج العديد من جذوع القرارات الضحلة في مصنف قوي واحد.
كيف يعمل
كيف يعمل
تبدأ كل ملاحظة تدريب بوزن متساوٍ. تخبر هذه الأوزان كل متعلم ضعيف متعاقب بمدى اهتمامه بالحصول على هذه الملاحظة المعينة بشكل صحيح.
يتم ملاءمة متعلم ضعيف - عادةً جذع قرار، شجرة بعمق 1 - للبيانات الموزونة. نظرًا لبساطته، فإنه بمفرده لا يفعل سوى القليل أفضل من الصدفة.
تحدد دقة المتعلم الإجمالية وزنه في التصويت النهائي، وتزداد أوزان الملاحظات التي أخطأ في تصنيفها بحيث يركز المتعلم التالي عليها. دالة خسارة أسية تقود هذا التحديث: فهي تعاقب الخطأ في التصنيف بمعدل متزايد بشكل حاد، وهو أيضًا ما يجعل AdaBoost حساسًا للنقاط المشوشة والقيم المتطرفة.
الصيغة
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])بعد العديد من الجولات، يتم تجميع المتعلمين الضعفاء في تنبؤ واحد عن طريق تصويت الأغلبية المرجح، مع ترجيح كل متعلم حسب دقته. يشكل هذا المجموع من المتعلمين البسيطين والمركزين العديدين مصنفًا قويًا واحدًا.
الصيغة
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)الأخطاء الشائعة
- تشغيل AdaBoost على بيانات مليئة بالقيم المتطرفة دون فحصها أولاً.
- السماح لعدد المقدرات بالنمو دون قيود بدلاً من ضبطه.
- استخدامه على عينة أقل من حوالي 50 ملاحظة، حيث تهيمن النقاط المشوشة على الترجيح.
- اللجوء إلى AdaBoost عندما يكون تجميع أكثر قوة مثل الغابة العشوائية مناسبًا للبيانات المشوشة بشكل أفضل.
الأسئلة الشائعة
كيف يختلف AdaBoost عن الغابة العشوائية؟
تبني الغابة العشوائية العديد من الأشجار المستقلة بالتوازي وتتوسطها (التجميع)؛ يبني AdaBoost متعلمين ضعفاء بالتتابع، كل منهم يركز على الحالات التي أخطأت فيها الحالات السابقة (التعزيز). بسبب خسارته الأسية، فإن AdaBoost أكثر حساسية للضوضاء والقيم المتطرفة، بينما الغابة العشوائية أكثر قوة.
لماذا AdaBoost حساس للقيم المتطرفة؟
يستخدم دالة خسارة أسية تعاقب الخطأ في التصنيف بمعدل متزايد بشكل حاد. النقاط التي يتم تصنيفها بشكل خاطئ باستمرار - غالبًا القيم المتطرفة أو الملاحظات المشوشة - تستمر في اكتساب الوزن، لذلك يمكن أن تهيمن على التكرارات اللاحقة وتدهور النموذج.
كم عدد المقدرات التي يجب أن أستخدمها؟
يتحكم عدد المقدرات (المتعلمين الضعفاء) في خطر التجاوز الصغير ولكنه الحقيقي لـ AdaBoost. قم بزيادته أثناء تحسن أداء التحقق، وتوقف بمجرد أن يستقر أو يبدأ في التدهور.
ما هو المتعلم الضعيف هنا؟
عادةً ما يكون جذع قرار - شجرة قرار بعمق 1. بمفرده، يكون أفضل بقليل من الصدفة، ولكن AdaBoost يجمع العديد منها، كل منها مرجح حسب دقته، في مصنف قوي واحد.
طرق ذات صلة
المصادر
Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.
افتح مرجع DOIتم النسخ.