الانتقال إلى المحتوى
العودة إلى نتائج البحث

تجميع التعبئة

قدّمه
Leo Breiman
السنة
1996
النوع
parallel ensemble
العائلة
Ensemble

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التعبئة، اختصار لتجميع التمهيد (bootstrap aggregating)، هي طريقة تجميعية تقلل التباين عن طريق تدريب نسخ متعددة من خوارزمية تعلم واحدة على مجموعات فرعية عشوائية مختلفة من بيانات التدريب. يتم إنشاء كل مجموعة فرعية عبر أخذ عينات التمهيد - سحب عينات عشوائية مع الإحلال. يتم دمج التنبؤات عن طريق التصويت بالأغلبية (التصنيف) أو المتوسط (الانحدار). قدمها ليو بريمان في عام 1996، وتشكل التعبئة الأساس للغابات العشوائية وهي فعالة بشكل خاص في تقليل الإفراط في التخصيص (overfitting) في النماذج ذات التباين العالي.

الفكرة الحدسية وراء الطريقة

الفكرة الأساسية هي أنه من خلال تدريب نفس النموذج على مجموعات فرعية مختلفة من البيانات العشوائية وقياس متوسط تنبؤاتها، فإنك تقلل التباين دون زيادة التحيز. إذا كان النموذج يفرط في التخصيص لعينة تدريب معينة، فإن عينات التمهيد المختلفة تكشف عن مجموعات فرعية مختلفة من هذا الإفراط في التخصيص، ويقوم المتوسط بإلغاء الأنماط الزائفة. تعمل التعبئة عن طريق استغلال العشوائية: كل عينة تمهيد مختلفة قليلاً، لذلك كل نموذج مدرب مختلف قليلاً، ويكون تجميعها أكثر استقرارًا من أي نموذج فردي.

التاريخ

تم تقديم التعبئة بواسطة ليو بريمان في عام 1996، بناءً على طريقة التمهيد من الإحصاء (Efron, 1979). أظهر بريمان أن التعبئة تقلل خطأ التنبؤ للمتعلمين غير المستقرين عن طريق تقليل التباين. أصبحت الطريقة أساسية مع تقديم الغابات العشوائية (Breiman, 2001)، التي تجمع بين التعبئة والاختيار العشوائي للميزات. تظل التعبئة تقنية قياسية في التعلم الآلي، خاصة لطرق التجميع.

متى تُستخدم

استخدم التعبئة عند العمل مع نماذج ذات تباين عالٍ (مثل أشجار القرار، الشبكات العصبية) التي تميل إلى الإفراط في التخصيص. إنها فعالة بشكل خاص عندما تكون المتعلمون الأساسيون غير مستقرين - حساسين للتغييرات الصغيرة في بيانات التدريب. التعبئة أقل فعالية للنماذج ذات التحيز المنخفض والتباين المنخفض (مثل k-NN مع k صغير، الانحدار الخطي على بيانات مستقرة). وهي مناسبة أيضًا للحوسبة المتوازية نظرًا لأنه يمكن تدريب كل متعلم أساسي بشكل مستقل.

الحدود والاعتبارات

  • لا يوفر تقليلًا للتحيز؛ فعال فقط للمتعلمين الأساسيين ذوي التباين العالي.
  • تتزايد التكلفة الحسابية خطيًا مع عدد المتعلمين الأساسيين.
  • عينات التمهيد تفتقر إلى التنوع مقارنة باستراتيجيات أخذ العينات المتعمدة.
  • قد لا يحسن الأداء عندما يكون لدى النماذج الأساسية تحيز عالٍ (مثل النماذج الخطية على بيانات معقدة).

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • تقليل التباين دون زيادة التحيز، وتحسين التعميم.
  • يعمل مع أي نوع من المتعلمين الأساسيين؛ يمكن استخدام نماذج غير مستقرة مثل الأشجار.
  • قابل للتوازي بسهولة - يمكن معالجة كل عينة تمهيد بشكل مستقل.
  • يوفر تقديرات للتباين من خلال حساب خطأ خارج العينة (out-of-bag error).
  • سهل التنفيذ مع الحد الأدنى من ضبط المعلمات الفائقة.

التطبيقات

  • التشخيص الطبي: تجميع أشجار القرار لتصنيف الأمراض لتحسين المتانة ضد بيانات المرضى المشوشة.
  • نمذجة المخاطر المالية: تجميع أشجار القرار للتنبؤ بتعثر الائتمان عبر ظروف السوق.
  • الاستشعار عن بعد: تجميع مصنفات الصور لتصنيف صور الأقمار الصناعية مع تقليل الإفراط في التخصيص.
  • علم الجينوم: طرق التجميع لاختيار الجينات والتنبؤ بالأمراض من بيانات المصفوفات الدقيقة عالية الأبعاد.
  • مراقبة جودة التصنيع: تجميع الشبكات العصبية للكشف عن العيوب في عمليات الإنتاج.

كيف يعمل

كيف يعمل

1

إنشاء B عينة تمهيد عن طريق أخذ عينات عشوائية من بيانات التدريب مع الإحلال، كل منها بحجم يساوي مجموعة البيانات الأصلية.

2

تدريب متعلم أساسي مستقل (مثل شجرة القرار، شبكة عصبية) على كل عينة تمهيد.

3

بالنسبة لمدخل جديد، قم بتمريره عبر جميع المتعلمين الأساسيين المدربين B واجمع تنبؤاتهم.

4

دمج التنبؤات عن طريق التصويت بالأغلبية (التصنيف) أو المتوسط (الانحدار).

الأخطاء الشائعة

  • استخدام عدد قليل جدًا من المتعلمين الأساسيين (B < 20) يقلل من فائدة تقليل التباين؛ تحدث عوائد متناقصة عادةً حول B = 100-500.
  • تدريب المتعلمين الأساسيين على مجموعات فرعية متداخلة (مثل تقسيمات البيانات المتتالية) بدلاً من عينات التمهيد العشوائية.
  • افتراض أن التعبئة تقضي على الإفراط في التخصيص؛ فهي تقلل التباين ولكن النماذج المتحيزة تظل متحيزة.
  • عدم الاستفادة من تنبؤات خارج العينة للتحقق، مما يفوّت بديلاً فعالاً للتحقق المتقاطع.

الأسئلة الشائعة

كم عدد عينات التمهيد (B) التي يجب أن أستخدمها؟

ابدأ بـ B = 50-100 وراقب الأداء؛ عادةً ما تستقر الفوائد حول B = 100-500. زد B إذا توقف تقليل التباين. للتطبيقات الحرجة، قد يكون B > 1000 مبررًا على الرغم من التكلفة الحسابية.

ما هو خطأ خارج العينة وكيف أستخدمه؟

تستبعد كل عينة تمهيد حوالي 1/3 من البيانات الأصلية (حوالي 36.8٪ في المتوسط). يمكن استخدام هذه العينات خارج العينة للتحقق من صحة هذا النموذج المحدد دون الحاجة إلى مجموعة تحقق منفصلة. متوسط الأخطاء خارج العينة عبر جميع النماذج يقدر خطأ التعميم.

هل التعبئة أفضل من التحقق المتقاطع؟

إنهما يخدمان أغراضًا مختلفة. يقدر التحقق المتقاطع أداء النموذج؛ التعبئة تحسنه. استخدم التعبئة لتدريب تجميع وتقديرات خارج العينة للتحقق، وتجنب الحمل الزائد للتحقق المتقاطع k-fold.

هل يمكن للتعبئة تحسين نماذج التباين المنخفض مثل k-NN؟

ليس بفعالية. التعبئة مصممة للنماذج ذات التباين العالي. النماذج ذات التباين المنخفض (المستقرة، البسيطة) تستفيد قليلاً من تقليل التباين. ضع في اعتبارك طرق تجميع أخرى أو ركز على تقليل التحيز بدلاً من ذلك.

طرق ذات صلة

المصادر

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    افتح مرجع DOI
    تم النسخ.
  2. Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.

    افتح مرجع DOI
    تم النسخ.