الانتقال إلى المحتوى
العودة إلى نتائج البحث

التعميم المكدس

قدّمه
David Wolpert
السنة
1992
النوع
meta-learning aggregation
العائلة
Ensemble

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التعميم المكدس، أو التكديس، هو طريقة تجميع ذات مستويين حيث يتم تدريب المصنفات الأساسية على البيانات الأصلية، ويتم تدريب متعلم ميتا (meta-learner) على تنبؤات المصنفات الأساسية. يتعلم متعلم الميتا كيفية دمج تنبؤات الأساس بشكل أفضل بدلاً من استخدام قواعد تجميع ثابتة. قدم ديفيد وولبرت التكديس في عام 1992، ويحقق أداءً متطورًا من خلال تعلم الأوزان المثلى وأنماط التفاعل بين النماذج الأساسية تلقائيًا.

الفكرة الحدسية وراء الطريقة

يعالج التكديس قيدًا أساسيًا في التصويت البسيط: ليست كل المصنفات الأساسية دقيقة بنفس القدر، والقواعد الثابتة تتجاهل هذا. بدلاً من التصويت بالأغلبية أو المتوسط البسيط، يقوم التكديس بتدريب نموذج من المستوى الثاني يتعلم أن يثق بالمصنفات الأساسية عالية الأداء أكثر وأن يشك في المصنفات غير الموثوقة. يرى متعلم الميتا أنماطًا في تنبؤات الأساس ويتعلم متى يدمجها. فكر في الأمر على أنه تعليم صانع قرار التعرف على الخبير الذي يجب تصديقه في مواقف مختلفة.

التاريخ

تمت صياغة التكديس بواسطة ديفيد وولبرت في عام 1992 وتم توسيعه بواسطة بريمان (1996) للانحدار. ظل متخصصًا نسبيًا حتى أظهرت مسابقات التعلم الآلي (Kaggle، Netflix Prize) فعاليتها. قامت المتغيرات الحديثة مثل المتعلم الفائق (Van der Laan & Polley، 2007) والخلط بتحسين النهج بشكل أكبر. أصبح التكديس الآن تقنية قياسية في التعلم التجميعي، لا سيما في التعلم الآلي التنافسي.

متى تُستخدم

استخدم التكديس عندما يكون لديك مصنفات أساسية متنوعة ذات دقة فردية معتدلة وترغب في تحسين دمجها. إنه فعال بشكل خاص عندما تتمتع النماذج الأساسية بنقاط قوة وضعف مختلفة (مثل أشجار القرار، الشبكات العصبية، آلات المتجهات الداعمة). تجنب التكديس إذا كانت المصنفات الأساسية مرتبطة ارتباطًا وثيقًا أو إذا كانت التكلفة الحسابية حرجة، حيث يتطلب التكديس تدريب نموذج ميتا إضافي.

الحدود والاعتبارات

  • يتطلب تصميمًا دقيقًا لتجنب الإفراط في التجهيز: يمكن لمتعلم الميتا حفظ تنبؤات الأساس إذا لم يتم التحقق منه بشكل صحيح.
  • زيادة التكلفة الحسابية: تدريب K+1 نماذج بدلاً من K فقط.
  • اختيار متعلم الميتا غالبًا ما يكون خاصًا بالمشكلة؛ لا يوجد خيار أفضل عالمي.
  • تقل قابلية التفسير مع زيادة التعقيد - يصعب فهم منطق اتخاذ القرار النهائي.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يتعلم أوزان التجميع المثلى تلقائيًا، متفوقًا على قواعد التصويت الثابتة.
  • يتكيف مع نقاط القوة والضعف للمصنفات الأساسية الفردية.
  • يتعامل مع المتعلمين الأساسيين غير المتجانسين (خوارزميات مختلفة، معلمات فائقة مختلفة).
  • غالبًا ما يحقق أداءً متطورًا في مسابقات التعلم الآلي.

التطبيقات

  • تحليل الصور الطبية: تكديس شبكات CNN، والغابات العشوائية، وتعزيز التدرج لتشخيص الأمراض من الأشعة السينية والرنين المغناطيسي.
  • التنبؤ المالي: دمج تنبؤات ARIMA، والشبكات العصبية، وآلات المتجهات الداعمة للتنبؤ بأسعار الأسهم أو مخاطر الائتمان.
  • معالجة اللغة الطبيعية: تكديس BERT، و GPT، والمصنفات ذات الميزات المصممة يدويًا لتصنيف النصوص وتحليل المشاعر.
  • مسابقات Kaggle: غالبًا ما تستخدم الحلول الفائزة تكديسًا متطورًا لأكثر من 50 نموذجًا أساسيًا مع متعلمي ميتا متعددين.
  • أنظمة التوصية: تكديس الترشيح التعاوني، والمحتوى، والنماذج العصبية للتنبؤ بتفضيلات المستخدم.

كيف يعمل

كيف يعمل

1

تدريب K مصنفات أساسية متنوعة (نماذج المستوى 0) على بيانات التدريب الأصلية باستخدام خوارزميات أو عينات بيانات مختلفة.

2

إنشاء ميزات ميتا عن طريق تمرير بيانات التدريب عبر كل مصنف أساسي وجمع تنبؤاتها. تشكل هذه التنبؤات مجموعة بيانات تدريب جديدة لمتعلم الميتا.

3

تدريب متعلم ميتا (نموذج المستوى 1، عادةً نموذج بسيط مثل الانحدار اللوجستي) على ميزات الميتا لتعلم أوزان الدمج المثلى.

4

للتنبؤ بعينة جديدة: قم أولاً بتمريرها عبر جميع المصنفات الأساسية، واجمع تنبؤاتها كميزات ميتا، ثم قم بتمريرها عبر متعلم الميتا لإنتاج التنبؤ النهائي.

الأخطاء الشائعة

  • تدريب متعلم الميتا على تنبؤات من نفس البيانات التي تم تدريب المصنفات الأساسية عليها (تسرب المعلومات). استخدم التحقق المتقاطع k-fold أو مجموعة بيانات التحقق المعزولة.
  • اختيار متعلم ميتا معقد للغاية بالنسبة لعدد تنبؤات الأساس (على سبيل المثال، متعلم ميتا غابة عشوائية مع 3 تنبؤات أساسية فقط).
  • إهمال ضمان تنوع المصنفات الأساسية بشكل كافٍ - يضخم التكديس الارتباط بدلاً من تقليله.
  • الإفراط في ضبط المعلمات الفائقة لمتعلم الميتا، مما قد يؤدي إلى الإفراط في التجهيز على ميزات الميتا للتحقق.

الأسئلة الشائعة

كيف أتجنب الإفراط في التجهيز في التكديس؟

استخدم التحقق المتقاطع k-fold لإنشاء ميزات الميتا: تصبح تنبؤات الاختبار لكل طية بيانات تدريب ميتا. هذا يمنع متعلم الميتا من رؤية التنبؤات على البيانات المستخدمة لتدريب المصنفات الأساسية. استخدم دائمًا مجموعة بيانات تحقق منفصلة معزولة للتقييم النهائي.

ما النموذج الذي يجب أن أستخدمه كمتعلم ميتا؟

غالبًا ما تعمل النماذج البسيطة بشكل أفضل: الانحدار اللوجستي، الانحدار الخطي، أو شجرة قرار صغيرة. نماذج الميتا المعقدة (الغابات العشوائية، الشبكات العصبية) تخاطر بالإفراط في التجهيز على ميزات الميتا. ابدأ ببساطة وأضف التعقيد فقط إذا استقر أداء التحقق.

هل يجب تدريب المصنفات الأساسية على نفس البيانات؟

لا. المصنفات الأساسية المتنوعة المدربة على عينات بيانات مختلفة (التعبئة) أو بخوارزميات مختلفة تحسن تعميم متعلم الميتا. المصنفات الأساسية المتطابقة تنتج تنبؤات متطابقة، ولا تقدم أي معلومات مفيدة لمتعلم الميتا.

هل يمكنني استخدام التكديس مع الانحدار والتصنيف؟

نعم. بالنسبة للانحدار، يتنبأ متعلم الميتا بقيم مستمرة من مخرجات المصنفات الأساسية للانحدار. بالنسبة للتصنيف، يتنبأ بالفئات من درجات احتمالية المصنفات الأساسية. المبدأ متطابق.

طرق ذات صلة

المصادر

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241-259.

    افتح مرجع DOI
    تم النسخ.
  2. Breiman, L. (1996). Stacked regressions. Machine Learning, 24(1), 49-64.

    افتح مرجع DOI
    تم النسخ.