الانتقال إلى المحتوى
العودة إلى نتائج البحث

التكديس

قدّمه
Wolpert, D.H.
السنة
1992
النوع
Ensemble (heterogeneous meta-learning)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التكديس، أو التعميم المكدس (stacked generalization)، هو أسلوب تجميعي (ensemble method) قدمه ديفيد وولبرت عام 1992 يجمع مخرجات نماذج أساسية مختلفة (المستوى 0) عبر نموذج فوقي (meta-model) منفصل (المستوى 1). على عكس التعبئة (bagging) والتعزيز (boosting)، فإنه يستخدم عمدًا أنواع نماذج غير متجانسة، وهو الاستراتيجية النهائية القياسية في مسابقات Kaggle.

الفكرة الحدسية وراء الطريقة

تُخطئ عائلات النماذج المختلفة بأخطاء مختلفة: مجموعة أشجار (tree ensemble) وآلة المتجهات الداعمة (support vector machine) ونموذج خطي تلتقط البيانات بطريقتها الخاصة. يعامل التكديس تنبؤاتها كميزات جديدة ويدرب نموذجًا إضافيًا لتعلم أفضل طريقة لدمجها، بحيث يمكن للنموذج الفوقي الاعتماد على كل نموذج أساسي حيث يكون قويًا ويتجاهله حيث يكون ضعيفًا - مما ينتج عنه تنبؤ مجمع يتفوق عادةً على أي نموذج فردي.

التاريخ

تم تقديم التعميم المكدس بواسطة ديفيد وولبرت في عام 1992 كوسيلة لدمج العديد من المعممين عبر نموذج أعلى مستوى. تم لاحقًا صياغة الفكرة وإعطاؤها أساسًا نظريًا قويًا بواسطة فان دير لان وبولي وهوبارد في عام 2007 تحت اسم Super Learner، والذي يستخدم التحقق المتقاطع لدمج مكتبة من المتعلمين الأساسيين. أصبح التكديس منذ ذلك الحين استراتيجية المرحلة الأخيرة القياسية في مسابقات التعلم الآلي، حيث تتصدر مجموعات النماذج غير المتجانسة (ensembles of heterogeneous models) لوحات الصدارة بشكل روتيني.

متى تُستخدم

استخدم التكديس عندما تكون دقة التنبؤ هي الأولوية ولديك عدة نماذج أساسية قوية ومتنوعة بشكل معقول لدمجها، على بيانات مقطعية (cross-sectional data) ذات ميزات مستمرة أو فئوية أو ثنائية وما لا يقل عن 100 ملاحظة تقريبًا. لا يتطلب بيانات موزعة طبيعيًا. تحت حوالي 100 ملاحظة، لا يمكن للتحقق المتقاطع k-fold توليد تنبؤات كافية وموثوقة للمستوى 0 ويتجاوز النموذج الفوقي البيانات، لذا فإن نموذجًا واحدًا مضبوطًا مثل الغابة العشوائية أو XGBoost يكون أكثر أمانًا.

الحدود والاعتبارات

  • يحتاج إلى عينة كبيرة إلى حد ما (حوالي 100+) حتى يتمكن التحقق المتقاطع k-fold من توليد تنبؤات موثوقة للمستوى 0.
  • تقل المكاسب عندما تكون النماذج الأساسية مرتبطة ارتباطًا وثيقًا بدلاً من أن تكون متنوعة.
  • أكثر تعقيدًا ويتطلب موارد حسابية أكثر من نموذج واحد، وأصعب في التفسير كوحدة واحدة.
  • في العينات الصغيرة، لا يمكن تحقيق تنوع النماذج الأساسية ويكون نموذج واحد كافيًا عادةً.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • غالبًا ما يحقق أعلى دقة تنبؤية من خلال استغلال النماذج الأساسية غير المتجانسة التي ترتكب أخطاء مختلفة.
  • مرن: يمكن لأي مزيج من عائلات النماذج أن تعمل كمتعلمين أساسيين، مع نموذج فوقي بسيط في الأعلى.
  • قليل الافتراضات - لا يتطلب افتراض التوزيع الطبيعي، ويتعامل مع الميزات المستمرة والفئوية والثنائية.
  • الاستراتيجية النهائية المثبتة في إعدادات التنبؤ التنافسية مثل Kaggle.

التطبيقات

  • التجميع النهائي في مسابقات النمذجة التنبؤية مثل Kaggle.
  • دمج النماذج غير المتجانسة لتحقيق تصنيف وتنبؤ عالي الدقة.
  • مجموعات Super Learner في الإحصاء الحيوي (biostatistics) وعلم الأوبئة (epidemiology).
  • دمج النماذج القوية والمتنوعة عند التركيز على استخلاص دقة إضافية.

كيف يعمل

كيف يعمل

1

يتم تدريب مجموعة متنوعة من المتعلمين الأساسيين (المستوى 0) على البيانات - على سبيل المثال، غابة عشوائية (random forest)، ونموذج تعزيز التدرج (gradient-boosting model)، وآلة متجهات داعمة (SVM). كلما كانت هذه النماذج أكثر تنوعًا واستقلالًا متبادلًا، زادت الفائدة التي يمكن أن يحققها التكديس؛ عندما تكون النماذج الأساسية مرتبطة ارتباطًا وثيقًا ببعضها البعض، يتقلص منفعة التكديس.

2

يتم إنتاج تنبؤات المستوى 0 عبر التحقق المتقاطع k-fold (k-fold cross-validation) بدلاً من البيانات نفسها التي تم تدريب النماذج الأساسية عليها. هذا المخطط خارج الطيات (out-of-fold scheme) ضروري لمنع تسرب البيانات: تأتي ميزات كل ملاحظة من نماذج لم ترها أثناء التدريب.

3

يتم تدريب نموذج فوقي (المستوى 1) على مخرجات النماذج الأساسية التي تم التحقق منها بشكل متقاطع لإنتاج التنبؤ النهائي. عادةً ما يتم الاحتفاظ بالمتعلم الفوقي (meta-learner) بسيطًا - الانحدار اللوجستي (logistic regression)، أو انحدار ريدج (ridge regression)، أو XGBoost صغير - بحيث يتعلم أوزانًا معقولة لدمج النماذج الأساسية دون أن يتجاوز هو نفسه البيانات (overfitting).

الصيغة
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

الأخطاء الشائعة

  • توليد تنبؤات المستوى 0 على نفس البيانات التي تم تدريب النماذج الأساسية عليها، مما يتسبب في تسرب المعلومات إلى النموذج الفوقي.
  • تكديس العديد من النماذج الأساسية شديدة الارتباط وتوقع مكاسب كبيرة.
  • استخدام نموذج فوقي معقد للغاية يتجاوز البيانات (overfits) لمخرجات النماذج الأساسية بدلاً من المنحدر البسيط.
  • تطبيق التكديس على مجموعة بيانات صغيرة حيث يكون تنوع النماذج الأساسية والتحقق المتقاطع الموثوق به مستحيلًا.

الأسئلة الشائعة

كيف يختلف التكديس عن التعبئة (bagging) والتعزيز (boosting)؟

تبني التعبئة والتعزيز العديد من النماذج من نفس النوع، بينما يجمع التكديس عمدًا عائلات نماذج غير متجانسة ويتعلم كيفية دمجها باستخدام نموذج فوقي منفصل. هذا التنوع هو مصدر ميزة التكديس.

لماذا نستخدم التحقق المتقاطع لبناء الميزات الفوقية؟

إذا تم تدريب النموذج الفوقي على تنبؤات قامت بها النماذج الأساسية على بيانات التدريب الخاصة بها، فإن المعلومات تتسرب ويتجاوز التكديس البيانات. إن إنتاج تنبؤات المستوى 0 خارج الطيات عبر التحقق المتقاطع k-fold يعطي النموذج الفوقي مدخلات صادقة.

ماذا يجب أن يكون النموذج الفوقي؟

اجعله بسيطًا - الانحدار اللوجستي، أو انحدار ريدج، أو XGBoost صغير. يتعلم المتعلم الفوقي البسيط أوزان دمج معقولة دون تجاوز مخرجات النماذج الأساسية (overfitting).

متى لا ينبغي لي استخدام التكديس؟

عندما يكون لديك أقل من حوالي 100 ملاحظة، لا يمكن للتحقق المتقاطع إنتاج تنبؤات كافية وموثوقة للمستوى 0 ويصعب تحقيق تنوع النماذج الأساسية، لذا فإن الغابة العشوائية المضبوطة بشكل فردي أو XGBoost هو الخيار الأكثر أمانًا.

طرق ذات صلة

المصادر

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    افتح مرجع DOI
    تم النسخ.
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    افتح مرجع DOI
    تم النسخ.