الانتقال إلى المحتوى
العودة إلى نتائج البحث

التجميع الطبقي شبه المُشرف عليه

قدّمه
Combines Wolpert (1992) stacking with semi-supervised learning principles
السنة
2000s–2010s
النوع
Ensemble (stacked generalization with unlabeled data augmentation)
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يعمل التجميع الطبقي شبه المُشرف عليه (Semi-supervised Stacking Ensemble) على توسيع إطار التعميم الطبقي الكلاسيكي ليشمل الإعدادات التي تحمل فيها نسبة ضئيلة فقط من أمثلة التدريب تسميات. يتم تدريب المتعلمين الأساسيين أولاً على البيانات المُسمّاة، ثم تُستخدم لتعيين تسميات زائفة للأمثلة غير المُسمّاة؛ تُدرّب مجموعة البيانات الموسعة نماذج أساسية أقوى تشكل تنبؤاتها خارج الطيات مدخلاً للمتعلم الفوقي (meta-learner)، مما ينتج عنه تجميع من مستويين يستغل كلاً من البنية المُسمّاة وغير المُسمّاة.

الفكرة الحدسية وراء الطريقة

يتفوق التجميع الطبقي بالفعل على النماذج الفردية من خلال تدريب متعلم فوقي على تنبؤات نماذج أساسية متنوعة. يضيف التجميع الطبقي شبه المُشرف عليه خدعة أخرى: بدلاً من التخلص من المجموعة الكبيرة من الأمثلة غير المُسمّاة، فإنه يستخدم النماذج الأساسية الحالية لتخمين تسمياتها بحد معين من الثقة، ثم يعيد دمج هذه الأمثلة ذات التسميات الزائفة في التدريب، ويعيد تدريب النماذج الأساسية، ويكرر العملية. تمنح كل تكرار النماذج الأساسية المزيد من البيانات للتعلم منها، بحيث تصبح الميزات الفوقية (meta-features) التي تنتجها للمتعلم الفوقي أكثر إفادة تدريجياً - كل ذلك دون الحاجة إلى أي تعليق بشري إضافي.

التاريخ

تم إضفاء الطابع الرسمي على التعميم الطبقي بواسطة Wolpert في عام 1992 كطريقة لدمج نماذج متعددة من خلال متعلم فوقي مُتعلم. تم توحيد مبادئ التعلم شبه المُشرف عليه - استخدام البيانات غير المُسمّاة لتحسين النماذج المُشرف عليها - بواسطة Chapelle وSchölkopf وZien في مجلد مطبعة MIT لعام 2006. ظهر الدمج الصريح بين الاثنين، وهو التجميع الطبقي شبه المُشرف عليه، في أدبيات التعلم الآلي التطبيقي خلال العقدين الأول والثاني من القرن الحادي والعشرين، مع تبني خاص في التعلم الآلي التنافسي والمجالات التي تكون فيها عملية التسمية نادرة.

متى تُستخدم

استخدم التجميع الطبقي شبه المُشرف عليه عندما يكون لديك مهمة تصنيف أو انحدار مع مجموعة بيانات مُسمّاة صغيرة ومجموعة كبيرة من متجهات الميزات غير المُسمّاة - وهو إعداد شائع في التصوير الطبي، ومعالجة اللغة الطبيعية (NLP)، أو الاستشعار عن بعد حيث تكون عملية التسمية مكلفة. يكون فعالاً بشكل خاص عندما تكون البيانات غير المُسمّاة مستمدة من نفس توزيع البيانات المُسمّاة وعندما تتوفر 3-5 عائلات متنوعة على الأقل من المتعلمين الأساسيين. تجنب استخدامه عندما تكون مجموعة البيانات غير المُسمّاة صغيرة (مما لا يوفر أي فائدة على التجميع الطبقي القياسي)، أو عندما تكون المجموعة المُسمّاة كبيرة بما يكفي بحيث تكون المكاسب شبه المُشرف عليها هامشية، أو عندما يُشتبه في وجود تحول في التوزيع بين الأمثلة المُسمّاة وغير المُسمّاة، حيث ستتراكم أخطاء التسميات الزائفة عبر التكرارات.

الحدود والاعتبارات

  • تتراكم أخطاء التسميات الزائفة عبر التكرارات؛ إذا كانت النماذج الأساسية الأولية ضعيفة، فإن التنبؤات الواثقة الخاطئة يمكن أن تؤدي إلى تدهور الأداء بدلاً من تحسينه.
  • سطح المعلمات الفائقة واسع: يتفاعل عدد التكرارات، وعتبة الثقة، وعدد الطيات، وتنوع المتعلم الأساسي جميعها.
  • مكلف حسابياً: يتم تكرار إعادة التدريب k-fold عبر متعلمين أساسيين متعددين لعدة تكرارات، لذا ينمو وقت التشغيل بسرعة.
  • يتطلب أن يتطابق التوزيع غير المُسمّى بشكل وثيق مع التوزيع المُسمّى؛ يؤدي تحول المتغيرات المشتركة إلى إبطال افتراض التسمية الزائفة.
  • قابلية التفسير منخفضة - مستويان متراكمان بالإضافة إلى التسمية الزائفة المتكررة تجعل من الصعب تتبع كيفية تشكيل أي تنبؤ فردي.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يستفيد من مجموعات كبيرة من البيانات غير المُسمّاة دون تكلفة تسمية إضافية، وغالباً ما يحسن الدقة بشكل كبير مقارنة بالتجميع الطبقي المُشرف عليه فقط.
  • يرث جميع فوائد التجميع الطبقي الكلاسيكي: يقلل التنوع عبر المتعلمين الأساسيين من التباين والتحيز في آن واحد.
  • مرن: يمكن لأي متعلم مُشرف عليه أن يعمل كنموذج أساسي أو متعلم فوقي، مما يجعل الإطار قابلاً للتطبيق على نطاق واسع.
  • يوفر تحديد عتبة الثقة آلية مبدئية للتحكم في جودة التسميات الزائفة التي يتم إدخالها في كل تكرار.
  • يتوسع بشكل جيد - البيانات غير المُسمّاة رخيصة، لذا تصبح الطريقة أكثر قيمة مع نمو نسبة الأمثلة غير المُسمّاة إلى الأمثلة المُسمّاة.

التطبيقات

  • تصنيف الصور الطبية حيث تكون الفحوصات المُعلّمة نادرة ولكن الفحوصات غير المُعلّمة وفيرة.
  • مهام معالجة اللغة الطبيعية (المشاعر، الموضوع) مع مجموعات كبيرة غير مُعلّمة ومجموعات تدريب مُعلّمة صغيرة.
  • تصنيف الغطاء الأرضي بالاستشعار عن بعد باستخدام صور الأقمار الصناعية الوفيرة مع عدد قليل من تسميات الحقيقة الأرضية.
  • الكشف عن الاحتيال حيث تكون حالات الاحتيال المؤكدة نادرة مقارنة بالمعاملات غير المراجعة.
  • مهام المعلوماتية الحيوية مثل التنبؤ بوظيفة البروتين مع أمثلة محدودة تم التحقق منها تجريبياً.

كيف يعمل

كيف يعمل

1

يتم تدريب المتعلمين الأساسيين (مثل أشجار التعزيز التدرجي، آلات المتجهات الداعمة (SVMs)، الشبكات العصبية) على المجموعة الفرعية المُسمّاة. ثم يتنبأون باحتمالات الفئة لكل مثال غير مُسمّى؛ الأمثلة التي يتجاوز فيها أقصى احتمال متوقع عتبة الثقة يتم تعيين تسميات زائفة لها وإضافتها إلى مجموعة التدريب العاملة للتكرار التالي.

2

يتم (إعادة) تدريب المتعلمين الأساسيين المتنوعين على المجموعة المدمجة من الأمثلة ذات التسميات الحقيقية والتسميات الزائفة باستخدام التحقق المتقاطع k-fold لتجنب تسرب البيانات. التنوع عبر النماذج الأساسية - في عائلة الخوارزميات، أو قوة التنظيم، أو المجموعات الفرعية للميزات - أمر بالغ الأهمية؛ فالتجميعات المتجانسة لا تستفيد إلا قليلاً من المستوى الثاني.

3

يتم جمع التنبؤات خارج الطيات من كل متعلم أساسي على الأمثلة المُسمّاة في مصفوفة ميزات فوقية. يتوافق كل صف مع مثال تدريب مُسمّى؛ وكل عمود هو تنبؤ لنموذج أساسي واحد تم تقديره على طية لم ترَ هذا المثال، مما يحافظ على تمثيل غير متحيز للمتعلم الفوقي.

4

يتم تدريب متعلم فوقي (عادةً الانحدار اللوجستي، أو شبكة عصبية ضحلة، أو نموذج شجري آخر) على مصفوفة الميزات الفوقية مع التسميات الحقيقية. يتعلم كيفية دمج مخرجات المتعلم الأساسي بأفضل شكل، وتصحيح تحيزاتها المنهجية واستغلال نقاط قوتها التكميلية.

5

تُكرر الخطوات 1-4 لعدد ثابت من التكرارات أو حتى تستقر مجموعة التسميات الزائفة (عدد قليل من الأمثلة الجديدة تتجاوز عتبة الثقة). في كل مرة، يمكن تخفيف عتبة الثقة قليلاً لدمج المزيد من البيانات غير المُسمّاة، ولكن يجب توخي الحذر: عتبة منخفضة جداً تنشر تسميات زائفة خاطئة وتقلل من الأداء.

الأخطاء الشائعة

  • تحديد عتبة الثقة منخفضة جداً في التكرارات المبكرة، مما يغمر مجموعة التدريب بتسميات زائفة صاخبة تقلل من جودة المتعلم الأساسي.
  • استخدام متعلم أساسي واحد أو اثنين فقط شديدي الارتباط؛ بدون تنوع، يتلقى المتعلم الفوقي إشارات زائدة ولا يتفوق التجميع على نموذج واحد.
  • الفشل في استخدام التحقق المتقاطع عند إنشاء الميزات الفوقية، مما يتسبب في تسرب البيانات الذي يضخم دقة التدريب ويضلل تدريب المتعلم الفوقي.
  • تقييم الأداء النهائي على الأمثلة ذات التسميات الزائفة بدلاً من مجموعة اختبار مُسمّاة حقيقياً ومحتفظ بها، مما ينتج عنه مقاييس متفائلة بشكل مفرط.
  • تجاهل التقارب - تشغيل عدد كبير جداً من التكرارات بعد استقرار مجموعة التسميات الزائفة يهدر الحساب ويخاطر بالإفراط في التخصيص على تنبؤات واثقة ولكن خاطئة.

الأسئلة الشائعة

كيف أختار عتبة الثقة للتسمية الزائفة؟

نقطة البداية الشائعة هي 0.9 أو أعلى للتصنيف، مما يعني أن الأمثلة التي يتجاوز فيها احتمال الفئة الرائدة 90% فقط تتلقى تسمية زائفة. يمكن تخفيف العتبة في التكرارات اللاحقة مع تحسن النماذج الأساسية. راقب دائماً دقة التحقق عبر التكرارات لاكتشاف قيم العتبة التي تُدخل الكثير من الضوضاء.

ما هي المتعلمين الأساسيين الذين يجب أن أستخدمهم؟

التنوع هو المبدأ الأساسي. يجمع التركيب النموذجي بين أشجار التعزيز التدرجي (مثل XGBoost)، وآلة المتجهات الداعمة (SVM) ذات النواة الشعاعية، وشبكة عصبية. يمنح دمج النماذج التي تختلف في ملف تعريف التحيز-التباين وفي العلاقات بين الميزات التي تلتقطها الميزات الفوقية الأكثر إفادة للمستوى الثاني.

كيف يختلف هذا عن التجميع الطبقي القياسي؟

يستخدم التجميع الطبقي القياسي البيانات المُسمّاة فقط طوال الوقت. يضيف التجميع الطبقي شبه المُشرف عليه حلقة تسمية زائفة توسع مجموعة التدريب الفعالة بشكل متكرر بأمثلة غير مُسمّاة ذات ثقة عالية، لذا فهو الأكثر فائدة عندما تكون البيانات المُسمّاة نادرة والبيانات غير المُسمّاة وفيرة.

هل يمكنه التعامل مع الانحدار وكذلك التصنيف؟

نعم. بالنسبة للانحدار، يتم استبدال تحديد عتبة الثقة بمعيار قائم على البواقي - على سبيل المثال، تضمين الأمثلة ذات التسميات الزائفة التي تكون قيمتها المتوقعة مستقرة (تباين منخفض) عبر النماذج الأساسية. ثم يجمع المتعلم الفوقي المخرجات المستمرة بدلاً من احتمالات الفئة.

ما هو خطر أخطاء انتشار التسميات؟

إذا كانت النماذج الأساسية الأولية غير دقيقة، فقد تكون تنبؤاتها الواثقة خاطئة، ويتم تعزيز هذه الأخطاء في التكرارات اللاحقة. استخدام عتبة ثقة أولية عالية، ومراقبة مجموعة تحقق مُسمّاة محتفظ بها عبر التكرارات، والتوقف عندما يتوقف أداء التحقق عن التحسن هي الدفاعات الرئيسية.

طرق ذات صلة

المصادر

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    افتح مرجع DOI
    تم النسخ.
  2. Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ردمك: 978-0-262-03358-9
    تم النسخ.