الانتقال إلى المحتوى
العودة إلى نتائج البحث

تجميع التعلم النشط المكدس

قدّمه
Wolpert, D. H. (stacking); Settles, B. (active learning survey)
السنة
1992–2012
النوع
Hybrid (active learning + stacked ensemble)
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يجمع تجميع التعلم النشط المكدس بين حلقة استعلام التعلم النشط والتعميم المكدس: تتوفر مجموعة من البيانات غير المسماة، ويختار النموذج بشكل متكرر الحالات الأكثر إفادة للتسمية البشرية، باستخدام تلك التسميات لتدريب وتحسين تجميع مكدس من المتعلمين الأساسيين المتعددين يعلوه متعلم ميتا. يقلل هذا النهج من تكلفة التعليق التوضيحي مع زيادة القوة التنبؤية للتجميع.

الفكرة الحدسية وراء الطريقة

تسمية البيانات مكلفة. يسأل التعلم النشط: أي الأمثلة غير المسماة ستعلم النموذج أكثر؟ من خلال قياس عدم اليقين أو عدم الاتفاق بين المتعلمين الأساسيين لتجميع مكدس، يمكن للنظام توجيه المُعلِّق البشري إلى الأمثلة التي يكون فيها التجميع الأكثر ارتباكًا. يتم تغذية كل نقطة مسماة حديثًا مرة أخرى في خط أنابيب التكديس، وتحديث كل من المتعلمين الأساسيين والمتعلم الميتا. النتيجة هي تجميع قوي مبني بعلامات أقل بكثير مما يتطلبه التدريب الإشرافي القياسي.

التاريخ

تم تقديم التعميم المكدس بواسطة ديفيد وولبرت في عام 1992 كوسيلة لدمج المتعلمين الأساسيين المتنوعين عبر متعلم ميتا. تم مسح التعلم النشط كإطار منهجي لاختيار الأمثلة المفيدة بشكل شامل بواسطة بور سيتلز في عام 2012. ظهر الدمج - تطبيق استراتيجيات الاستعلام النشط على هياكل التجميع أو التكديس - في العقدين الأول والثاني من القرن الحادي والعشرين حيث سعى الباحثون إلى تقليل تكاليف التعليق التوضيحي للنماذج المعقدة، وهو الآن نموذج راسخ في التعلم الآلي منخفض الموارد وفعال في التعليق التوضيحي.

متى تُستخدم

استخدم تجميع التعلم النشط المكدس عندما تكون البيانات المسماة نادرة أو مكلفة للحصول عليها، وتتوفر مجموعة كبيرة من البيانات غير المسماة، وتحتاج إلى دقة تنبؤية قوية. إنه ذو قيمة خاصة في مجالات مثل التعليق الطبي، وتصنيف المستندات القانونية، وتسمية الصور العلمية، حيث يكون وقت الخبير محدودًا. لا تستخدم هذا النهج عندما يمكن تسمية جميع البيانات بتكلفة زهيدة - سيكون التكديس القياسي أبسط وفعالًا بنفس القدر. تجنبه عندما تكون مجموعة البيانات غير المسماة صغيرة (يوفر اختيار النشاط فائدة قليلة) أو عندما تكون التنبؤات في الوقت الفعلي مطلوبة أثناء حلقة الاستعلام، نظرًا لأن إعادة تدريب المكدس بعد كل استعلام مكلفة حسابيًا.

الحدود والاعتبارات

  • إعادة تدريب تجميع التكديس الكامل بعد كل استعلام مكلفة حسابيًا لمجموعات المتعلمين الأساسيين الكبيرة.
  • تصميم استراتيجية الاستعلام ليس أمرًا بسيطًا: قد تختار دالة اكتساب ضعيفة أمثلة مكررة أو غير مفيدة.
  • يتطلب المتعلم الميتا بيانات مسماة كافية لتعلم أوزان دمج موثوقة؛ مع عدد قليل جدًا من العلامات، تكون الميزات الميتا مشوشة.
  • يمكن أن يؤدي زمن استجابة التغذية الراجعة من مصدر موثوق بشري إلى إبطاء الحلقة التكرارية في الممارسة العملية.
  • يعتمد الأداء بشكل كبير على تنوع المتعلم الأساسي والمتعلم الميتا المختار.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يحقق دقة تنبؤية عالية بأمثلة مسماة أقل من التكديس الإشرافي السلبي.
  • التنوع في التجميع من متعلمين أساسيين متعددين يجعل تقديرات عدم يقين الاستعلام أكثر موثوقية.
  • يقوم المتعلم الميتا بدمج المتعلمين الأساسيين بشكل تكيفي، مع تصحيح تحيز كل متعلم أساسي.
  • متوافق مع أي مجموعة تقريبًا من المتعلمين الأساسيين والمتعلم الميتا.
  • يقلل من ميزانية التعليق التوضيحي بشكل منهجي، مما يجعل وقت الخبير أكثر كفاءة.

التطبيقات

  • تصنيف الصور الطبية أو السجلات السريرية مع حالات مسماة محدودة.
  • تصنيف المستندات القانونية والتنظيمية حيث يكون التعليق التوضيحي الخبير مكلفًا.
  • تسمية البيانات العلمية في علم الأحياء والكيمياء والاستشعار عن بعد.
  • تحليل المشاعر وتصنيف النصوص مع بيانات مسماة نادرة خاصة بالمجال.
  • اكتشاف الاحتيال حيث تتطلب تسميات الحقيقة الأساسية تحقيقًا يدويًا.
  • أي مهمة تنبؤ جدولية مع مجموعة بيانات غير مسماة كبيرة وميزانية تسمية ضيقة.

كيف يعمل

كيف يعمل

1

تُستخدم مجموعة صغيرة من الأمثلة المسماة لتناسب المتعلمين الأساسيين الأوليين في المكدس. تظل البيانات المتبقية غير مسماة في مجموعة مرشحة. تحدد هذه المجموعة الأولية نقطة البداية لجميع استعلامات النشاط اللاحقة.

2

تقوم دالة اكتساب - مثل عدم يقين التنبؤ، أو أخذ عينات الهامش، أو استعلام حسب عدم الاتفاق بين لجان المتعلمين الأساسيين - بتقييم كل مرشح غير مسمى. يتم اختيار الحالة ذات أعلى درجة باعتبارها الأكثر إفادة للتسمية.

3

يتم تقديم الحالة المحددة إلى مُعلِّق بشري أو مصدر موثوق آلي، والذي يقوم بتعيين تسميتها الحقيقية. تتم إضافة هذا المثال المسمى إلى مجموعة التدريب لجولة التدريب التالية.

4

مع مجموعة البيانات المسماة المحدثة، يتم إعادة تدريب كل متعلم أساسي (مثل شجرة القرار، آلة المتجهات الداعمة، الانحدار اللوجستي). تشكل تنبؤات خارج الطية من المتعلمين الأساسيين على مجموعة التدريب مصفوفة الميزات الميتا المستخدمة لتدريب المتعلم الميتا.

5

يتم تدريب متعلم ميتا (عادةً الانحدار اللوجستي أو نموذج خطي) على الميزات الميتا التي ينتجها المتعلمون الأساسيون. يتعلم كيفية الجمع بين تنبؤاتهم على أفضل وجه، مع تصحيح الأخطاء المنهجية لكل متعلم أساسي.

6

تتكرر الخطوات 2-5 لميزانية استعلامات ثابتة أو حتى يستقر أداء النموذج على مجموعة تحقق خارجية. التجميع المكدس النهائي هو النموذج المدرب على جميع البيانات المسماة المتراكمة.

الأخطاء الشائعة

  • استخدام متعلم أساسي واحد فقط - هذا يلغي تنوع التجميع الذي يجعل إشارات الاستعلام النشط موثوقة.
  • الاستعلام في دفعات كبيرة دون إعادة التدريب في هذه الأثناء، مما يهدر فائدة التغذية الراجعة التدريجية.
  • التقييم فقط على بيانات التدريب بعد كل جولة بدلاً من مجموعة تحقق خارجية.
  • تجاهل اختلال توازن الفئات عند اختيار الاستعلامات، مما قد يتسبب في قيام الحلقة النشطة بالإفراط في أخذ عينات من الفئة الأغلبية.
  • خلط أداء مجموعة البذور المسماة مع أداء النموذج النهائي.

الأسئلة الشائعة

أي استراتيجية استعلام تعمل بشكل أفضل مع تجميع مكدس؟

استعلام حسب اللجنة، الذي يقيس عدم الاتفاق بين المتعلمين الأساسيين، هو ملاءمة طبيعية لأن المتعلمين الأساسيين يشكلون بالفعل لجنة. أخذ عينات عدم اليقين على مخرجات المتعلم الميتا شائع أيضًا وأبسط في التنفيذ.

كم عدد الأمثلة المسماة التي أحتاجها للبدء؟

مجموعة أولية من مثال واحد على الأقل يمثل كل فئة مطلوبة؛ في الممارسة العملية، توفر 10-50 مثالًا مسمى لكل فئة إشارة كافية للمتعلمين الأساسيين لتوليد تقديرات عدم يقين ذات مغزى لجولة الاستعلام الأولى.

هل من الأفضل الاستعلام عن مثال واحد في كل مرة أو في دفعات؟

تحديثات الاستعلام الفردي تزيد من المعلومات المفيدة ولكنها تتطلب إعادة التدريب بعد كل تسمية، وهو أمر مكلف. يختار التعلم النشط في وضع الدفعة دفعة متنوعة من الاستعلامات دفعة واحدة ويعيد التدريب مرة واحدة لكل دفعة، مما يوفر مقايضة عملية بين التكلفة واكتساب المعلومات.

هل يمكنني استخدام المتعلمين العميقين كنماذج أساسية في المكدس؟

نعم، ولكن إعادة تدريب المتعلمين العميقين بعد كل جولة استعلام نشط مكلفة للغاية. حل وسط شائع هو تجميد أو ضبط المتعلمين الأساسيين بشكل دوري فقط أثناء تشغيل حلقة الاستعلام بشكل متكرر مع المتعلم الميتا.

كيف أعرف متى أتوقف عن الاستعلام؟

توقف عندما يستقر أداء التحقق على عدة جولات، أو عندما تنفد ميزانية التسمية، أو عندما تقوم دالة الاكتساب بتعيين درجات معلوماتية منخفضة بشكل موحد لجميع المرشحين المتبقين - مما يشير إلى أن النموذج قد تعلم معظم ما يمكن أن تقدمه المجموعة.

طرق ذات صلة

المصادر

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    افتح مرجع DOI
    تم النسخ.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool Publishers.

    افتح مرجع DOI
    تم النسخ.