الانتقال إلى المحتوى
العودة إلى نتائج البحث

التعلم النشط مع التعلم الذاتي الإشراف

قدّمه
Multiple authors (active learning + SSL integration, 2020s)
السنة
2020-2022
النوع
Hybrid learning paradigm
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يستفيد التعلم النشط المدمج مع التعلم الذاتي الإشراف من البيانات غير المسماة من خلال التدريب المسبق الذاتي الإشراف لبناء تمثيلات غنية، ثم يستخدم استراتيجية استعلام نشطة لاختيار الأمثلة الأكثر إفادة للتعليق البشري، مما يزيد من أداء النموذج إلى أقصى حد ضمن ميزانية تسمية محدودة. هذا النهج الهجين قوي بشكل خاص عندما تكون البيانات المسماة نادرة ولكن توجد مجموعات كبيرة غير مسماة.

الفكرة الحدسية وراء الطريقة

يمكن للتعلم الذاتي الإشراف استخلاص تمثيلات مفيدة من البيانات الأولية غير المسماة عن طريق حل مهام تمهيدية مثل التنبؤ بالبقع المقنعة أو مقارنة العروض المعززة. بمجرد تدريب مشفر قوي مسبقًا بهذه الطريقة، يتولى التعلم النشط زمام الأمور: بدلاً من تسمية كل شيء، يُطلب من المصدر فقط الأمثلة غير المسماة الأكثر غموضًا أو الأكثر تمثيلاً. تجعل مساحة التضمين الغنية للمشفر استعلامات عدم اليقين والتنوع أكثر دقة بكثير مما لو كانت من نموذج تم تهيئته عشوائيًا، لذا فإن كل مثال مُسمى يشتري المزيد من التحسين. ثم تتكرر الدورة، مع ضبط دقيق للمشفر مع كل دفعة جديدة من التسميات.

التاريخ

للتعلم النشط جذور في التسعينيات (Cohn et al., 1996) وبرز التعلم الذاتي الإشراف بشكل بارز في العقد الأول من القرن الحادي والعشرين مع الأساليب التباينية. تسارع تكاملها في 2020-2022 مع توفر مجموعات بيانات كبيرة غير مسماة ومشفرات SSL قوية (SimCLR، MoCo، MAE) على نطاق واسع. وجد الباحثون أن التدريب المسبق الذاتي الإشراف يحسن بشكل كبير جودة التضمين التي تعتمد عليها استراتيجيات استعلام التعلم النشط، مما يؤدي إلى عائلة من أطر عمل AL-SSL المدمجة التي تمت دراستها في الرؤية الحاسوبية ومعالجة اللغة الطبيعية. يعد هذا المزيج الآن جبهة بحثية نشطة، لا سيما في البيئات محدودة الموارد ومقيدة التعليق.

متى تُستخدم

استخدم هذا المزيج عندما يكون لديك مجموعة بيانات كبيرة غير مسماة وميزانية صارمة للتعليق اليدوي، وعندما تكون الميزات الأولية معقدة بما يكفي (صور، نص، صوت، إشارات عالية الأبعاد) بحيث يضيف التدريب المسبق الذاتي الإشراف قيمة تمثيلية كبيرة. يتفوق في التصوير الطبي، وتصنيف المستندات، والاستشعار عن بعد حيث يكون تعليق الخبراء مكلفًا. لا تستخدمه عندما تكون مجموعة البيانات المسماة لديك كبيرة وتمثيلية بالفعل، وعندما يكون مجال البيانات بيانات جدولية بسيطة حيث يوفر التدريب المسبق الذاتي الإشراف فائدة قليلة، أو عندما تكون ميزانية الحوسبة مقيدة بشدة - التدريب المسبق الذاتي الإشراف للمشفرات الكبيرة مكلف حسابيًا. تجنبها أيضًا عندما تكون المجموعة غير المسماة صغيرة مقارنة بالبيانات المسماة.

الحدود والاعتبارات

  • يمكن أن يكون التدريب المسبق الذاتي الإشراف مكلفًا حسابيًا، خاصة بالنسبة لهياكل المشفرات الكبيرة مثل Vision Transformers.
  • يقدم التعلم النشط اكتسابًا تسلسليًا للبيانات، مما يجعل التوازي أكثر صعوبة ويطيل سير عمل التعليق العام.
  • إذا اختلف مجال التدريب المسبق الذاتي الإشراف ومجال المهمة المستهدفة بشكل كبير، فقد تكون تمثيلات المشفر مضللة لاختيار الاستعلام.
  • يتطلب تصميمًا دقيقًا: يجب أن تكون دالة الاكتساب متوافقة مع بنية المشفر ومساحة التضمين.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يقلل بشكل كبير من عدد التسميات المطلوبة للوصول إلى دقة مستهدفة مقارنة بالنهج التي تعتمد فقط على الإشراف أو التعلم النشط فقط.
  • تعزز التمثيلات الذاتية الإشراف جودة استعلامات التعلم النشط من خلال توفير مسافات تضمين ذات مغزى وتقديرات عدم اليقين من البداية.
  • ينتقل جيدًا عبر المجالات: يمكن لمشفر ذاتي الإشراف مدرب مسبقًا على بيانات غير مسماة من مجال ما أن يبدأ التعلم النشط في مجال مستهدف ذي صلة.
  • يتعامل مع البيانات غير المهيكلة عالية الأبعاد (صور، نص، صوت) حيث تعمل دوال اكتساب التعلم النشط التقليدية بشكل ضعيف على الميزات الأولية.
  • يعزز النموذجان بعضهما البعض: التمثيلات الأفضل تحسن اختيار الاستعلامات؛ البيانات المسماة الأفضل تحسن التمثيلات.

التطبيقات

  • التعليق على الصور الطبية حيث يكون وقت أخصائي الأشعة نادرًا وتوجد أرشيفات كبيرة من المسح الضوئي غير المسماة.
  • تصنيف المستندات والنصوص مع مجموعات نصوص محدودة مسماة ولكن وفيرة من النصوص الأولية.
  • تصنيف الاستشعار عن بعد وصور الأقمار الصناعية في ظل قيود ميزانية التعليق.
  • الكشف عن العيوب الصناعية حيث تكون أمثلة العيوب المسماة نادرة ولكن صور الإنتاج العادية وفيرة.
  • تصنيف الكلام والصوت مع أرشيفات صوتية كبيرة غير مسماة ونسخ مكلف.
  • اكتشاف الأدوية: اختيار الهياكل الجزيئية الأكثر إفادة للفحوصات المخبرية الرطبة.

كيف يعمل

كيف يعمل

1

يتم تدريب مشفر ذاتي الإشراف مسبقًا على المجموعة الكاملة غير المسماة باستخدام مهمة تمهيدية - مثل التعلم التبايني (SimCLR، MoCo)، أو المشفّرات التلقائية المقنعة (MAE)، أو التنبؤ بالدوران. لا حاجة لتسميات بشرية في هذه المرحلة؛ الهدف هو مساحة ميزات تتجمع فيها الأمثلة المتشابهة دلاليًا.

2

تقوم دالة اكتساب التعلم النشط - مثل الحد الأدنى من الثقة، أو أخذ عينات الإنتروبيا، أو BADGE، أو اختيار المجموعة الأساسية - بتقييم كل مثال غير مسمى باستخدام تنبؤات المشفر الحالي أو تضميناته. يتم ترتيب الأمثلة المقدر أنها الأكثر إفادة (غير مؤكدة أو الأكثر تمثيلاً للمناطق غير المستكشفة) ويتم اختيار دفعة بحجم الميزانية للتعليق.

3

يتم تقديم الدفعة المختارة إلى معلق بشري (المصدر) الذي يقدم تسميات الحقيقة الأساسية. هذه هي الخطوة الوحيدة التي تتكبد تكلفة التسمية، لذا فإن جودة استراتيجية الاستعلام تحدد كفاءة التسمية بشكل مباشر.

4

يتم ضبط المشفر بدقة (أو يتم تدريب رأس تصنيف جديد) على جميع الأمثلة المسماة المتراكمة حتى الآن. تساعد تقنيات التنظيم مثل التقييم الخطي متبوعًا بالضبط الدقيق الكامل على منع الإفراط في التجهيز على المجموعة الصغيرة المسماة مع الحفاظ على التمثيلات المدربة مسبقًا.

5

تتكرر دورة الاستعلام-التسمية-الضبط الدقيق حتى يتم استنفاد ميزانية التسمية أو الوصول إلى هدف الأداء. يتم تحديث المشفر اختياريًا ببيانات غير مسماة جديدة بين الجولات إذا كانت المجموعة ديناميكية.

الأخطاء الشائعة

  • استخدام دالة اكتساب عامة (مثل أخذ العينات العشوائية) بعد التدريب المسبق الذاتي الإشراف وتسميتها بالتعلم النشط - استراتيجية الاستعلام هي التي توفر مكاسب إضافية.
  • تقييم النموذج النهائي فقط بعد جميع جولات التعليق، مما يخفي ما إذا كانت الاستعلامات المبكرة مفيدة حقًا.
  • تجاهل انحراف التوزيع بين المجموعة غير المسماة ومصدر التعليق، مما قد يؤدي إلى تحيز في الاختيار.
  • نسيان تتبع تكلفة التسمية كمحور مقارنة أساسي - يجب قياس المكاسب على أنها الدقة مقابل ميزانية التعليق، وليس فقط الدقة النهائية.
  • تطبيق نفس جدول معدل التعلم أثناء الضبط الدقيق كما هو الحال أثناء التدريب المسبق، مما قد يدمر التمثيلات المدربة مسبقًا.

الأسئلة الشائعة

هل أحتاج إلى إعادة تشغيل التدريب المسبق الذاتي الإشراف بعد كل جولة تعلم نشط؟

ليس بالضرورة. الممارسة الأكثر شيوعًا هي التدريب المسبق مرة واحدة على المجموعة الكاملة غير المسماة، ثم ضبط المشفر تدريجيًا مع كل دفعة مسماة جديدة. إعادة تشغيل التدريب المسبق الذاتي الإشراف الكامل في كل جولة أمر باهظ الثمن حسابيًا؛ تستخدم بعض الأعمال تحديثات SSL خفيفة الوزن (مثل التعلم التبايني عبر الإنترنت) لتكييف التمثيلات أثناء دورة AL.

أي دالة اكتساب تعلم نشط تعمل بشكل أفضل مع SSL؟

تميل استراتيجيات التضمين مثل اختيار المجموعة الأساسية، و BADGE (التعلم النشط الدفعي بواسطة تضمينات التدرج المتنوعة)، وأخذ عينات التنوع المستندة إلى التجميع إلى العمل بشكل أفضل لأنها تستغل الهندسة ذات المغزى لمساحة تضمين SSL. يستفيد أخذ عينات الإنتروبيا البسيط على مخرجات softmax أيضًا من SSL ولكنه يحقق مكاسب أقل مقارنة بالعشوائية.

كيف يختلف هذا عن التعلم شبه الإشرافي؟

يستخدم التعلم شبه الإشرافي جميع البيانات غير المسماة بشكل سلبي أثناء التدريب. التعلم النشط مع SSL تفاعلي: فهو يختار بشكل استراتيجي الأمثلة غير المسماة التي سيتم تقديمها للمصدر للتعليق، ويحدث النموذج فقط مع تلك التسميات المختارة. التمييز الرئيسي هو حلقة التعليق التسلسلية الواعية بالميزانية.

هل البيانات الجدولية مناسبة لهذا النهج؟

بشكل عام لا. التدريب المسبق الذاتي الإشراف على البيانات الجدولية يقدم فائدة متواضعة مقارنة بالصور أو النصوص، لأنه لا توجد استراتيجية طبيعية للتعزيز أو قناع البقع. بالنسبة للبيانات الجدولية، عادة ما يكون التعلم النشط البسيط مع نموذج إشرافي تقليدي (مثل الانحدار اللوجستي أو الغابة العشوائية) أكثر كفاءة وقابلية للتفسير.

ما هي المقاييس التي يجب أن أبلغ عنها؟

أبلغ عن الدقة (أو F1، AUC) كدالة لميزانية التسمية (عدد استعلامات المصدر)، وليس فقط الدقة النهائية. قم بتضمين خط أساس لأخذ العينات العشوائية، وإذا أمكن، حد أعلى للإشراف الكامل. منحنى كفاءة التعليق هذا هو المساهمة الأساسية لأي تقييم للتعلم النشط.

طرق ذات صلة

المصادر

  1. Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091.

    افتح مرجع المنشور
    تم النسخ.
  2. Wang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600.

    افتح مرجع DOI
    تم النسخ.