الانتقال إلى المحتوى
العودة إلى نتائج البحث

التعلم شبه المُشرف

قدّمه
Vapnik, V. N. and others (community of researchers, 1970s–2000s)
السنة
1970s–2006 (formalized)
النوع
Learning paradigm
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التعلم شبه المُشرف (SSL) هو نموذج تعلم آلي يدرب النماذج باستخدام مجموعة صغيرة من الأمثلة المُصنّفة مع مجموعة أكبر بكثير من البيانات غير المُصنّفة. من خلال الاستفادة من البنية المتأصلة في البيانات غير المُصنّفة، يحقق التعلم شبه المُشرف دقة أقرب إلى النماذج المُشرفة بالكامل مع الحاجة إلى عدد أقل بكثير من التصنيفات اليدوية المكلفة - مما يجعله عمليًا عندما يكون التصنيف مكلفًا أو بطيئًا أو مقيدًا بالموارد.

الفكرة الحدسية وراء الطريقة

تخيل تعليم طالب عن طريق إعطائه بضعة أمثلة من الكتب المدرسية مع إجابات ومكتبة كبيرة من المسائل غير المحلولة. يستخدم الطالب الأمثلة المحلولة لفهم الأنماط، ثم يستخدم المسائل غير المحلولة لصقل هذا الفهم من خلال ملاحظة أي الأمثلة تتجمع معًا أو تشترك في هياكل متشابهة. يعمل التعلم شبه المُشرف بشكل مشابه: يتعلم النموذج حدود القرار من البيانات المُصنّفة، ثم يستخدم البيانات غير المُصنّفة لشحذ تلك الحدود بافتراض أن النقاط القريبة من المحتمل أن تشترك في نفس الفئة، أو أن تباين البيانات يلتقط بنية ذات معنى. والنتيجة هي نموذج يتفوق على التدريب على التصنيفات وحدها.

التاريخ

ظهر التعلم شبه المُشرف كمجال رسمي من العمل على آلات المتجهات الداعمة الاستقرائية (transductive SVMs) بواسطة فابنيك في التسعينيات وانتشار التصنيف القائم على الرسم البياني بواسطة تشو وغاهراماني (2002). تم توحيد المجال من خلال مجلد MIT Press الذي حرره شابيل وشولكوف وزين (2006)، والذي لا يزال المرجع الأساسي. أعاد التعلم العميق الحديث تنشيط التعلم شبه المُشرف من خلال طرق التنظيم المتسق مثل MixMatch (2019) و FixMatch (2020)، مما وسع النموذج ليشمل مهام الصور والنصوص واسعة النطاق.

متى تُستخدم

استخدم التعلم شبه المُشرف عندما يكون لديك بيانات غير مُصنّفة وفيرة ولكن التصنيف مكلف أو بطيء أو يتطلب معرفة خبير نادرة - شائع في التصوير الطبي ومعالجة اللغة الطبيعية والمجالات العلمية. التعلم شبه المُشرف مناسب عندما تشترك البيانات غير المُصنّفة والمُصنّفة في نفس التوزيع، وعندما تفترض افتراضات التجميع أو التباين بشكل معقول، وعندما يكون خط الأساس المُشرف بالكامل ممكنًا بالفعل ولكن دقته محدودة بندرة التصنيفات. لا تستخدم التعلم شبه المُشرف عندما تأتي البيانات المُصنّفة وغير المُصنّفة من توزيعات مختلفة (تحول التوزيع)؛ عندما تكون البيانات غير المُصنّفة نادرة جدًا؛ عندما تكون المهمة بسيطة بما يكفي بحيث تقوم مجموعة صغيرة مُصنّفة بالفعل بتشبع سعة النموذج؛ أو عندما يتراكم خطأ التصنيف الزائف بشكل أسرع مما يمكن للنموذج تصحيحه - كما يحدث مع المخرجات ذات الإنتروبيا العالية أو غير المتوازنة.

الحدود والاعتبارات

  • يمكن أن تتدهور الأداء دون خط الأساس المُشرف إذا انتهكت البيانات غير المُصنّفة افتراض التجميع أو السلاسة أو احتوت على تحول في التوزيع.
  • يتراكم خطأ التصنيف الزائف عبر التكرارات: التنبؤات الواثقة ولكن الخاطئة تفسد التدريب اللاحق.
  • يتطلب ضبطًا دقيقًا لعتبات الثقة، وقوة التنظيم، ونسبة البيانات المُصنّفة إلى غير المُصنّفة.
  • التقييم أصعب: يجب ألا تُستخدم المجموعة غير المُصنّفة أبدًا لاختيار النموذج ما لم يتم الاحتفاظ بها بشكل صارم.
  • ترتفع التكلفة الحسابية مع مجموعات البيانات الكبيرة غير المُصنّفة، خاصة بالنسبة للطرق القائمة على الرسم البياني التي تتطلب تشابهات زوجية.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يحسن دقة النموذج بشكل كبير عندما تكون البيانات المُصنّفة نادرة ولكن البيانات غير المُصنّفة وفيرة.
  • يقلل من تكلفة ووقت التعليق، مما يتيح النشر العملي في المجالات التي تتطلب الكثير من تصنيف الخبراء.
  • متوافق مع أي متعلم أساسي تقريبًا (شبكات عصبية، غابات عشوائية، SVMs، GPs) عبر التصنيف الزائف أو امتدادات قائمة على الرسم البياني.
  • يوفر انتشار التصنيف والطرق القائمة على الرسم البياني عدم يقين قابل للتفسير وهيكل الجوار.
  • يتكامل التدريب الذاتي والتنظيم المتسق بشكل طبيعي في خطوط أنابيب التدريب القياسية مع الحد الأدنى من البنية التحتية الإضافية.

التطبيقات

  • تصنيف الصور الطبية حيث تكون التعليقات التوضيحية للخبراء نادرة والمسوحات غير المُصنّفة وفيرة.
  • مهام معالجة اللغة الطبيعية مثل تحليل المشاعر والتعرف على الكيانات المسماة مع عدد قليل من المستندات المُصنّفة.
  • أبحاث بنية البروتين وعلم الجينوم حيث يكون الحصول على التصنيفات التجريبية مكلفًا.
  • مراقبة الجودة الصناعية باستخدام عدد قليل من صور العيوب المُصنّفة والعديد من صور الإنتاج غير المُصنّفة.
  • التعرف على الكلام وتصنيف الصوت عندما يمكن نسخ جزء فقط من التسجيلات.
  • تصنيف محتوى الويب وتصنيف المستندات باستخدام مجموعات بيانات كبيرة تم جمعها من الويب.

كيف يعمل

كيف يعمل

1

جمع مجموعة بيانات تحتوي على مجموعة فرعية صغيرة مُصنّفة (عادةً بضعة بالمائة من الإجمالي) ومجموعة فرعية كبيرة غير مُصنّفة. يجب أن تكون الأمثلة المُصنّفة ممثلة للفئات أو النتائج ذات الأهمية. جودة البيانات في المجموعة المُصنّفة لها تأثير كبير على النموذج النهائي.

2

تدريب نموذج أولي باستخدام الأمثلة المُصنّفة فقط. ينتج عن ذلك مصنف أو مُتنبئ أساسي بدقة محدودة بسبب المجموعة الصغيرة المُصنّفة، ولكنه يوفر نقطة البداية للاستفادة من البيانات غير المُصنّفة.

3

تطبيق النموذج الأولي على البيانات غير المُصنّفة لتوليد تصنيفات زائفة - تعيينات فئات متوقعة أو توزيعات احتمالية ناعمة. يتم قبول التنبؤات ذات الثقة العالية مؤقتًا كتصنيفات تدريب. تختلف خوارزميات التعلم شبه المُشرف الشائعة هنا: التدريب الذاتي يقبل التنبؤات ذات الثقة الأعلى، وانتشار التصنيف ينشر التصنيفات عبر رسم بياني للتشابه، والتنظيم المتسق يفرض تنبؤات مستقرة تحت اضطرابات الإدخال.

4

إعادة تدريب النموذج مع دمج كل من البيانات المُصنّفة الأصلية والأمثلة غير المُصنّفة المُصنّفة زائفًا حديثًا. قد تتكرر هذه العملية: النموذج المحسن يولد تصنيفات زائفة أفضل، والتي بدورها تحسن النموذج بشكل أكبر. التنظيم أو عتبات الثقة تحمي من تراكم الأخطاء.

5

تقييم النموذج النهائي على مجموعة اختبار مُصنّفة محفوظة باستخدام مقاييس قياسية (الدقة، F1، AUC، MSE) لم يتم التعرض لها أبدًا أثناء التدريب أو التصنيف الزائف. قارن مقابل خط أساس مُشرف بالكامل تم تدريبه على التصنيفات فقط لقياس المكسب من البيانات غير المُصنّفة.

الأخطاء الشائعة

  • استخدام بيانات غير مُصنّفة يختلف توزيعها عن مجموعة البيانات المُصنّفة - عدم تطابق التوزيع هو السبب الأكثر شيوعًا لفشل التعلم شبه المُشرف.
  • إهمال خط أساس مُشرف فقط، مما يجعل من المستحيل التحقق من أن البيانات غير المُصنّفة ساعدت بالفعل.
  • تعيين عتبات الثقة منخفضة جدًا، مما يغمر مجموعة التدريب بتصنيفات زائفة غير صحيحة.
  • التقييم على المجموعة غير المُصنّفة بعد التصنيف الزائف، مما يضخم تقديرات الأداء.
  • معاملة التعلم شبه المُشرف على أنه خالٍ من الافتراضات - الطريقة تساعد فقط عندما تكون افتراضات السلاسة أو التجميع أو التباين قائمة.

الأسئلة الشائعة

كيف يختلف التعلم شبه المُشرف عن التعلم ذاتي الإشراف؟

يستخدم التعلم شبه المُشرف مجموعة صغيرة من التصنيفات المقدمة من الإنسان مع البيانات غير المُصنّفة لتحسين مهمة مُشرفة. ينشئ التعلم ذاتي الإشراف تصنيفات خاصة به من بنية البيانات غير المُصنّفة وحدها (على سبيل المثال، التنبؤ بالكلمات المقنعة) - لا تُستخدم تصنيفات بشرية أثناء التدريب المسبق، على الرغم من أن التمثيلات المتعلمة يتم ضبطها لاحقًا على بيانات مُصنّفة.

متى يضر التعلم شبه المُشرف بدلاً من المساعدة؟

إذا كانت البيانات غير المُصنّفة تأتي من توزيع مختلف عن البيانات المُصنّفة، أو إذا لم تتماش حدود الفئة مع التجمعات الطبيعية في البيانات، يمكن للتعلم شبه المُشرف إدخال ضوضاء تقلل الدقة إلى ما دون خط الأساس المُشرف. قارن دائمًا مقابل نموذج مُشرف فقط.

ما هي أبسط خوارزمية تعلم شبه مُشرف لتجربتها أولاً؟

التدريب الذاتي هو الأكثر مباشرة: تدرب على التصنيفات، وتنبأ بالبيانات غير المُصنّفة، وأضف التنبؤات ذات الثقة العالية مرة أخرى كبيانات مُصنّفة، وأعد التدريب. يعمل مع أي متعلم أساسي ويعمل كخط أساس مفيد قبل طرق التنظيم البياني أو المتسق الأكثر تعقيدًا.

ما مقدار البيانات المُصنّفة المطلوبة عادةً؟

لا توجد إجابة عالمية، ولكن التعلم شبه المُشرف يكون أكثر فائدة عندما تمثل البيانات المُصنّفة 1-10٪ من إجمالي مجموعة البيانات. أقل من حوالي 10-50 مثالًا مُصنّفًا لكل فئة، حتى التعلم شبه المُشرف يمكن أن يكافح؛ في تلك المرحلة، قد يكون التعلم النشط لتحديد الأمثلة التي يجب تصنيفها أكثر فعالية.

هل يمكن استخدام التعلم شبه المُشرف مع أي نوع نموذج؟

نعم. يعمل التصنيف الزائف والتدريب الذاتي مع أي متعلم أساسي. الطرق القائمة على الرسم البياني مثل انتشار التصنيف لا تعتمد على النموذج ولكنها تتطلب حساب تشابهات زوجية. تُطبق طرق التنظيم المتسق بشكل طبيعي على الشبكات العصبية ولكن يمكن تكييفها مع النماذج الاحتمالية الأخرى.

طرق ذات صلة

المصادر

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ردمك: 978-0-262-03358-9
    تم النسخ.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.

    افتح مرجع المنشور
    تم النسخ.