التعلم ذاتي الإشراف
- قدّمه
- LeCun, Y. and community (formalized ~2018–2020)
- السنة
- 2018–2020
- النوع
- Representation learning paradigm
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
التعلم ذاتي الإشراف (SSL) هو نموذج للتعلم الآلي يولد إشارة الإشراف الخاصة به مباشرة من البيانات غير المصنفة عن طريق تحديد مهمة تمهيدية مساعدة - مثل التنبؤ بالكلمات المقنعة، أو تدوير الصور، أو مقارنة العروض المعززة - ويستخدم التمثيلات المتعلمة كنقطة انطلاق قوية للمهام اللاحقة مع الحد الأدنى من الأمثلة المصنفة.
الفكرة الحدسية وراء الطريقة
معظم البيانات في العالم الحقيقي غير مصنفة. يحول التعلم ذاتي الإشراف هذه الوفرة إلى مورد تدريبي عن طريق ابتكار تحدٍ يجب على النموذج حله باستخدام البيانات نفسها فقط - على سبيل المثال، إخفاء جزء من جملة ومطالبة النموذج بالتنبؤ به. يؤدي حل هذا التحدي إلى إجبار النموذج على بناء تمثيلات داخلية غنية. بمجرد أن تكون التمثيلات جيدة بما فيه الكفاية، يلزم فقط كمية صغيرة من البيانات المصنفة لتكييف النموذج مع مهمة محددة، مما يقلل بشكل كبير من تكلفة التعليق التوضيحي.
التاريخ
مفهوم التعلم من البيانات غير المصنفة عبر المهام الوكيلة يسبق التعلم العميق، لكن التعلم ذاتي الإشراف كنموذج مسمى أصبح بارزًا حوالي 2018-2020 مع BERT (Devlin et al., 2018) في معالجة اللغة الطبيعية و MoCo / SimCLR في رؤية الكمبيوتر. دافع يان لوكون عن المصطلح والرؤية، واصفًا التعلم ذاتي الإشراف بأنه 'المادة المظلمة للذكاء' في عام 2022. اليوم، يدعم تقريبًا جميع نماذج اللغة الكبيرة ونماذج رؤية الأساس.
متى تُستخدم
اختر التعلم ذاتي الإشراف عندما يكون لديك مجموعة كبيرة من البيانات غير المصنفة في مجال هدفك ولكن التصنيف مكلف أو بطيء - وهو أمر شائع في التصوير الطبي، ومعالجة اللغة الطبيعية، وصور الأقمار الصناعية، والبيانات العلمية. إنه النهج القياسي عند بناء نماذج أساسية واسعة النطاق (BERT, GPT, DINO) أو عندما تكون مجموعات البيانات المصنفة اللاحقة صغيرة. تجنب التعلم ذاتي الإشراف عندما تكون المجموعة غير المصنفة صغيرة جدًا (أقل من بضعة آلاف من الأمثلة)، أو عندما تكون المهمة التمهيدية غير متطابقة مع المهمة اللاحقة، أو عندما تكون موارد الحوسبة مقيدة بشدة - في هذه الحالات، يكون التعلم الخاضع للإشراف على التسميات المتاحة أو التعلم التقليدي بالنقل من نقطة تحقق عامة أكثر عملية.
الحدود والاعتبارات
- يتطلب التدريب المسبق للنماذج الكبيرة حوسبة كبيرة (وحدات معالجة الرسوميات/وحدات معالجة التنسور لأيام إلى أسابيع) ومجموعات غير مصنفة كبيرة.
- تصميم المهمة التمهيدية ليس تافهًا؛ يمكن أن تنتج مهمة مختارة بشكل سيء تمثيلات لا تنتقل جيدًا.
- يمكن أن تكون استقرارية الضبط الدقيق حساسة لمعدل التعلم وعدد الطبقات غير المجمدة.
- التقييم غير مباشر: أداء المهمة التمهيدية لا يضمن أداء المهمة اللاحقة.
- يمكن أن تحد الفجوة النطاقية بين مجموعة التدريب المسبق والمجال المستهدف من المكاسب.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يستغل كميات هائلة من البيانات غير المصنفة، مما يجعله النهج الأكثر قابلية للتوسع للتدريب المسبق على المجموعات الكبيرة.
- ينتج تمثيلات للأغراض العامة تنتقل جيدًا إلى العديد من المهام اللاحقة مع القليل من بيانات الضبط الدقيق.
- يقلل تكلفة التعليق التوضيحي بشكل كبير عن طريق توليد الإشراف من بنية البيانات بدلاً من التسميات البشرية.
- جميع النماذج الأساسية الحديثة (BERT, GPT, DINO, MAE) مبنية على أهداف ذاتية الإشراف.
- يتعامل بشكل طبيعي مع البيانات متعددة الوسائط عن طريق تصميم مهام تمهيدية متعددة الوسائط (على سبيل المثال، CLIP).
- ينتج تضمينات غنية مفيدة للاسترجاع والتجميع واكتشاف الشذوذ دون أي ضبط دقيق.
التطبيقات
- التدريب المسبق لنماذج اللغة الكبيرة (BERT, GPT, T5) لمهام معالجة اللغة الطبيعية مثل التصنيف والإجابة على الأسئلة.
- نماذج رؤية الأساس (DINO, MAE, SimCLR) للتعرف على الصور والتجزئة والاسترجاع.
- تحليل الصور الطبية حيث تكون الفحوصات المصنفة نادرة ولكن الصور غير المصنفة وفيرة.
- تعلم تمثيل الكلام والصوت (wav2vec, HuBERT) للتعرف التلقائي على الكلام والتحقق من المتحدث.
- تعلم تمثيل الجزيئات والبروتينات (ChemBERTa, ESM) لاكتشاف الأدوية.
- اكتشاف الشذوذ والاسترجاع عبر تشابه التضمين دون شذوذات مصنفة.
كيف يعمل
كيف يعمل
تم تصميم مهمة تمهيدية (مساعدة) بحيث تأتي تسمياتها مجانًا من بنية البيانات نفسها - على سبيل المثال، التنبؤ بالرمز المقنع في النص (BERT)، أو التنبؤ بالإطار التالي في الفيديو، أو زيادة التشابه بين العروض المعززة بشكل مختلف لنفس الصورة (SimCLR, MoCo). لا يلزم أي تعليق توضيحي بشري لهذه المرحلة.
يقوم المشفر العصبي بتعيين كل مدخل x إلى تمثيل كثيف z = f(x; theta). تختلف بنية المشفر حسب النمط: المحولات للنص والرؤية، والشبكات الالتفافية للصوت، أو الشبكات العصبية الرسومية لبيانات الجزيئات. هذا التمثيل هو ما يحمل المعرفة إلى المهام اللاحقة.
الصيغة
z = f_{\theta}(x)يتم تدريب النموذج لتقليل الخسارة التي تقيس مدى جودة حله للمهمة التمهيدية - الانتروبيا المتقاطعة للتنبؤ المقنع، أو الخسارة التباينية (InfoNCE) لاتفاق العرض، أو خطأ إعادة البناء للمشفرات التلقائية. يؤدي تقليل هذه الخسارة إلى تشكيل التمثيل لالتقاط بنية دلالية مفيدة.
بمجرد تقارب التدريب المسبق، يتم نقل أوزان المشفر إلى مهمة لاحقة. يتم إرفاق رأس تصنيف أو انحدار خفيف الوزن ويتم ضبط النموذج بأكمله (أو الرأس فقط) بدقة على مجموعة بيانات مصنفة صغيرة، مما يحقق دقة مماثلة للنماذج الخاضعة للإشراف الكامل المدربة على بيانات مصنفة أكثر بكثير.
الأخطاء الشائعة
- اختيار مهمة تمهيدية دون التفكير في توافقها مع دلالات المهمة اللاحقة.
- استخدام مجموعة غير مصنفة صغيرة جدًا أو غير ممثلة للمجال المستهدف، مما يؤدي إلى تمثيلات سيئة.
- الضبط الدقيق لجميع الطبقات بمعدل تعلم مرتفع ونسيان كارثي للتمثيل المدرب مسبقًا.
- الإبلاغ عن دقة المهمة اللاحقة فقط بعد الضبط الدقيق دون تحليل قيمة التدريب المسبق مقابل الإشراف المباشر.
- تجاهل تصميم تعزيز البيانات في الأساليب التباينية، وهو أمر بالغ الأهمية لجودة التمثيل.
الأسئلة الشائعة
ما الفرق بين التعلم ذاتي الإشراف والتعلم غير الخاضع للإشراف؟
كلاهما يستخدم بيانات غير مصنفة، لكن التعلم ذاتي الإشراف يبني إشارة إشراف محددة من بنية البيانات (على سبيل المثال، الرموز المقنعة، العروض المعززة) ويتدرب باستخدام دالة خسارة محددة. التعلم الكلاسيكي غير الخاضع للإشراف (التجميع، تحليل المكونات الرئيسية) يجد البنية بدلاً من ذلك دون أي هدف تنبؤي صريح.
هل أحتاج إلى التدريب المسبق من الصفر أم يمكنني استخدام نقطة تحقق موجودة؟
بالنسبة لمعظم المشاريع التطبيقية، فإن الضبط الدقيق لنقطة تحقق متاحة للجمهور (على سبيل المثال، BERT من Hugging Face، DINO من Meta) أكثر عملية بكثير من التدريب المسبق من الصفر. التدريب المسبق من الصفر مبرر فقط عندما يكون مجالك متخصصًا للغاية (على سبيل المثال، النص السريري) ونقاط التحقق الموجودة لا تنتقل جيدًا.
ما مقدار البيانات غير المصنفة المطلوبة؟
كلما زادت كان ذلك أفضل للتدريب المسبق، ولكن تم إثبات التعلم ذاتي الإشراف الفعال الخاص بالمجال بعشرات الآلاف من الأمثلة غير المصنفة للنماذج الأصغر. يعتمد الحد بشكل كبير على حجم النموذج وتعقيد المهمة التمهيدية.
ما هي المهمة التمهيدية التباينية؟
تنشئ المهام التمهيدية التباينية (SimCLR, MoCo) عرضين معززين بشكل مختلف لنفس العينة وتدرب المشفر بحيث تكون العروض متشابهة في مساحة التمثيل بينما تختلف عن تمثيلات العينات الأخرى. هذا يعلم النموذج أن يكون ثابتًا للتعزيز مع الحفاظ على المحتوى الدلالي.
هل التعلم ذاتي الإشراف مناسب للبيانات الجدولية؟
نعم، على الرغم من أن المكاسب أصغر مما هي عليه للصور أو النصوص. أظهرت الأساليب مثل SCARF، والتدريب المسبق لـ TabNet، والتنبؤ بالميزات المقنعة فوائد عندما تكون البيانات الجدولية المصنفة نادرة، ولكن بالنسبة لمجموعات البيانات الجدولية النموذجية ذات توفر التسميات المعقول، لا تزال طرق التجميع الخاضعة للإشراف هي المهيمنة.
طرق ذات صلة
المصادر
LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/
افتح مرجع المنشورتم النسخ.Self-supervised learning. Wikipedia.
افتح مرجع المنشورتم النسخ.