الانتقال إلى المحتوى
العودة إلى نتائج البحث

التعلم التبايني البصري

قدّمه
Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
السنة
2020
النوع
Self-supervised deep representation learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التعلم التبايني البصري هو نهج التعلم العميق ذاتي الإشراف — شاع بفضل أطر عمل مثل SimCLR (Chen et al., 2020) و MoCo (He et al., 2020) — يتعلم تمثيلات غنية للصور دون تسميات عن طريق تقريب عمليات التحسين المختلفة لنفس الصورة من بعضها البعض ودفع الصور المختلفة بعيدًا عن بعضها البعض. إنه يحول مجموعة كبيرة من الصور غير المسماة إلى مستخرج ميزات مفيد.

الفكرة الحدسية وراء الطريقة

إذا قمت بقص أو تلوين أو قلب صورة واحدة بطريقتين مختلفتين، فيجب أن تظل كلتا النسختين معروفتين بنفس الشيء. يبني التعلم التبايني على هذه الفكرة بالضبط: إنه يعلم الشبكة لربط وجهي تحسين لصورة واحدة عن قرب في مساحة الميزات مع إبقاء الوجوه للصور الأخرى بعيدة. لا توجد حاجة لتسميات بشرية — الإشراف يأتي بالكامل من مقارنة الصور ببعضها البعض.

التاريخ

نضج التعلم التبايني البصري بسرعة في عام 2020. أظهر SimCLR (Chen et al., ICML 2020) أن إطار عمل بسيط من التحسينات القوية، ورأس الإسقاط، وخسارة NT-Xent التباينية يمكن أن ينافس التدريب المسبق الخاضع للإشراف. قدم MoCo (He et al., CVPR 2020) مشفرًا محدثًا بالزخم مع طابور ديناميكي من السلبيات، مما يجعل التعلم التبايني على نطاق واسع ممكنًا دون دفعات ضخمة. امتدت الأساليب اللاحقة مثل BYOL العائلة عن طريق التعلم بدون أزواج سلبية صريحة.

متى تُستخدم

استخدمه عندما يكون لديك مجموعة كبيرة من الصور غير المسماة — في حدود حوالي 1000 صورة على الأقل — وترغب في تعلم تمثيلات بصرية قوية قبل أي مهمة مسماة. يفترض أن مجموعة بيانات غير مسماة كهذه متاحة، ويتطلب وحدة معالجة رسومات (GPU)، ويعتمد بشكل كبير على استراتيجية تحسين بيانات مختارة جيدًا. أقل من حوالي 500-1000 صورة، تكون الأزواج السلبية قليلة جدًا ومتشابهة جدًا لتعلم تمثيلات مفيدة، ويكون التعلم الآلي الكلاسيكي الخاضع للإشراف هو الخيار الأكثر أمانًا.

الحدود والاعتبارات

  • يتطلب مجموعة بيانات كبيرة من الصور غير المسماة؛ على المجموعات الصغيرة لا يمكنه إنتاج تمثيلات ذات معنى.
  • يتطلب وحدة معالجة رسومات (GPU) وحوسبة كبيرة للتدريب المسبق.
  • يعتمد الأداء على استراتيجية تحسين البيانات، والتي يجب ضبطها لكل مجال.
  • أقل من حوالي 500 صورة يفشل التعلم ذاتي الإشراف ويفضل التعلم الآلي الكلاسيكي الخاضع للإشراف.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يتعلم تمثيلات بصرية مفيدة من الصور غير المسماة، مما يلغي الحاجة إلى التعليق اليدوي المكلف.
  • ينتقل المشفر المدرب مسبقًا إلى العديد من المهام اللاحقة مع مجموعة صغيرة مسماة فقط.
  • توفر أطر العمل مثل SimCLR و MoCo وصفات مدروسة جيدًا وقابلة للتكرار.
  • يجعل المشفر الزخم وطابور السلبيات في MoCo العديد من المقارنات السلبية متاحة دون دفعات ضخمة.

التطبيقات

  • التدريب المسبق لمشفرات الصور على مجموعات صور كبيرة غير مسماة.
  • نقل التعلم إلى تصنيف الصور اللاحق مع تسميات محدودة.
  • بناء مستخرجات ميزات بصرية قابلة لإعادة الاستخدام لخطوط أنابيب الرؤية.
  • تعلم التمثيل في المجالات التي تكون فيها التسميات نادرة أو مكلفة.

كيف يعمل

كيف يعمل

1

يتم تحويل كل صورة مرتين باستخدام عمليات تحسين عشوائية مثل القص، وتغيير الألوان، والقلب، مما ينتج وجهين مرتبطين. اختيار استراتيجية التحسين أمر بالغ الأهمية: فهو يحدد ما يُطلب من النموذج اعتباره 'نفس الشيء'، وعمليات التحسين الضعيفة أو المختارة بشكل سيء تؤدي إلى تمثيلات ضعيفة.

2

يقوم المشفر بتعيين كل وجه إلى تضمين، ويقوم هدف تبايني بتقريب وجهي نفس الصورة (الزوج الإيجابي) عن قرب مع دفع وجوه الصور الأخرى (السلبيات) بعيدًا. يستخدم SimCLR خسارة NT-Xent مع معامل درجة حرارة؛ يحتفظ MoCo بمشفر محدث بالزخم وطابور من السلبيات بحيث تتوفر العديد من المقارنات دون دفعات كبيرة.

الصيغة
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}
3

بعد التدريب المسبق ذاتي الإشراف، يتم إعادة استخدام المشفر المتعلم كمستخرج ميزات بصري عام. بعد ذلك، تكون مجموعة صغيرة مسماة كافية لضبط أو تدريب مصنف خفيف الوزن في الأعلى، ونقل التمثيل إلى مهام لاحقة.

الأخطاء الشائعة

  • محاولة التدريب المسبق التبايني على مجموعة صور صغيرة حيث تنوع الأزواج السلبية غير كافٍ.
  • استخدام تحسينات ضعيفة أو غير مناسبة للمجال، مما يؤدي إلى انهيار التمثيل المتعلم.
  • تجاهل معامل درجة الحرارة في الخسارة التباينية.
  • توقع نتائج جيدة بدون وحدة معالجة رسومات (GPU) أو وقت تدريب كافٍ.

الأسئلة الشائعة

هل أحتاج إلى تسميات؟

لا. الهدف الكامل من التعلم التبايني ذاتي الإشراف هو تعلم التمثيلات من الصور غير المسماة. التسميات مطلوبة فقط لاحقًا، لضبط دقيق لاحق أو مجموعة تقييم صغيرة.

كم عدد الصور التي أحتاجها؟

خطط لحوالي 1000 صورة غير مسماة على الأقل. أقل من حوالي 500-1000، يكون تنوع الأزواج السلبية منخفضًا جدًا بحيث لا يمكن للطريقة تعلم تمثيلات ذات معنى، ويكون التعلم الآلي الكلاسيكي الخاضع للإشراف خيارًا أكثر أمانًا.

ما الفرق بين SimCLR و MoCo؟

يعتمد SimCLR على دفعات كبيرة لتوفير العديد من السلبيات ويستخدم خسارة NT-Xent. بدلاً من ذلك، يحتفظ MoCo بمشفر محدث بالزخم وطابور من التضمينات السابقة كسلبيات، لذلك يحتاج إلى مقارنات أقل داخل الدفعة.

لماذا يعد تحسين البيانات مهمًا جدًا؟

يحدد التحسين أي الوجوه المحولة للصورة يجب على النموذج اعتبارها 'نفس الشيء'. استراتيجية التحسين القوية والمختارة جيدًا أمر بالغ الأهمية؛ التحسينات الضعيفة تنتج تمثيلات ضعيفة.

طرق ذات صلة

المصادر

  1. Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.

    افتح مرجع المنشور
    تم النسخ.
  2. He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.

    افتح مرجع المنشور
    تم النسخ.