الانتقال إلى المحتوى
العودة إلى نتائج البحث

تعلم العينات القليلة

قدّمه
Lake, B. M.; Vinyals, O.; Finn, C. et al.
السنة
2011–2017
النوع
Meta-learning / low-data learning paradigm
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تعلم العينات القليلة هو نموذج تعلم آلي يدرب النماذج على التعرف على فئات جديدة أو حل مهام جديدة من عدد قليل فقط من الأمثلة المصنفة — عادةً من واحد إلى خمسة — عن طريق الاستفادة من المعرفة المسبقة المكتسبة من توزيع تدريبي كبير وذو صلة. وهو ذو صلة خاصة في المجالات التي تكون فيها عملية التصنيف مكلفة أو نادرة أو محدودة هيكليًا.

الفكرة الحدسية وراء الطريقة

يمكن للبشر التعرف بشكل موثوق على نوع جديد من الطيور من صورة واحدة، لأنهم يحملون بالفعل معرفة بصرية غنية من سنوات الخبرة. يحاول تعلم العينات القليلة تكرار هذه القدرة حسابيًا: يتعرض النموذج أولاً للعديد من المهام المتنوعة حتى يتعلم كيفية التعلم بسرعة، ثم في وقت الاستدلال يتكيف مع مهمة جديدة تمامًا باستخدام مجموعة دعم صغيرة مصنفة فقط. الفكرة الرئيسية هي أن التمثيل الصحيح واستراتيجية التكيف يمكن أن تحل محل مجموعة البيانات المصنفة الكبيرة التي يتطلبها التعلم المراقب القياسي.

التاريخ

اكتسب تعلم العينات القليلة اهتمامًا رسميًا حوالي عام 2011 عندما أظهر Lake وآخرون تعلمًا أحادي العينة على مستوى الإنسان للأحرف المكتوبة بخط اليد باستخدام نموذج استقراء برنامجي بايزي هرمي. تسارع المجال بعد عام 2016 مع مناهج التعلم المتري العميق — شبكات المطابقة لـ Vinyals وآخرون والشبكات النموذجية لـ Snell وآخرون — تبعها التعلم النموذجي غير المتغير (MAML) لـ Finn وآخرون في عام 2017، والذي وحد النموذج تحت التكيف السريع القائم على التدرج. منذ ذلك الحين، جعلت النماذج الكبيرة المدربة مسبقًا تعلم العينات القليلة قدرة قياسية في أنظمة معالجة اللغة الطبيعية والرؤية الحديثة.

متى تُستخدم

استخدم تعلم العينات القليلة عندما تكون البيانات المصنفة لمهمة مستهدفة نادرة حقًا — أقل من حوالي 10 إلى 20 مثالًا لكل فئة — ولكن تتوفر مجموعة بيانات كبيرة ذات صلة للتدريب المسبق أو التدريب الأعلى (meta-training). تشمل حالات الاستخدام النموذجية تصنيف الأمراض النادرة، والتعرف على الأنواع المهددة بالانقراض، ومهام اللغات ذات الموارد المنخفضة، والتوصية الشخصية للمستخدمين الجدد (cold-start users). لا تستخدمه كبديل لجمع المزيد من البيانات المصنفة عندما يكون التصنيف ممكنًا؛ مع وجود تسميات كافية، فإن التعلم المراقب بالكامل أو التعلم الانتقالي المضبوط بدقة (fine-tuned transfer learning) سيتفوق دائمًا تقريبًا على طرق العينات القليلة. تجنب استخدامه أيضًا إذا كان توزيع التدريب الأعلى مختلفًا جدًا عن المجال المستهدف، لأن هذا يبطل الأسبقية المتعلمة.

الحدود والاعتبارات

  • يتطلب مجموعة بيانات تدريب أعلى كبيرة ومتنوعة؛ يتدهور الأداء بشكل حاد عندما تتباعد توزيعات التدريب الأعلى والمستهدفة بشكل كبير.
  • تعتبر طرق التحسين (مثل MAML) مكثفة حسابيًا أثناء التدريب الأعلى بسبب التدرجات من الدرجة الثانية.
  • يمكن أن تبالغ دقة المعيار (benchmark accuracy) على مجموعات البيانات القياسية (miniImageNet، Omniglot) في الأداء في العالم الحقيقي إذا كان مجال الاختبار مختلفًا.
  • يتضمن اختيار البنية المناسبة، والعمود الفقري للتضمين، واستراتيجية أخذ العينات الحلقية قرارات غير تافهة للمعلمات الفائقة (hyperparameter).
  • مع وجود أكثر من حوالي 20 مثالًا مصنفًا لكل فئة، يقدم التعلم الانتقالي القياسي أو الضبط الدقيق عادةً دقة أفضل بتعقيد أقل.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يمكّن التعلم العملي من واحد إلى خمسة أمثلة مصنفة لكل فئة، مما يقلل بشكل كبير من تكلفة التعليق التوضيحي.
  • يُعد التدريب الحلقي النموذج بشكل صريح لسيناريو النشر ذي البيانات المنخفضة الذي سيواجهه.
  • تعتبر المتغيرات القائمة على القياس (الشبكات النموذجية، شبكات المطابقة) خفيفة الوزن حسابيًا عند الاستدلال — لا تتطلب خطوات تدرج.
  • قابل للتطبيق على نطاق واسع عبر مهام الرؤية، ومعالجة اللغة الطبيعية، والصوت، والبيانات المهيكلة.
  • يتكامل بشكل طبيعي مع النماذج الكبيرة المدربة مسبقًا، مما يسمح باستغلال الأسبقيات القوية دون الحاجة إلى ضبط دقيق كامل.

التطبيقات

  • تصنيف الأمراض النادرة أو الشذوذ في التصوير الطبي حيث تكون الحالات المشروحة نادرة بطبيعتها.
  • مهام معالجة اللغة الطبيعية ذات الموارد المنخفضة مثل اكتشاف النية في لغات أو مجالات جديدة.
  • التخصيص للمستخدمين الجدد (cold-start personalization) في أنظمة التوصية عندما يكون لدى المستخدم الجديد تفاعلات قليلة جدًا.
  • التعرف على الأنواع المهددة بالانقراض أو الأنواع الدقيقة في مراقبة البيئة والتنوع البيولوجي.
  • اكتشاف العيوب الصناعية عندما تتوفر فقط حفنة من العينات المعيبة للتدريب.
  • النماذج الأولية السريعة لمهام التصنيف الجديدة في الروبوتات والتعلم الآلي التفاعلي.

كيف يعمل

كيف يعمل

1

يتم تنظيم التدريب في حلقات (episodes)، كل منها يحاكي سيناريو العينات القليلة. في كل حلقة، يتم أخذ مجموعة صغيرة من الفئات من مجموعة التدريب، ويجب على النموذج تعلم التمييز بينها. يضمن هذا التدريب الحلقي أن المعرفة المسبقة للنموذج منظمة للتكيف السريع بدلاً من الحفظ الببغائي لفئات معينة.

2

تقسم كل حلقة أمثلتها إلى مجموعة دعم (الأمثلة المصنفة القليلة التي يمكن للنموذج استخدامها) ومجموعة استعلام (أمثلة محجوزة تستخدم لقياس مدى تعميم النموذج). توفر مهمة k-shot n-way عدد k من الأمثلة المصنفة لكل من n فئة جديدة. يعكس هذا الهيكل سيناريو النشر في وقت التدريب.

3

يتعلم النموذج دالة تضمين (embedding function) — عادةً شبكة عصبية عميقة — تقوم بتعيين المدخلات إلى مساحة ميزات تتجمع فيها أمثلة الفئة نفسها وتنفصل فيها أمثلة الفئات المختلفة. جودة هذا التمثيل المشترك هي المحدد الأساسي لدقة العينات القليلة اللاحقة.

4

في وقت الاختبار، يقوم النموذج إما بحساب التشابهات بين تضمينات الاستعلام وتضمينات الدعم (طرق تعتمد على القياس مثل شبكات المطابقة أو الشبكات النموذجية) أو يقوم بتنفيذ عدد قليل من خطوات التدرج للتكيف مع معلمات النموذج مع مجموعة الدعم (طرق تعتمد على التحسين مثل MAML). كلا الاستراتيجيتين تستغلان التمثيل المتعلم دون إعادة التدريب من الصفر.

5

يتم استخدام الخسارة على مجموعة الاستعلام لتحديث معلمات المتعلم الأعلى (meta-learner) عبر الحلقات، بحيث يتحسن التمثيل واستراتيجية التكيف عالميًا. عند النشر، يتكيف النموذج النهائي مع أي مجموعة دعم جديدة في ثوانٍ، ويقوم بعمل تنبؤات على أمثلة استعلام غير مرئية دون مزيد من التحسين.

الأخطاء الشائعة

  • الخلط بين تعلم العينات القليلة وتعلم العينات الصفرية: يتطلب تعلم العينات القليلة مثالًا مصنفًا واحدًا على الأقل لكل فئة جديدة في وقت الاختبار.
  • التقييم على فئات الاختبار التي شوهدت أثناء التدريب الأعلى، مما يؤدي إلى تضخيم الدقة المبلغ عنها.
  • تجاهل فجوة المجال: النموذج المدرب تدريبًا أعلى على ImageNet لن يعمم تلقائيًا على علم الأمراض الطبي (medical histology) دون تكييف المجال.
  • استخدام خسارة مراقبة قياسية دون تدريب حلقي وتوقع تعميم العينات القليلة.
  • الإبلاغ عن دقة أعلى تصنيف (top-1 accuracy) فقط دون فترات ثقة عبر سحوبات حلقات متعددة، مما يخفي التباين في نتائج العينات القليلة.

الأسئلة الشائعة

ما الفرق بين تعلم العينات القليلة وتعلم الانتقال؟

يقوم تعلم الانتقال بضبط نموذج مدرب مسبقًا لمهمة جديدة ويستفيد عادةً من عشرات إلى آلاف الأمثلة المصنفة. تم تصميم تعلم العينات القليلة خصيصًا للتكيف مع مثال واحد إلى خمسة أمثلة فقط لكل فئة، باستخدام التدريب الأعلى الحلقي حتى يتعلم النموذج كيفية التعميم بسرعة بدلاً من كيفية ملاءمة مجال معين.

ماذا يعني k-shot n-way؟

يصف هيكل الحلقة: n-way يعني تقديم n فئة جديدة في وقت واحد، و k-shot يعني توفير k أمثلة مصنفة لكل فئة. تطلب مهمة 5-way 1-shot من النموذج تصنيف صور الاستعلام إلى واحدة من خمس فئات مع توفير مثال مصنف واحد فقط لكل منها.

هل أحتاج إلى وحدة معالجة رسومات (GPU) لتشغيل تعلم العينات القليلة؟

يتطلب التدريب الأعلى — وخاصة الطرق القائمة على التحسين مثل MAML — قدرًا كبيرًا من الحوسبة ويتم عادةً على وحدات معالجة الرسومات. ومع ذلك، فإن استدلال الطرق القائمة على القياس (مقارنة تضمينات الاستعلام بنماذج الدعم) غير مكلف ويمكن تشغيله على وحدة المعالجة المركزية (CPU) في الإنتاج بمجرد تدريب العمود الفقري مسبقًا.

كم عدد مهام التدريب الأعلى التي أحتاجها؟

يعتمد هذا على التنوع بدلاً من العدد المطلق. تعد بضعة آلاف من المهام المسحوبة حلقيًا من مجموعة فئات متنوعة خط أساس شائع. الأهم هو أن فئات التدريب الأعلى وفيرة ومتنوعة بما يكفي للتعميم على فئات مستهدفة غير مرئية.

هل تعلم العينات القليلة هو نفسه تعلم العينات الصفرية؟

لا. يتطلب تعلم العينات الصفرية عدم وجود أمثلة مصنفة من فئات جديدة في وقت الاختبار، بالاعتماد كليًا على واصفات الفئة الدلالية أو السمات. يوفر تعلم العينات القليلة دائمًا مثالًا مصنفًا واحدًا على الأقل لكل فئة جديدة في مجموعة الدعم.

طرق ذات صلة

المصادر

  1. Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.

    افتح مرجع المنشور
    تم النسخ.
  2. Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.

    افتح مرجع المنشور
    تم النسخ.