Skip to content
بازگشت به نتایج جست‌وجو

یادگیری چند نمونه‌ای (Few-shot Learning)

معرفی‌شده توسط
Lake, B. M.; Vinyals, O.; Finn, C. et al.
سال
2011–2017
نوع
Meta-learning / low-data learning paradigm
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری چند نمونه‌ای پارادایمی در یادگیری ماشین است که مدل‌ها را قادر می‌سازد تا کلاس‌های جدید یا وظایف جدید را تنها با تعداد انگشت‌شماری مثال برچسب‌دار - معمولاً بین یک تا پنج - با بهره‌گیری از دانش قبلی کسب‌شده از یک توزیع آموزشی بزرگ و مرتبط، تشخیص دهند. این روش به‌ویژه در حوزه‌هایی که برچسب‌گذاری پرهزینه، کمیاب یا از نظر ساختاری محدود است، کاربرد دارد.

شهود پشت روش

انسان‌ها می‌توانند با اطمینان یک گونه جدید پرنده را از روی یک عکس منفرد شناسایی کنند، زیرا دانش بصری غنی حاصل از سال‌ها تجربه را در اختیار دارند. یادگیری چند نمونه‌ای تلاش می‌کند این توانایی را به صورت محاسباتی تکرار کند: ابتدا یک مدل با وظایف متنوع زیادی مواجه می‌شود تا یاد بگیرد چگونه سریع یاد بگیرد، سپس در زمان استنتاج با استفاده از تنها یک مجموعه پشتیبان کوچک برچسب‌دار، خود را با یک وظیفه کاملاً جدید تطبیق می‌دهد. بینش کلیدی این است که نمایش (representation) و استراتژی تطبیق مناسب می‌توانند جایگزین مجموعه داده بزرگ برچسب‌دار مورد نیاز یادگیری نظارت‌شده استاندارد شوند.

تاریخ

یادگیری چند نمونه‌ای توجه رسمی را در حدود سال ۲۰۱۱ به خود جلب کرد، زمانی که لیک و همکاران (Lake et al.) یادگیری تک نمونه‌ای در سطح انسان از حروف دست‌نویس را با استفاده از یک مدل استقراء برنامه‌نویسی بیزی سلسله‌مراتبی نشان دادند. این حوزه پس از سال ۲۰۱۶ با رویکردهای یادگیری متریک عمیق - شبکه‌های تطبیقی وینیالس و همکاران (Vinyals et al.) و شبکه‌های پروتوتایپی اسنل و همکاران (Snell et al.) - و سپس یادگیری مدل-آزاد فرایادگیری (MAML) فین و همکاران (Finn et al.) در سال ۲۰۱۷ شتاب گرفت، که این پارادایم را تحت تطبیق سریع مبتنی بر گرادیان یکپارچه کرد. از آن زمان، مدل‌های بزرگ از پیش آموزش‌دیده، یادگیری چند نمونه‌ای را به یک قابلیت استاندارد در سیستم‌های مدرن NLP و بینایی تبدیل کرده‌اند.

چه زمانی استفاده شود

زمانی از یادگیری چند نمونه‌ای استفاده کنید که داده‌های برچسب‌دار برای یک وظیفه هدف واقعاً کمیاب هستند - کمتر از حدود ۱۰ تا ۲۰ مثال برای هر کلاس - اما یک مجموعه داده بزرگ مرتبط برای پیش‌آموزش یا فرایادگیری (meta-training) در دسترس است. موارد استفاده معمول شامل طبقه‌بندی بیماری‌های نادر، تشخیص گونه‌های در معرض خطر، وظایف زبان با منابع کم، و توصیه‌های شخصی‌سازی شده برای کاربران جدید (cold-start) است. از آن به عنوان جایگزینی برای جمع‌آوری داده‌های برچسب‌دار بیشتر در صورتی که برچسب‌گذاری امکان‌پذیر است، استفاده نکنید؛ با برچسب‌های کافی، یادگیری انتقالی کاملاً نظارت‌شده یا تنظیم دقیق (fine-tuned) تقریباً همیشه از روش‌های چند نمونه‌ای بهتر عمل خواهد کرد. همچنین اگر توزیع فرایادگیری با دامنه هدف بسیار متفاوت باشد، از آن اجتناب کنید، زیرا این امر اولویت آموخته‌شده را بی‌اعتبار می‌کند.

محدودیت‌ها و ملاحظات

  • به یک مجموعه فرایادگیری بزرگ و متنوع نیاز دارد؛ عملکرد زمانی که توزیع‌های فرایادگیری و هدف به طور قابل توجهی واگرا می‌شوند، به شدت کاهش می‌یابد.
  • روش‌های مبتنی بر بهینه‌سازی (مانند MAML) به دلیل گرادیان‌های مرتبه دوم، در طول فرایادگیری از نظر محاسباتی فشرده هستند.
  • دقت معیار در مجموعه داده‌های استاندارد (miniImageNet، Omniglot) ممکن است عملکرد دنیای واقعی را بیش از حد برآورد کند اگر دامنه آزمون متفاوت باشد.
  • انتخاب معماری مناسب، ستون فقرات جاسازی (embedding backbone) و استراتژی نمونه‌برداری اپیزود شامل تصمیم‌گیری‌های پیچیده در مورد ابرپارامترها است.
  • با بیش از حدود ۲۰ مثال برچسب‌دار برای هر کلاس، یادگیری انتقالی استاندارد یا تنظیم دقیق معمولاً با پیچیدگی کمتر، دقت بهتری را ارائه می‌دهد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • امکان یادگیری عملی از یک تا پنج مثال برچسب‌دار برای هر کلاس را فراهم می‌کند و هزینه حاشیه‌نویسی را به شدت کاهش می‌دهد.
  • آموزش اپیزودیک به طور صریح مدل را برای سناریوی استقرار با داده کم که با آن مواجه خواهد شد، آماده می‌کند.
  • انواع مبتنی بر متریک (شبکه‌های پروتوتایپی، شبکه‌های تطبیقی) در زمان استنتاج از نظر محاسباتی سبک هستند - نیازی به گام‌های گرادیان نیست.
  • در طیف گسترده‌ای از وظایف بینایی، پردازش زبان طبیعی (NLP)، صوتی و داده‌های ساختاریافته قابل استفاده است.
  • به طور طبیعی با مدل‌های بزرگ از پیش آموزش‌دیده ادغام می‌شود و امکان بهره‌برداری از اولویت‌های قدرتمند را بدون نیاز به تنظیم دقیق کامل فراهم می‌کند.

کاربردها

  • طبقه‌بندی بیماری‌های نادر یا ناهنجاری در تصویربرداری پزشکی که در آن موارد حاشیه‌نویسی شده ذاتاً کمیاب هستند.
  • وظایف پردازش زبان طبیعی با منابع کم مانند تشخیص قصد (intent detection) در زبان‌ها یا دامنه‌های جدید.
  • شخصی‌سازی در سیستم‌های توصیه‌گر برای کاربران جدید (cold-start) که تعاملات بسیار کمی دارند.
  • تشخیص گونه‌های در معرض خطر یا طبقه‌بندی دقیق گونه‌ها در پایش بوم‌شناسی و تنوع زیستی.
  • تشخیص نقص صنعتی زمانی که تنها تعداد انگشت‌شماری نمونه معیوب برای آموزش در دسترس است.
  • نمونه‌سازی سریع وظایف طبقه‌بندی جدید در رباتیک و یادگیری تعاملی ماشین.

چگونه کار می‌کند

چگونه کار می‌کند

1

آموزش به صورت اپیزودیک سازماندهی می‌شود که هر کدام سناریوی چند نمونه‌ای را شبیه‌سازی می‌کنند. در هر اپیزود، مجموعه‌ای کوچک از کلاس‌ها از مجموعه آموزشی نمونه‌برداری می‌شود و مدل باید یاد بگیرد که آن‌ها را از هم تشخیص دهد. این آموزش اپیزودیک تضمین می‌کند که دانش قبلی مدل برای تطبیق سریع ساختار یافته است، نه برای حفظ کردن کلاس‌های خاص.

2

هر اپیزود مثال‌های خود را به یک مجموعه پشتیبان (مثال‌های برچسب‌دار کمی که مدل می‌تواند از آن‌ها استفاده کند) و یک مجموعه پرس‌وجو (مثال‌های نگه‌داشته‌شده که برای اندازه‌گیری میزان تعمیم مدل استفاده می‌شوند) تقسیم می‌کند. یک وظیفه k-shot، n-way، تعداد k مثال برچسب‌دار برای هر یک از n کلاس جدید ارائه می‌دهد. این ساختار، سناریوی استقرار را در زمان آموزش منعکس می‌کند.

3

مدل یک تابع جاسازی (embedding function) - معمولاً یک شبکه عصبی عمیق - را یاد می‌گیرد که ورودی‌ها را به یک فضای ویژگی نگاشت می‌کند که در آن مثال‌های هم‌کلاس در کنار هم قرار می‌گیرند و مثال‌های کلاس‌های متفاوت از هم جدا می‌شوند. کیفیت این نمایش مشترک، تعیین‌کننده اصلی دقت پایین‌دستی در یادگیری چند نمونه‌ای است.

4

در زمان آزمون، مدل یا شباهت بین جاسازی‌های پرس‌وجو و جاسازی‌های پشتیبان را محاسبه می‌کند (روش‌های مبتنی بر متریک مانند شبکه‌های تطبیقی یا شبکه‌های پروتوتایپی) یا تعداد کمی گام گرادیان را برای تطبیق پارامترهای خود با مجموعه پشتیبان انجام می‌دهد (روش‌های مبتنی بر بهینه‌سازی مانند MAML). هر دو استراتژی از نمایش آموخته‌شده بدون نیاز به آموزش مجدد از ابتدا بهره می‌برند.

5

زیان (loss) روی مجموعه پرس‌وجو برای به‌روزرسانی پارامترهای فرایادگیرنده (meta-learner) در طول اپیزودها استفاده می‌شود، به طوری که نمایش و استراتژی تطبیق به صورت سراسری بهبود می‌یابند. در زمان استقرار، مدل نهایی در عرض چند ثانیه با هر مجموعه پشتیبان جدید تطبیق می‌یابد و بدون بهینه‌سازی بیشتر، پیش‌بینی‌هایی را بر روی مثال‌های پرس‌وجوی دیده‌نشده انجام می‌دهد.

دام‌های رایج

  • اشتباه گرفتن یادگیری چند نمونه‌ای با یادگیری بدون نمونه (zero-shot learning): یادگیری چند نمونه‌ای حداقل به یک مثال برچسب‌دار برای هر کلاس جدید در زمان آزمون نیاز دارد.
  • ارزیابی بر روی کلاس‌های آزمون دیده شده در طول فرایادگیری، که دقت گزارش‌شده را افزایش می‌دهد.
  • نادیده گرفتن شکاف دامنه: مدلی که بر روی ImageNet فرایادگیری شده است، بدون تطبیق دامنه، به طور خودکار به هیستولوژی پزشکی تعمیم نمی‌یابد.
  • استفاده از زیان نظارت‌شده استاندارد بدون آموزش اپیزودیک و انتظار تعمیم چند نمونه‌ای.
  • گزارش تنها دقت بالاترین رتبه (top-1) بدون فواصل اطمینان بر روی چندین بار نمونه‌برداری اپیزود، که واریانس نتایج چند نمونه‌ای را پنهان می‌کند.

پرسش‌های متداول

تفاوت یادگیری چند نمونه‌ای و یادگیری انتقالی چیست؟

یادگیری انتقالی یک مدل از پیش آموزش‌دیده را بر روی یک وظیفه جدید تنظیم دقیق می‌کند و معمولاً از ده‌ها تا هزاران مثال برچسب‌دار بهره می‌برد. یادگیری چند نمونه‌ای به طور خاص برای تطبیق با تنها یک تا پنج مثال در هر کلاس طراحی شده است و از فرایادگیری اپیزودیک استفاده می‌کند تا مدل یاد بگیرد چگونه به سرعت تعمیم یابد، نه اینکه چگونه یک دامنه خاص را برازش کند.

منظور از k-shot n-way چیست؟

این ساختار اپیزود را توصیف می‌کند: n-way به معنای n کلاس جدید است که به طور همزمان ارائه می‌شوند، و k-shot به معنای ارائه k مثال برچسب‌دار برای هر کلاس است. یک وظیفه 5-way 1-shot از مدل می‌خواهد تا تصاویر پرس‌وجو را به یکی از پنج دسته با ارائه تنها یک مثال برچسب‌دار برای هر کدام طبقه‌بندی کند.

آیا برای اجرای یادگیری چند نمونه‌ای به GPU نیاز دارم؟

فرایادگیری - به ویژه روش‌های مبتنی بر بهینه‌سازی مانند MAML - به محاسبات قابل توجهی نیاز دارد و معمولاً بر روی GPU انجام می‌شود. با این حال، استنتاج مبتنی بر متریک (مقایسه جاسازی‌های پرس‌وجو با پروتوتایپ‌های پشتیبان) ارزان است و پس از پیش‌آموزش ستون فقرات، می‌تواند در زمان تولید بر روی CPU اجرا شود.

به چند وظیفه فرایادگیری نیاز دارم؟

این به تنوع بستگی دارد تا تعداد مطلق. چند هزار وظیفه نمونه‌برداری شده به صورت اپیزودیک از یک مجموعه کلاس متنوع، یک خط پایه رایج است. مهم‌ترین نکته این است که کلاس‌های فرایادگیری به اندازه کافی متعدد و متنوع باشند تا به کلاس‌های هدف دیده‌نشده تعمیم یابند.

آیا یادگیری چند نمونه‌ای همان یادگیری بدون نمونه (zero-shot learning) است؟

خیر. یادگیری بدون نمونه در زمان آزمون به هیچ مثال برچسب‌دار از کلاس‌های جدید نیاز ندارد و کاملاً به توصیف‌گرهای معنایی کلاس یا ویژگی‌ها متکی است. یادگیری چند نمونه‌ای همیشه حداقل یک مثال برچسب‌دار برای هر کلاس جدید در مجموعه پشتیبان ارائه می‌دهد.

روش‌های مرتبط

منابع

  1. Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.

    باز کردن مرجع انتشار
    کپی شد.
  2. Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.

    باز کردن مرجع انتشار
    کپی شد.