Skip to content
بازگشت به نتایج جست‌وجو

یادگیری خودنظارتی

معرفی‌شده توسط
LeCun, Y. and community (formalized ~2018–2020)
سال
2018–2020
نوع
Representation learning paradigm
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری خودنظارتی (SSL) پارادایمی از یادگیری ماشین است که سیگنال نظارتی خود را مستقیماً از داده‌های بدون برچسب با تعریف یک وظیفه پیش‌متن کمکی - مانند پیش‌بینی کلمات ماسک شده، چرخش تصاویر، یا مقایسه نماهای افزوده شده - تولید می‌کند و از بازنمایی‌های آموخته شده به عنوان نقطه شروعی قدرتمند برای وظایف پایین‌دستی با حداقل نمونه‌های برچسب‌دار استفاده می‌کند.

شهود پشت روش

بیشتر داده‌های دنیای واقعی بدون برچسب هستند. یادگیری خودنظارتی این فراوانی را با ابداع چالشی که مدل باید فقط با استفاده از خود داده‌ها آن را حل کند - به عنوان مثال، پنهان کردن بخشی از یک جمله و درخواست از مدل برای پیش‌بینی آن - به یک منبع آموزشی تبدیل می‌کند. حل این چالش مدل را مجبور می‌کند تا بازنمایی‌های داخلی غنی بسازد. هنگامی که بازنمایی‌ها به اندازه کافی خوب بودند، تنها مقدار کمی داده برچسب‌دار برای تطبیق مدل با یک وظیفه خاص مورد نیاز است و هزینه حاشیه‌نویسی را به شدت کاهش می‌دهد.

تاریخ

مفهوم یادگیری از داده‌های بدون برچسب از طریق وظایف نیابتی قبل از یادگیری عمیق وجود داشت، اما یادگیری خودنظارتی به عنوان یک پارادایم نام‌گذاری شده در حدود سال‌های ۲۰۱۸-۲۰۲۰ با BERT (Devlin et al., 2018) در NLP و MoCo / SimCLR در بینایی کامپیوتر برجسته شد. یان لِکون در سال ۲۰۲۲ اصطلاح و چشم‌انداز آن را ترویج کرد و SSL را «ماده تاریک هوش» توصیف کرد. امروزه این امر تقریباً تمام مدل‌های زبان بزرگ و مدل‌های پایه بینایی را پشتیبانی می‌کند.

چه زمانی استفاده شود

زمانی یادگیری خودنظارتی را انتخاب کنید که مجموعه بزرگی از داده‌های بدون برچسب در حوزه هدف خود دارید اما برچسب‌گذاری پرهزینه یا کند است - که در تصویربرداری پزشکی، پردازش زبان طبیعی، تصاویر ماهواره‌ای و داده‌های علمی رایج است. این رویکرد استاندارد هنگام ساخت مدل‌های پایه در مقیاس بزرگ (BERT, GPT, DINO) یا زمانی که مجموعه‌های برچسب‌دار پایین‌دستی کوچک هستند، می‌باشد. از SSL زمانی اجتناب کنید که مجموعه داده بدون برچسب خیلی کوچک است (کمتر از چند هزار نمونه)، وظیفه پیش‌متن با وظیفه پایین‌دستی مطابقت ندارد، یا منابع محاسباتی به شدت محدود هستند - در این موارد، یادگیری نظارتی بر روی برچسب‌های موجود یا یادگیری انتقالی سنتی از یک نقطه بازرسی عمومی عملی‌تر است.

محدودیت‌ها و ملاحظات

  • پیش‌آموزش مدل‌های بزرگ نیازمند محاسبات قابل توجه (GPU/TPU برای روزها تا هفته‌ها) و مجموعه‌های داده بدون برچسب بزرگ است.
  • طراحی وظیفه پیش‌متن غیربدیهی است؛ یک وظیفه بد انتخاب شده می‌تواند بازنمایی‌هایی تولید کند که به خوبی منتقل نمی‌شوند.
  • پایداری تنظیم دقیق می‌تواند به نرخ یادگیری و تعداد لایه‌های باز شده حساس باشد.
  • ارزیابی غیرمستقیم است: عملکرد پیش‌متن، عملکرد وظیفه پایین‌دستی را تضمین نمی‌کند.
  • شکاف دامنه بین مجموعه داده پیش‌آموزش و دامنه هدف می‌تواند مزایا را محدود کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • از مقادیر عظیمی از داده‌های بدون برچسب بهره‌برداری می‌کند و آن را به مقیاس‌پذیرترین رویکرد برای پیش‌آموزش مجموعه داده‌های بزرگ تبدیل می‌کند.
  • بازنمایی‌های عمومی تولید می‌کند که با داده‌های کم تنظیم دقیق، به خوبی به بسیاری از وظایف پایین‌دستی منتقل می‌شوند.
  • هزینه حاشیه‌نویسی را با تولید نظارت از ساختار داده به جای برچسب‌های انسانی به شدت کاهش می‌دهد.
  • مدل‌های پایه پیشرفته (BERT, GPT, DINO, MAE) همگی بر اساس اهداف خودنظارتی ساخته شده‌اند.
  • به طور طبیعی داده‌های چندوجهی را با طراحی وظایف پیش‌متن بین‌وجهی (مانند CLIP) مدیریت می‌کند.
  • تعبیه‌های غنی مفید برای بازیابی، خوشه‌بندی و تشخیص ناهنجاری بدون هیچ‌گونه تنظیم دقیق، تولید می‌کند.

کاربردها

  • پیش‌آموزش مدل‌های زبان بزرگ (BERT, GPT, T5) برای وظایف NLP مانند طبقه‌بندی و پرسش و پاسخ.
  • مدل‌های پایه بینایی (DINO, MAE, SimCLR) برای تشخیص تصویر، بخش‌بندی و بازیابی.
  • تحلیل تصویر پزشکی که در آن اسکن‌های برچسب‌دار کمیاب هستند اما تصاویر بدون برچسب فراوانند.
  • یادگیری بازنمایی گفتار و صدا (wav2vec, HuBERT) برای ASR و تأیید سخنور.
  • یادگیری بازنمایی مولکولی و پروتئینی (ChemBERTa, ESM) برای کشف دارو.
  • تشخیص ناهنجاری و بازیابی از طریق شباهت تعبیه بدون ناهنجاری‌های برچسب‌دار.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک وظیفه پیش‌متن (کمکی) به گونه‌ای طراحی می‌شود که برچسب‌های آن از ساختار خود داده‌ها به دست می‌آیند - به عنوان مثال، پیش‌بینی توکن ماسک شده در متن (BERT)، پیش‌بینی فریم بعدی در ویدئو، یا حداکثر کردن شباهت بین نماهای افزوده شده متفاوت از یک تصویر یکسان (SimCLR, MoCo). هیچ حاشیه‌نویسی انسانی برای این مرحله لازم نیست.

2

یک رمزگذار عصبی، هر ورودی x را به یک بازنمایی فشرده z = f(x; theta) نگاشت می‌کند. معماری رمزگذار بسته به مدالیته متفاوت است: ترنسفورمرها برای متن و بینایی، شبکه‌های کانولوشنی برای صدا، یا شبکه‌های عصبی گراف برای داده‌های مولکولی. این بازنمایی همان چیزی است که دانش را به وظایف پایین‌دستی منتقل می‌کند.

فرمول
z = f_{\theta}(x)
3

مدل برای کمینه کردن یک زیان که اندازه‌گیری می‌کند چقدر خوب وظیفه پیش‌متن را حل می‌کند - آنتروپی متقاطع برای پیش‌بینی ماسک شده، زیان کنتراستیو (InfoNCE) برای توافق نما، یا خطای بازسازی برای خودرمزگذارها - آموزش داده می‌شود. کمینه کردن این زیان، بازنمایی را برای ثبت ساختار معنایی مفید شکل می‌دهد.

4

پس از همگرایی پیش‌آموزش، وزن‌های رمزگذار به یک وظیفه پایین‌دستی منتقل می‌شوند. یک سر طبقه‌بندی یا رگرسیون سبک به آن متصل می‌شود و کل مدل (یا فقط سر) بر روی یک مجموعه داده کوچک برچسب‌دار تنظیم دقیق می‌شود و به دقتی قابل مقایسه با مدل‌های کاملاً نظارتی که بر روی داده‌های برچسب‌دار بسیار بیشتری آموزش دیده‌اند، دست می‌یابد.

دام‌های رایج

  • انتخاب یک وظیفه پیش‌متن بدون در نظر گرفتن هم‌ترازی آن با معناشناسی وظیفه پایین‌دستی.
  • استفاده از مجموعه داده بدون برچسب که خیلی کوچک است یا نماینده دامنه هدف نیست و بازنمایی‌های ضعیفی تولید می‌کند.
  • تنظیم دقیق تمام لایه‌ها با نرخ یادگیری بالا و فراموشی فاجعه‌بار بازنمایی پیش‌آموزش دیده شده.
  • گزارش فقط دقت پایین‌دستی پس از تنظیم دقیق بدون بررسی ارزش پیش‌آموزش در مقابل نظارت مستقیم.
  • نادیده گرفتن طراحی افزایش داده در روش‌های کنتراستیو، که برای کیفیت بازنمایی حیاتی است.

پرسش‌های متداول

تفاوت بین یادگیری خودنظارتی و بدون نظارت چیست؟

هر دو از داده‌های بدون برچسب استفاده می‌کنند، اما یادگیری خودنظارتی یک سیگنال نظارتی خاص از ساختار داده (مانند توکن‌های ماسک شده، نماهای افزوده شده) می‌سازد و با یک تابع زیان تعریف شده آموزش می‌بیند. یادگیری بدون نظارت کلاسیک (خوشه‌بندی، PCA) به جای آن ساختار را بدون هیچ هدف پیش‌بینی صریح پیدا می‌کند.

آیا نیاز به پیش‌آموزش از ابتدا دارم یا می‌توانم از یک نقطه بازرسی موجود استفاده کنم؟

برای اکثر پروژه‌های کاربردی، تنظیم دقیق یک نقطه بازرسی در دسترس عموم (مانند BERT از Hugging Face، DINO از Meta) بسیار عملی‌تر از پیش‌آموزش از ابتدا است. پیش‌آموزش از ابتدا تنها زمانی موجه است که حوزه شما بسیار تخصصی باشد (مانند متن بالینی) و نقاط بازرسی موجود به خوبی منتقل نشوند.

چه مقدار داده بدون برچسب مورد نیاز است؟

هرچه بیشتر بهتر برای پیش‌آموزش، اما SSL مؤثر در حوزه خاص با ده‌ها هزار نمونه بدون برچسب برای مدل‌های کوچکتر نشان داده شده است. آستانه به شدت به اندازه مدل و پیچیدگی وظیفه پیش‌متن بستگی دارد.

وظیفه پیش‌متن کنتراستیو چیست؟

وظایف پیش‌متن کنتراستیو (SimCLR, MoCo) دو نمای افزوده شده متفاوت از یک نمونه ایجاد می‌کنند و رمزگذار را آموزش می‌دهند تا نماها در فضای بازنمایی شبیه به هم باشند در حالی که از بازنمایی‌های نمونه‌های دیگر متفاوت هستند. این مدل را آموزش می‌دهد که نسبت به افزایش داده ناوردا باشد و در عین حال محتوای معنایی را حفظ کند.

آیا یادگیری خودنظارتی برای داده‌های جدولی مناسب است؟

بله، اگرچه مزایا نسبت به تصاویر یا متن کمتر است. رویکردهایی مانند SCARF، پیش‌آموزش TabNet و پیش‌بینی ویژگی ماسک شده مزایایی را زمانی که داده‌های جدولی برچسب‌دار کمیاب هستند نشان داده‌اند، اما برای مجموعه داده‌های جدولی معمولی با دسترسی معقول به برچسب، روش‌های ترکیبی نظارتی همچنان غالب هستند.

روش‌های مرتبط

منابع

  1. LeCun, Y. & Misra, I. (2022). Self-supervised learning: The dark matter of intelligence. Meta AI Blog. https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/

    باز کردن مرجع انتشار
    کپی شد.
  2. Self-supervised learning. Wikipedia.

    باز کردن مرجع انتشار
    کپی شد.