Skip to content
بازگشت به نتایج جست‌وجو

یادگیری نیمه‌نظارت‌شده

معرفی‌شده توسط
Vapnik, V. N. and others (community of researchers, 1970s–2000s)
سال
1970s–2006 (formalized)
نوع
Learning paradigm
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری نیمه‌نظارت‌شده (SSL) پارادایمی در یادگیری ماشین است که مدل‌ها را با استفاده از مجموعه‌ای کوچک از نمونه‌های برچسب‌دار به همراه مجموعه‌ای بسیار بزرگ‌تر از داده‌های بدون برچسب آموزش می‌دهد. با بهره‌گیری از ساختار ذاتی داده‌های بدون برچسب، SSL به دقتی نزدیک به مدل‌های کاملاً نظارت‌شده دست می‌یابد، در حالی که به برچسب‌های دستی بسیار کمتری که هزینه‌بر هستند نیاز دارد — این امر آن را زمانی که برچسب‌گذاری پرهزینه، کند یا محدود به منابع است، عملی می‌سازد.

شهود پشت روش

تصور کنید دانش‌آموزی را با دادن چند مثال کتاب درسی با پاسخ و کتابخانه‌ای بزرگ از مسائل حل‌نشده آموزش می‌دهید. دانش‌آموز از مثال‌های حل‌شده برای درک الگوها استفاده می‌کند، سپس از مسائل حل‌نشده برای اصلاح آن درک با مشاهده اینکه کدام مثال‌ها با هم خوشه‌بندی می‌شوند یا ساختارهای مشابهی دارند، استفاده می‌کند. SSL به طور مشابه عمل می‌کند: مدل مرزهای تصمیم‌گیری را از داده‌های برچسب‌دار یاد می‌گیرد، سپس از داده‌های بدون برچسب برای تیز کردن آن مرزها با این فرض که نقاط نزدیک احتمالاً کلاس یکسانی دارند، یا اینکه منیفولد داده ساختار معنی‌داری را ثبت می‌کند، استفاده می‌کند. نتیجه مدلی است که بهتر از آموزش صرفاً با برچسب‌ها عمل می‌کند.

تاریخ

یادگیری نیمه‌نظارت‌شده به عنوان یک حوزه رسمی از کار بر روی SVMهای استقرایی توسط Vapnik در دهه 1990 و انتشار برچسب مبتنی بر گراف توسط Zhu و Ghahramani (2002) پدیدار شد. این حوزه با جلد MIT Press که توسط Chapelle، Scholkopf و Zien (2006) ویرایش شده بود، تثبیت شد که همچنان مرجع متعارف باقی مانده است. یادگیری عمیق مدرن SSL را از طریق روش‌های تنظیم سازگاری مانند MixMatch (2019) و FixMatch (2020) احیا کرد و این پارادایم را به وظایف مقیاس بزرگ تصویر و متن گسترش داد.

چه زمانی استفاده شود

زمانی از یادگیری نیمه‌نظارت‌شده استفاده کنید که داده‌های بدون برچسب فراوان دارید اما برچسب‌گذاری پرهزینه، کند است یا به دانش تخصصی کمیاب نیاز دارد — که در تصویربرداری پزشکی، پردازش زبان طبیعی و حوزه‌های علمی رایج است. SSL زمانی مناسب است که داده‌های بدون برچسب و برچسب‌دار از توزیع یکسانی برخوردار باشند، زمانی که فرض خوشه یا منیفولد به طور منطقی برقرار باشد، و زمانی که یک مدل پایه کاملاً نظارت‌شده از قبل امکان‌پذیر باشد اما دقت آن به دلیل کمبود برچسب محدود باشد. زمانی از SSL استفاده نکنید که داده‌های برچسب‌دار و بدون برچسب از توزیع‌های متفاوتی آمده‌اند (تغییر توزیع)؛ زمانی که داده‌های بدون برچسب بسیار کمیاب هستند؛ زمانی که وظیفه آنقدر ساده است که یک مجموعه برچسب‌دار کوچک ظرفیت مدل را اشباع می‌کند؛ یا زمانی که خطای برچسب کاذب سریع‌تر از آنچه مدل می‌تواند اصلاح کند انباشته می‌شود — همانطور که در خروجی‌های با آنتروپی بالا یا نامتعادل اتفاق می‌افتد.

محدودیت‌ها و ملاحظات

  • عملکرد می‌تواند به زیر سطح پایه نظارت‌شده کاهش یابد اگر داده‌های بدون برچسب فرض خوشه یا همواری را نقض کنند یا تغییر توزیع داشته باشند.
  • خطای برچسب کاذب در طول تکرارها انباشته می‌شود: پیش‌بینی‌های مطمئن اما نادرست، آموزش بعدی را فاسد می‌کنند.
  • نیاز به تنظیم دقیق آستانه‌های اطمینان، قدرت تنظیم، و نسبت داده‌های برچسب‌دار به بدون برچسب دارد.
  • ارزیابی دشوارتر است: مجموعه بدون برچسب هرگز نباید برای انتخاب مدل استفاده شود مگر اینکه به شدت کنار گذاشته شود.
  • هزینه محاسباتی با مجموعه‌های بزرگ بدون برچسب افزایش می‌یابد، به خصوص برای روش‌های مبتنی بر گراف که نیاز به شباهت‌های زوجی دارند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • به طور قابل توجهی دقت مدل را زمانی که داده‌های برچسب‌دار کمیاب هستند اما داده‌های بدون برچسب فراوان هستند، بهبود می‌بخشد.
  • هزینه و زمان حاشیه‌نویسی را کاهش می‌دهد و استقرار عملی را در حوزه‌هایی که برچسب‌گذاری تخصصی سنگین است، امکان‌پذیر می‌سازد.
  • از طریق برچسب‌گذاری کاذب یا افزونه‌های مبتنی بر گراف با تقریباً هر یادگیرنده پایه (شبکه‌های عصبی، جنگل‌های تصادفی، SVM، GP) سازگار است.
  • انتشار برچسب و روش‌های مبتنی بر گراف، عدم قطعیت قابل تفسیر و ساختار همسایگی را ارائه می‌دهند.
  • خودآموزش و تنظیم سازگاری به طور طبیعی با حداقل زیرساخت اضافی در خطوط لوله آموزش استاندارد ادغام می‌شوند.

کاربردها

  • طبقه‌بندی تصاویر پزشکی که در آن حاشیه‌نویسی‌های تخصصی کمیاب و اسکن‌های بدون برچسب فراوان هستند.
  • وظایف پردازش زبان طبیعی مانند تحلیل احساسات و تشخیص موجودیت نام‌گذاری شده با اسناد برچسب‌دار کم.
  • تحقیقات ساختار پروتئین و ژنومیک که در آن برچسب‌های تجربی به سختی به دست می‌آیند.
  • کنترل کیفیت صنعتی با استفاده از تعداد کمی تصاویر نقص برچسب‌دار و بسیاری از تصاویر تولیدی بدون برچسب.
  • تشخیص گفتار و طبقه‌بندی صدا زمانی که فقط کسری از ضبط‌ها قابل رونویسی هستند.
  • طبقه‌بندی محتوای وب و دسته‌بندی اسناد با مجموعه‌های بزرگ خزیده شده.

چگونه کار می‌کند

چگونه کار می‌کند

1

مجموعه‌ای داده شامل زیرمجموعه کوچک برچسب‌دار (معمولاً چند درصد از کل) و زیرمجموعه بزرگ بدون برچسب جمع‌آوری کنید. نمونه‌های برچسب‌دار باید نماینده کلاس‌ها یا نتایج مورد علاقه باشند. کیفیت داده در مجموعه برچسب‌دار تأثیر نامتناسبی بر مدل نهایی دارد.

2

یک مدل اولیه را فقط با استفاده از نمونه‌های برچسب‌دار آموزش دهید. این یک طبقه‌بند یا رگرسور پایه با دقت محدود به دلیل کوچک بودن مجموعه برچسب‌دار تولید می‌کند، اما نقطه شروعی برای بهره‌گیری از داده‌های بدون برچسب فراهم می‌کند.

3

مدل اولیه را بر روی داده‌های بدون برچسب اعمال کنید تا برچسب‌های کاذب تولید شود — تخصیص کلاس پیش‌بینی‌شده یا توزیع‌های احتمال نرم. پیش‌بینی‌های با اطمینان بالا به طور موقت به عنوان برچسب‌های آموزشی پذیرفته می‌شوند. الگوریتم‌های رایج SSL در اینجا متفاوت هستند: خودآموزش پیش‌بینی‌های با بالاترین اطمینان را می‌پذیرد، انتشار برچسب برچسب‌ها را از طریق یک گراف شباهت منتشر می‌کند، و تنظیم سازگاری، پیش‌بینی‌های پایدار را تحت اختلالات ورودی اجباری می‌کند.

4

مدل را با ترکیب داده‌های برچسب‌دار اصلی و نمونه‌های بدون برچسب با برچسب کاذب جدید، دوباره آموزش دهید. این فرآیند ممکن است تکرار شود: مدل بهبودیافته برچسب‌های کاذب بهتری تولید می‌کند که به نوبه خود مدل را بیشتر بهبود می‌بخشد. تنظیم یا آستانه‌های اطمینان در برابر انباشت خطا محافظت می‌کنند.

5

مدل نهایی را بر روی یک مجموعه آزمون برچسب‌دار نگهداری‌شده با استفاده از معیارهای استاندارد (دقت، F1، AUC، MSE) که هرگز در طول آموزش یا برچسب‌گذاری کاذب در معرض آن قرار نگرفته‌اند، ارزیابی کنید. برای سنجش میزان سودمندی داده‌های بدون برچسب، با یک مدل پایه کاملاً نظارت‌شده که فقط با برچسب‌ها آموزش دیده است، مقایسه کنید.

دام‌های رایج

  • استفاده از داده‌های بدون برچسب که توزیع آن‌ها با مجموعه برچسب‌دار متفاوت است — عدم تطابق توزیع شایع‌ترین علت شکست SSL است.
  • نادیده گرفتن یک مدل پایه فقط نظارت‌شده، که غیرممکن می‌سازد تأیید اینکه داده‌های بدون برچسب واقعاً کمک کرده‌اند.
  • تنظیم آستانه‌های اطمینان بیش از حد پایین، که مجموعه آموزشی را با برچسب‌های کاذب نادرست پر می‌کند.
  • ارزیابی بر روی مجموعه بدون برچسب پس از برچسب‌گذاری کاذب، که تخمین‌های عملکرد را متورم می‌کند.
  • رفتار SSL به عنوان یک روش بدون فرض — این روش تنها زمانی کمک می‌کند که فرض‌های همواری، خوشه‌ای یا منیفولدی برقرار باشند.

پرسش‌های متداول

یادگیری نیمه‌نظارت‌شده چگونه با یادگیری خودنظارت‌شده متفاوت است؟

یادگیری نیمه‌نظارت‌شده از مجموعه کوچکی از برچسب‌های ارائه شده توسط انسان به همراه داده‌های بدون برچسب برای بهبود یک وظیفه نظارت‌شده استفاده می‌کند. یادگیری خودنظارت‌شده برچسب‌های خود را از ساختار داده‌های بدون برچسب به تنهایی ایجاد می‌کند (به عنوان مثال، پیش‌بینی کلمات ماسک شده) — هیچ برچسب انسانی در طول پیش‌آموزش استفاده نمی‌شود، اگرچه نمایش‌های آموخته‌شده بعداً بر روی داده‌های برچسب‌دار تنظیم دقیق می‌شوند.

چه زمانی یادگیری نیمه‌نظارت‌شده به جای کمک، ضرر می‌رساند؟

اگر داده‌های بدون برچسب از توزیع متفاوتی نسبت به داده‌های برچسب‌دار آمده باشند، یا اگر مرزهای کلاس با خوشه‌های طبیعی در داده‌ها هم‌تراز نباشند، SSL می‌تواند نویزی را معرفی کند که دقت را به زیر سطح پایه نظارت‌شده کاهش می‌دهد. همیشه با یک مدل فقط نظارت‌شده مقایسه کنید.

ساده‌ترین الگوریتم SSL برای امتحان کردن چیست؟

خودآموزش سرراست‌ترین است: بر روی برچسب‌ها آموزش دهید، بر روی داده‌های بدون برچسب پیش‌بینی کنید، پیش‌بینی‌های با اطمینان بالا را به عنوان داده‌های برچسب‌دار اضافه کنید و دوباره آموزش دهید. این با هر یادگیرنده پایه کار می‌کند و به عنوان یک مدل پایه مفید قبل از روش‌های پیچیده‌تر گراف یا تنظیم سازگاری عمل می‌کند.

معمولاً چه مقدار داده برچسب‌دار مورد نیاز است؟

پاسخ جهانی وجود ندارد، اما SSL زمانی بیشترین سود را دارد که داده‌های برچسب‌دار 1 تا 10 درصد از کل مجموعه داده را نشان دهند. در زیر حدود 10 تا 50 مثال برچسب‌دار در هر کلاس، حتی SSL می‌تواند دچار مشکل شود؛ در آن نقطه یادگیری فعال برای اولویت‌بندی اینکه کدام مثال‌ها برچسب‌گذاری شوند ممکن است مؤثرتر باشد.

آیا یادگیری نیمه‌نظارت‌شده را می‌توان با هر نوع مدلی استفاده کرد؟

بله. برچسب‌گذاری کاذب و خودآموزش با هر یادگیرنده پایه کار می‌کنند. روش‌های مبتنی بر گراف مانند انتشار برچسب مستقل از مدل هستند اما نیاز به محاسبه شباهت‌های زوجی دارند. روش‌های تنظیم سازگاری به طور طبیعی به شبکه‌های عصبی اعمال می‌شوند اما می‌توانند با مدل‌های احتمالی دیگر نیز سازگار شوند.

روش‌های مرتبط

منابع

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    شابک: 978-0-262-03358-9
    کپی شد.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.

    باز کردن مرجع انتشار
    کپی شد.