Skip to content
بازگشت به نتایج جست‌وجو

یادگیری فعال با یادگیری خودنظارتی

معرفی‌شده توسط
Multiple authors (active learning + SSL integration, 2020s)
سال
2020-2022
نوع
Hybrid learning paradigm
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فعال ترکیبی با یادگیری خودنظارتی، از داده‌های بدون برچسب از طریق پیش‌آموزش خودنظارتی برای ساخت نمایش‌های غنی بهره می‌برد، سپس از یک استراتژی پرس‌وجوی فعال برای انتخاب آموزنده‌ترین نمونه‌ها برای حاشیه‌نویسی انسانی استفاده می‌کند و عملکرد مدل را تحت یک بودجه برچسب‌گذاری محدود به حداکثر می‌رساند. این رویکرد ترکیبی به‌ویژه زمانی قدرتمند است که داده‌های برچسب‌دار کمیاب باشند اما مجموعه‌های بزرگی از داده‌های بدون برچسب وجود داشته باشند.

شهود پشت روش

یادگیری خودنظارتی می‌تواند نمایش‌های مفیدی را از داده‌های خام و بدون برچسب با حل وظایف پیش‌فرض مانند پیش‌بینی تکه‌های ماسک‌شده یا مقایسه نماهای افزوده استخراج کند. هنگامی که یک رمزگذار قوی به این روش پیش‌آموزش داده شد، یادگیری فعال آغاز می‌شود: به جای برچسب‌گذاری همه چیز، تنها در مورد نامطمئن‌ترین یا نماینده‌ترین نمونه‌های بدون برچسب از یک اوراکل پرسیده می‌شود. فضای جاسازی غنی رمزگذار، پرس‌وجوهای عدم قطعیت و تنوع را بسیار دقیق‌تر از آنچه از یک مدل با مقداردهی اولیه تصادفی انتظار می‌رود، می‌سازد، بنابراین هر نمونه برچسب‌دار بهبود بیشتری را به همراه دارد. سپس چرخه تکرار می‌شود و رمزگذار با هر دسته جدید از برچسب‌ها تنظیم دقیق می‌شود.

تاریخ

یادگیری فعال ریشه‌هایی در دهه ۱۹۹۰ (کوهن و همکاران، ۱۹۹۶) دارد و یادگیری خودنظارتی در دهه ۲۰۱۰ با روش‌های کنتراستیو برجسته شد. ادغام آنها در سال‌های ۲۰۲۰-۲۰۲۲ با در دسترس قرار گرفتن مجموعه داده‌های بدون برچسب بزرگ و رمزگذارهای قدرتمند SSL (SimCLR، MoCo، MAE) تسریع شد. محققان دریافتند که پیش‌آموزش SSL کیفیت جاسازی را که استراتژی‌های پرس‌وجوی فعال به آن متکی هستند، به طور قابل توجهی بهبود می‌بخشد و منجر به خانواده‌ای از چارچوب‌های ترکیبی AL-SSL شد که در بینایی کامپیوتر و پردازش زبان طبیعی مورد مطالعه قرار گرفتند. این ترکیب اکنون یک مرز تحقیقاتی فعال است، به ویژه در تنظیمات کم‌منابع و محدود به حاشیه‌نویسی.

چه زمانی استفاده شود

هنگامی که مجموعه داده بدون برچسب بزرگی دارید و بودجه سختگیرانه‌ای برای حاشیه‌نویسی دستی دارید، و زمانی که ویژگی‌های خام به اندازه کافی پیچیده هستند (تصاویر، متن، صدا، سیگنال‌های با ابعاد بالا) که پیش‌آموزش خودنظارتی ارزش نمایشی قابل توجهی اضافه می‌کند، از این ترکیب استفاده کنید. این روش در تصویربرداری پزشکی، طبقه‌بندی اسناد و سنجش از دور که برچسب‌گذاری تخصصی پرهزینه است، عالی عمل می‌کند. زمانی که مجموعه داده برچسب‌دار شما در حال حاضر بزرگ و نماینده است، زمانی که دامنه داده‌ها داده‌های جدولی ساده‌ای است که پیش‌آموزش SSL مزیت کمی دارد، یا زمانی که بودجه محاسباتی به شدت محدود است - پیش‌آموزش SSL رمزگذارهای بزرگ از نظر محاسباتی فشرده است - از آن استفاده نکنید. همچنین زمانی که مجموعه داده بدون برچسب نسبت به داده‌های برچسب‌دار کوچک است، از آن اجتناب کنید.

محدودیت‌ها و ملاحظات

  • پیش‌آموزش خودنظارتی می‌تواند از نظر محاسباتی پرهزینه باشد، به خصوص برای معماری‌های رمزگذار بزرگ مانند ترانسفورمرهای بصری.
  • یادگیری فعال اکتساب داده‌های متوالی را معرفی می‌کند، که موازی‌سازی را دشوارتر کرده و گردش کار کلی حاشیه‌نویسی را طولانی‌تر می‌کند.
  • اگر دامنه پیش‌آموزش خودنظارتی و دامنه وظیفه هدف به طور قابل توجهی واگرا شوند، نمایش‌های رمزگذار ممکن است برای انتخاب پرس‌وجو گمراه‌کننده باشند.
  • نیاز به طراحی دقیق دارد: تابع اکتساب باید با معماری رمزگذار و فضای جاسازی سازگار باشد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • تعداد برچسب‌های مورد نیاز برای رسیدن به دقت هدف را در مقایسه با رویکردهای صرفاً نظارتی یا صرفاً یادگیری فعال به طور چشمگیری کاهش می‌دهد.
  • نمایش‌های خودنظارتی با ارائه فواصل جاسازی معنادار و تخمین‌های عدم قطعیت از ابتدا، کیفیت پرس‌وجوهای فعال را بهبود می‌بخشند.
  • قابلیت انتقال خوب بین دامنه‌ها: یک رمزگذار خودنظارتی که بر روی داده‌های بدون برچسب از یک دامنه پیش‌آموزش داده شده است، می‌تواند یادگیری فعال را در یک دامنه هدف مرتبط آغاز کند.
  • داده‌های بدون ساختار با ابعاد بالا (تصاویر، متن، صدا) را که توابع اکتساب یادگیری فعال سنتی بر روی ویژگی‌های خام عملکرد ضعیفی دارند، مدیریت می‌کند.
  • این دو پارادایم یکدیگر را تقویت می‌کنند: نمایش‌های بهتر انتخاب پرس‌وجو را بهبود می‌بخشند؛ داده‌های برچسب‌دار بهتر نمایش‌ها را بهبود می‌بخشند.

کاربردها

  • حاشیه‌نویسی تصویر پزشکی که در آن زمان رادیولوژیست کمیاب است و آرشیوهای بزرگی از اسکن‌های بدون برچسب وجود دارد.
  • طبقه‌بندی اسناد و متن با مجموعه‌های داده برچسب‌دار محدود اما متن خام فراوان.
  • طبقه‌بندی سنجش از دور و تصاویر ماهواره‌ای تحت محدودیت‌های بودجه حاشیه‌نویسی.
  • تشخیص نقص صنعتی که در آن نمونه‌های نقص برچسب‌دار نادر هستند اما تصاویر تولیدی عادی فراوان هستند.
  • طبقه‌بندی گفتار و صدا با آرشیوهای صوتی بدون برچسب بزرگ و رونویسی پرهزینه.
  • کشف دارو: انتخاب آموزنده‌ترین ساختارهای مولکولی برای سنجش‌های آزمایشگاهی.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک رمزگذار خودنظارتی با استفاده از یک وظیفه پیش‌فرض - مانند یادگیری کنتراستیو (SimCLR، MoCo)، رمزگذارهای خودکار ماسک‌شده (MAE)، یا پیش‌بینی چرخش - بر روی کل مجموعه داده بدون برچسب پیش‌آموزش داده می‌شود. در این مرحله نیازی به برچسب‌های انسانی نیست؛ هدف، فضای ویژگی است که در آن نمونه‌های مشابه معنایی در کنار هم قرار می‌گیرند.

2

یک تابع اکتساب یادگیری فعال - مانند کمترین اطمینان، نمونه‌برداری آنتروپی، BADGE، یا انتخاب مجموعه اصلی - هر نمونه بدون برچسب را با استفاده از پیش‌بینی‌ها یا جاسازی‌های رمزگذار فعلی ارزیابی می‌کند. نمونه‌هایی که بیشترین اطلاعات را دارند (نامطمئن یا نماینده‌ترین مناطق کاوش نشده) رتبه‌بندی شده و یک دسته به اندازه بودجه برای حاشیه‌نویسی انتخاب می‌شود.

3

دسته انتخاب شده به یک حاشیه‌نویس انسانی (اوراکل) ارائه می‌شود که برچسب‌های حقیقت زمینی را فراهم می‌کند. این تنها مرحله‌ای است که هزینه برچسب‌گذاری را در بر دارد، بنابراین کیفیت استراتژی پرس‌وجو مستقیماً کارایی برچسب‌گذاری را تعیین می‌کند.

4

رمزگذار تنظیم دقیق می‌شود (یا یک سر طبقه‌بندی جدید آموزش داده می‌شود) بر روی تمام نمونه‌های برچسب‌دار انباشته شده تا کنون. تکنیک‌های منظم‌سازی مانند ارزیابی خطی و سپس تنظیم دقیق کامل به جلوگیری از بیش‌برازش بر روی مجموعه کوچک برچسب‌دار در حالی که نمایش‌های پیش‌آموزش‌داده شده حفظ می‌شوند، کمک می‌کند.

5

چرخه پرس‌وجو-برچسب-تنظیم دقیق تکرار می‌شود تا زمانی که بودجه برچسب‌گذاری تمام شود یا هدف عملکرد حاصل شود. در صورت پویا بودن مجموعه داده، رمزگذار به صورت اختیاری با داده‌های بدون برچسب جدید بین دورها به‌روزرسانی می‌شود.

دام‌های رایج

  • استفاده از یک تابع اکتساب عمومی (مانند نمونه‌برداری تصادفی) پس از پیش‌آموزش SSL و نامیدن آن یادگیری فعال - استراتژی پرس‌وجو چیزی است که سود اضافی را فراهم می‌کند.
  • ارزیابی تنها مدل نهایی پس از تمام دورهای حاشیه‌نویسی، که پنهان می‌کند آیا پرس‌وجوهای اولیه واقعاً آموزنده بوده‌اند یا خیر.
  • نادیده گرفتن تغییر توزیع بین مجموعه داده بدون برچسب و اوراکل حاشیه‌نویسی، که می‌تواند سوگیری انتخاب را معرفی کند.
  • فراموش کردن ردیابی هزینه برچسب‌گذاری به عنوان محور اصلی مقایسه - سود باید به عنوان دقت در مقابل بودجه حاشیه‌نویسی اندازه‌گیری شود، نه فقط دقت نهایی.
  • اعمال همان برنامه زمان‌بندی نرخ یادگیری در طول تنظیم دقیق مانند طول پیش‌آموزش، که می‌تواند نمایش‌های پیش‌آموزش‌داده شده را از بین ببرد.

پرسش‌های متداول

آیا باید پس از هر دور یادگیری فعال، پیش‌آموزش خودنظارتی را دوباره اجرا کنم؟

لزوماً نه. رایج‌ترین روش این است که یک بار بر روی کل مجموعه داده بدون برچسب پیش‌آموزش دهید، سپس رمزگذار را به صورت افزایشی با هر دسته برچسب‌دار جدید تنظیم دقیق کنید. اجرای مجدد پیش‌آموزش کامل SSL در هر دور از نظر محاسباتی غیرممکن است؛ برخی تحقیقات از به‌روزرسانی‌های سبک SSL (مانند یادگیری کنتراستیو آنلاین) برای تطبیق نمایش‌ها در طول چرخه AL استفاده می‌کنند.

کدام تابع اکتساب یادگیری فعال با SSL بهترین کارایی را دارد؟

استراتژی‌های مبتنی بر جاسازی مانند انتخاب مجموعه اصلی، BADGE (یادگیری فعال دسته‌ای با جاسازی‌های گرادیان متنوع) و نمونه‌برداری تنوع مبتنی بر خوشه‌بندی، بهترین عملکرد را دارند زیرا از هندسه معنادار فضای جاسازی SSL بهره می‌برند. نمونه‌برداری آنتروپی ساده بر روی خروجی‌های سافت‌مکس نیز از SSL سود می‌برد اما نسبت به تصادفی سود کمتری دارد.

این با یادگیری نیمه‌نظارتی چه تفاوتی دارد؟

یادگیری نیمه‌نظارتی از تمام داده‌های بدون برچسب به صورت غیرفعال در طول آموزش استفاده می‌کند. یادگیری فعال با SSL تعاملی است: به طور استراتژیک انتخاب می‌کند که کدام نمونه‌های بدون برچسب برای حاشیه‌نویسی به اوراکل ارائه شوند و مدل را فقط با آن برچسب‌های انتخاب شده به‌روزرسانی می‌کند. تمایز کلیدی، حلقه حاشیه‌نویسی متوالی و آگاه از بودجه است.

آیا داده‌های جدولی برای این رویکرد مناسب هستند؟

به طور کلی خیر. پیش‌آموزش خودنظارتی بر روی داده‌های جدولی در مقایسه با تصاویر یا متن، مزیت کمی دارد، زیرا استراتژی افزایش طبیعی یا ماسک‌گذاری تکه وجود ندارد. برای داده‌های جدولی، یادگیری فعال ساده با یک مدل نظارتی معمولی (مانند رگرسیون لجستیک یا جنگل تصادفی) معمولاً کارآمدتر و قابل تفسیرتر است.

چه معیارهایی را باید گزارش دهم؟

دقت (یا F1، AUC) را به عنوان تابعی از بودجه برچسب‌گذاری (تعداد پرس‌وجوهای اوراکل) گزارش دهید، نه فقط دقت نهایی. یک خط پایه نمونه‌برداری تصادفی و، در صورت امکان، یک حد بالای کاملاً نظارتی را شامل شود. این منحنی کارایی حاشیه‌نویسی، سهم اصلی هر ارزیابی یادگیری فعال است.

روش‌های مرتبط

منابع

  1. Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091.

    باز کردن مرجع انتشار
    کپی شد.
  2. Wang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600.

    باز کردن مرجع DOI
    کپی شد.