Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون لجستیک خودنظارتی

معرفی‌شده توسط
Chen et al. (SimCLR linear evaluation protocol, 2020); logistic probe practice widely adopted across SSL literature
سال
2020s
نوع
Self-supervised pretraining + supervised linear classification
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون لجستیک خودنظارتی یک پایپ‌لاین دو مرحله‌ای است که در آن ابتدا یک رمزگذار عصبی بر روی داده‌های بدون برچسب فراوان از طریق یک وظیفه پیش‌متن خودنظارتی — مانند یادگیری کنتراستیو یا پیش‌بینی ماسک‌شده — آموزش داده می‌شود و سپس نمایش‌های یادگرفته‌شده ثابت با یک مدل رگرسیون لجستیک استاندارد که بر روی یک مجموعه داده برچسب‌دار کوچک آموزش دیده است، طبقه‌بندی می‌شوند. این پروتکل ارزیابی خطی به طور گسترده‌ای برای محک‌زنی کیفیت نمایش‌های خودنظارتی استفاده می‌شود.

شهود پشت روش

تصور کنید که خودتان یاد می‌گیرید اشکال را تشخیص دهید بدون اینکه کسی برچسب‌ها را به شما بگوید، صرفاً با مقایسه جفت تصاویر و یادگیری اینکه چه چیزی آنها را شبیه یا متفاوت می‌کند. پس از این تمرین بدون نظارت، نمایش داخلی شما از تصاویر غنی و ساختاریافته می‌شود. هنگامی که در نهایت چند مثال برچسب‌دار را می‌بینید، یک قانون خطی ساده — رگرسیون لجستیک — که بر روی نمایش یادگرفته‌شده شما اعمال می‌شود، اغلب برای طبقه‌بندی دقیق مثال‌های جدید کافی است. کیفیت طبقه‌بندی‌کننده خطی سپس نشان می‌دهد که پیش‌آموزش خودنظارتی چقدر مفید بوده است، به همین دلیل این ترکیب یک پروب محک‌زنی استاندارد در جامعه SSL است.

تاریخ

پروتکل ارزیابی خطی — آموزش رگرسیون لجستیک بر روی ویژگی‌های خودنظارتی ثابت — پس از موفقیت روش‌های کنتراستیو مانند SimCLR (Chen et al., 2020) و MoCo به معیار غالب در ادبیات یادگیری خودنظارتی تبدیل شد. کارهای قبلی بر روی تعبیه‌های کلمه (Word2Vec, GloVe) از طبقه‌بندی‌کننده‌های خطی پایین‌دستی مشابه برای اعتبارسنجی کیفیت نمایش استفاده می‌کردند. این پروتکل اکنون در تحقیقات SSL بینایی، پردازش زبان طبیعی (NLP) و صوتی به عنوان یک معیار سبک و قابل مقایسه از کاربرد مدل پیش‌آموزش‌دیده استاندارد است.

چه زمانی استفاده شود

از رگرسیون لجستیک خودنظارتی زمانی استفاده کنید که داده‌های برچسب‌دار کمیاب هستند اما داده‌های بدون برچسب فراوان — وضعیتی رایج در تصویربرداری پزشکی، پردازش زبان طبیعی (NLP) یا حوزه‌های علمی. همچنین این پروتکل استاندارد برای ارزیابی اینکه آیا یک رمزگذار خودنظارتی نمایش‌های قابل انتقال را یاد گرفته است یا خیر، می‌باشد. این رویکرد زمانی بهترین عملکرد را دارد که حوزه‌های پیش‌آموزش و پایین‌دستی ارتباط نزدیکی با هم داشته باشند. از آن زمانی اجتناب کنید که داده‌های برچسب‌دار فراوان هستند (یادگیری نظارت‌شده ساده عملکرد بهتری خواهد داشت)، زمانی که وظیفه پایین‌دستی به مرزهای غیرخطی دقیق نیاز دارد (تنظیم دقیق کامل رمزگذار بهتر است)، یا زمانی که منابع محاسباتی برای پیش‌آموزش یک رمزگذار بزرگ در دسترس نیستند.

محدودیت‌ها و ملاحظات

  • برای تولید نمایش‌های مفید به یک رمزگذار عصبی قدرتمند و اغلب بزرگ نیاز دارد که مستلزم محاسبات قابل توجه و داده‌های بدون برچسب برای پیش‌آموزش است.
  • عملکرد به شدت به میزان همسویی وظیفه پیش‌متن با وظیفه طبقه‌بندی پایین‌دستی بستگی دارد؛ وظایف نامتناسب منجر به تعبیه‌های ضعیف می‌شوند.
  • یک پروب خطی ثابت ممکن است در مقایسه با تنظیم دقیق کامل، زمانی که مرز تصمیم‌گیری در فضای ویژگی پیش‌آموزش‌دیده غیرخطی است، عملکرد ضعیف‌تری داشته باشد.
  • قابلیت تفسیر سرتاسری محدود است: رمزگذار خودنظارتی یک جعبه سیاه است که ویژگی‌های تغذیه شده به رگرسیون لجستیک را تولید می‌کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • از داده‌های بدون برچسب بهره‌برداری می‌کند و نیاز به برچسب‌گذاری‌های انسانی پرهزینه را به شدت کاهش می‌دهد.
  • پروتکل ارزیابی خطی یک معیار قابل تفسیر و قابل بازتولید از کیفیت نمایش فراهم می‌کند.
  • رگرسیون لجستیک سریع، پایدار است و خروجی‌های احتمالی با استنتاجی که به خوبی درک شده است، ارائه می‌دهد.
  • جداسازی پیش‌آموزش از طبقه‌بندی، پایپ‌لاین را ماژولار می‌کند: یک رمزگذار می‌تواند به چندین طبقه‌بندی‌کننده لجستیک پایین‌دستی خدمت کند.
  • در حوزه‌های مختلف — تصاویر، متن، صدا — هر زمان که یک رمزگذار خودنظارتی بتواند پیش‌آموزش داده شود، به خوبی کار می‌کند.

کاربردها

  • طبقه‌بندی تصاویر پزشکی با اسکن‌های برچسب‌دار محدود اما آرشیوهای بزرگ بدون برچسب.
  • طبقه‌بندی متن NLP با استفاده از تعبیه‌های جمله از مدل‌های زبان خودنظارتی.
  • محک‌زنی و مقایسه استراتژی‌های مختلف پیش‌آموزش خودنظارتی از طریق پروبینگ خطی.
  • طبقه‌بندی داده‌های علمی در زیست‌شناسی و شیمی که برچسب‌گذاری پرهزینه است.
  • تشخیص رویداد صوتی با استفاده از رمزگذارهای صوتی خودنظارتی و سپس رگرسیون لجستیک.
  • انطباق حوزه با منابع کم که داده‌های هدف برچسب‌دار کمیاب هستند اما داده‌های بدون برچسب در دسترس هستند.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک وظیفه پیش‌متن خودنظارتی بر روی داده‌های بدون برچسب تعریف می‌شود: برای مثال، پیش‌بینی اینکه آیا دو نمای تقویت‌شده از یک تصویر یکسان مرتبط هستند (یادگیری کنتراستیو)، بازسازی توکن‌های ماسک‌شده (رمزگذارهای خودکار ماسک‌شده)، یا پیش‌بینی چرخش‌های تصویر. این وظیفه یک سیگنال آموزشی بدون برچسب‌های انسانی فراهم می‌کند و رمزگذار را مجبور می‌کند تا نمایش‌های معنایی معنادار را یاد بگیرد.

2

یک رمزگذار شبکه عصبی — اغلب یک شبکه کانولوشنال یا ترانسفورمر — برای به حداقل رساندن اتلاف وظیفه پیش‌متن بر روی یک مجموعه بزرگ بدون برچسب آموزش داده می‌شود. پس از آموزش، رمزگذار ساختار معنایی سطح بالا را در نمایش‌های میانی خود (تعبیه‌ها) ثبت می‌کند، حتی اگر هیچ برچسب کلاسی درگیر نبوده باشد.

3

وزن‌های رمزگذار پس از پیش‌آموزش ثابت می‌شوند. هر مثال آموزشی برچسب‌دار از طریق رمزگذار ثابت عبور داده می‌شود تا یک بردار تعبیه با طول ثابت z تولید شود. این تعبیه‌ها به عنوان ویژگی‌های ورودی برای مرحله نظارت‌شده پایین‌دستی عمل می‌کنند و جایگزین ورودی‌های خام می‌شوند.

4

یک مدل رگرسیون لجستیک استاندارد بر روی مجموعه داده برچسب‌دار کوچک با استفاده از تعبیه‌های ثابت z به عنوان ویژگی‌ها برازش می‌شود. از آنجا که تعبیه‌ها از قبل از نظر معنایی غنی هستند، رگرسیون لجستیک — یک مرز خطی در فضای تعبیه — اغلب برای دستیابی به عملکرد طبقه‌بندی قوی بدون تنظیم دقیق عصبی بیشتر کافی است.

فرمول
P(y=1 \mid \mathbf{z}) = \sigma(\mathbf{w}^\top \mathbf{z} + b)
5

طبقه‌بندی‌کننده لجستیک آموزش‌دیده بر روی یک مجموعه آزمایشی نگهداری‌شده با استفاده از معیارهای استاندارد ارزیابی می‌شود: دقت، F1، AUC-ROC. در ادبیات محک‌زنی SSL این پروتکل ارزیابی خطی نامیده می‌شود؛ دقت خطی بالا بر روی ویژگی‌های ثابت نشان می‌دهد که پیش‌آموزش نمایش‌های مفید و خطی قابل تفکیک را یاد گرفته است.

دام‌های رایج

  • ارزیابی بر روی همان مجموعه بدون برچسب که برای پیش‌آموزش استفاده شده است — رمزگذار این ورودی‌ها را دیده است که می‌تواند تخمین‌های پایین‌دستی را افزایش دهد.
  • فرض اینکه نمره پروب خطی بالا به این معنی است که مدل بدون اعتبارسنجی بیشتر به یک حوزه متفاوت تعمیم می‌یابد.
  • نادیده گرفتن تقویت داده یا استفاده از تقویت‌های ضعیف در پیش‌آموزش کنتراستیو، که منجر به نمایش‌های با عملکرد پایین می‌شود.
  • استفاده از مجموعه پیش‌آموزش بدون برچسب بسیار کوچک، به طوری که رمزگذار نمایش‌های به اندازه کافی عمومی را یاد نمی‌گیرد.
  • فراموش کردن ثابت کردن رمزگذار در طول ارزیابی خطی، که کیفیت رمزگذار را با تنظیم دقیق پایین‌دستی مخلوط می‌کند.

پرسش‌های متداول

پروب خطی در یادگیری خودنظارتی چیست؟

یک پروب خطی دقیقاً همین تنظیمات است: پس از پیش‌آموزش خودنظارتی، رمزگذار ثابت می‌شود و یک طبقه‌بندی‌کننده خطی ساده — معمولاً رگرسیون لجستیک — بر روی تعبیه‌های خروجی آن با استفاده از داده‌های برچسب‌دار آموزش داده می‌شود. دقت پروب خطی نشان می‌دهد که نمایش‌های پیش‌آموزش‌دیده چقدر مفید و خطی قابل تفکیک هستند.

آیا باید از پروبینگ خطی یا تنظیم دقیق کامل استفاده کنم؟

پروبینگ خطی سریع‌تر است و نشان می‌دهد که آیا نمایش‌ها از قبل مفید هستند؛ این معیار ارزیابی استاندارد است. تنظیم دقیق کامل رمزگذار معمولاً دقت پایین‌دستی بالاتری را به قیمت داده‌های برچسب‌دار بیشتر و محاسبات بیشتر به همراه دارد و خطر فراموش کردن نمایش‌های پیش‌آموزش‌دیده را دارد. در عمل، ابتدا پروبینگ خطی، سپس در صورت نیاز تنظیم دقیق.

چه مقدار داده برچسب‌دار برای مرحله رگرسیون لجستیک نیاز دارم؟

یکی از مزایای اصلی این است که نتایج قوی اغلب با تنها یک تا ده مثال برچسب‌دار در هر کلاس زمانی که نمایش‌های رمزگذار کیفیت بالایی دارند، قابل دستیابی است. با این حال، ارزیابی‌های معمول از ۱ تا ۱۰ درصد داده‌های برچسب‌دار موجود برای مقایسه منصفانه روش‌ها استفاده می‌کنند.

آیا وظیفه پیش‌متن باید با وظیفه پایین‌دستی من مطابقت داشته باشد؟

نه دقیقاً، اما همسویی مهم است. پیش‌آموزش بینایی کنتراستیو به خوبی به بسیاری از وظایف طبقه‌بندی بصری منتقل می‌شود. اگر وظیفه پیش‌متن با وظیفه پایین‌دستی بسیار متفاوت باشد — برای مثال، پیش‌بینی چرخش متن و سپس استفاده از ویژگی‌ها برای پیش‌بینی ویژگی‌های مولکولی — نمایش‌ها ممکن است ضعیف باشند. همیشه کیفیت انتقال را با پروب خطی اعتبارسنجی کنید.

آیا می‌توانم این را بدون یک رمزگذار عصبی عمیق اعمال کنم؟

پیش‌آموزش خودنظارتی زمانی بیشترین سود را دارد که رمزگذار به اندازه کافی گویا باشد تا نمایش‌های پیچیده را یاد بگیرد. برای داده‌های جدولی ساده، مهندسی ویژگی کلاسیک یا رمزگذارهای خودکار بیشتر استفاده می‌شوند؛ پایپ‌لاین عمیق خودنظارتی + رگرسیون لجستیک بیشترین تأثیر را برای تصاویر، متن، صدا و سایر ورودی‌های ساختاریافته با ابعاد بالا دارد.

روش‌های مرتبط

منابع

  1. Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML), 1597–1607.

    باز کردن مرجع انتشار
    کپی شد.
  2. van Engelen, J. E., & Hoos, H. H. (2020). A survey on semi-supervised learning. Machine Learning, 109(2), 373–440.

    باز کردن مرجع DOI
    کپی شد.