یادگیری تقابلی بصری
- معرفیشده توسط
- Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
- سال
- 2020
- نوع
- Self-supervised deep representation learning
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
یادگیری تقابلی بصری یک رویکرد یادگیری عمیق خودنظارتی است که با چارچوبهایی مانند SimCLR (Chen et al., 2020) و MoCo (He et al., 2020) محبوبیت یافت. این رویکرد بدون نیاز به برچسب، با نزدیک کردن تقویتهای مختلف از یک تصویر و دور کردن تصاویر متفاوت از یکدیگر، نمایشهای غنی از تصویر را یاد میگیرد. این روش مجموعهای بزرگ از تصاویر بدون برچسب را به یک استخراجکننده ویژگی مفید تبدیل میکند.
شهود پشت روش
اگر یک عکس را به دو روش مختلف برش دهید، تغییر رنگ دهید یا برگردانید، هر دو نسخه باید همچنان به وضوح همان چیز باشند. یادگیری تقابلی دقیقاً بر همین ایده بنا شده است: به یک شبکه آموزش میدهد تا دو نمای تقویتشده از یک تصویر را در فضای ویژگی به هم نزدیک کند، در حالی که نماهای تصاویر دیگر را از هم دور نگه دارد. نیازی به برچسبهای انسانی نیست – نظارت کاملاً از مقایسه تصاویر با یکدیگر حاصل میشود.
تاریخ
یادگیری تقابلی بصری در سال ۲۰۲۰ به سرعت پیشرفت کرد. SimCLR (Chen et al., ICML 2020) نشان داد که یک چارچوب ساده شامل تقویتهای قوی، یک سر پروجکشن (projection head) و تابع زیان تقابلی NT-Xent میتواند با پیشآموزش نظارتشده رقابت کند. MoCo (He et al., CVPR 2020) یک رمزگذار بهروزرسانیشده با مومنتوم و یک صف پویا از منفیها را معرفی کرد که یادگیری تقابلی در مقیاس بزرگ را بدون نیاز به دستههای عظیم امکانپذیر ساخت. رویکردهای بعدی مانند BYOL با یادگیری بدون جفتهای منفی صریح، این خانواده را گسترش دادند.
چه زمانی استفاده شود
زمانی از آن استفاده کنید که مجموعه بزرگی از تصاویر بدون برچسب دارید – در حدود حداقل ۱۰۰۰ تصویر – و میخواهید قبل از هر وظیفه برچسبدار، نمایشهای بصری قوی را یاد بگیرید. این روش فرض میکند که چنین مجموعه دادهای بدون برچسب در دسترس است، به GPU نیاز دارد و به شدت به یک استراتژی تقویت دادهای که به خوبی انتخاب شده باشد، وابسته است. در زیر تقریباً ۵۰۰ تا ۱۰۰۰ تصویر، جفتهای منفی بسیار کم و بسیار مشابه هستند که نمیتوانند نمایشهای مفیدی را یاد بگیرند، و یادگیری ماشین کلاسیک نظارتشده انتخاب ایمنتری است.
محدودیتها و ملاحظات
- به یک مجموعه داده بزرگ از تصاویر بدون برچسب نیاز دارد؛ در مجموعههای کوچک نمیتواند نمایشهای معناداری تولید کند.
- برای پیشآموزش به GPU و محاسبات قابل توجهی نیاز دارد.
- عملکرد به استراتژی تقویت داده بستگی دارد که باید برای هر حوزه تنظیم شود.
- در زیر تقریباً ۵۰۰ تصویر، یادگیری خودنظارتی شکست میخورد و یادگیری ماشین کلاسیک نظارتشده ارجح است.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- نمایشهای بصری مفیدی را از تصاویر بدون برچسب یاد میگیرد و نیاز به برچسبگذاری دستی پرهزینه را از بین میبرد.
- رمزگذار پیشآموزشدیده با تنها یک مجموعه برچسبدار کوچک به بسیاری از وظایف پاییندستی منتقل میشود.
- چارچوبهایی مانند SimCLR و MoCo دستورالعملهای مطالعهشده و قابل تکرار را ارائه میدهند.
- رمزگذار مومنتوم و صف منفی MoCo مقایسههای منفی زیادی را بدون نیاز به دستههای عظیم فراهم میکنند.
کاربردها
- پیشآموزش رمزگذارهای تصویر بر روی مجموعههای بزرگ عکس بدون برچسب.
- انتقال یادگیری به طبقهبندی تصویر پاییندستی با برچسبهای محدود.
- ساخت استخراجکنندههای ویژگی بصری قابل استفاده مجدد برای خطوط لوله بینایی.
- یادگیری نمایش در حوزههایی که برچسبها کمیاب یا گران هستند.
چگونه کار میکند
چگونه کار میکند
هر تصویر دو بار با تقویتهای تصادفی مانند برش، تغییر رنگ تصادفی (color jitter) و برگرداندن (flipping) تبدیل میشود و دو نمای مرتبط تولید میکند. انتخاب استراتژی تقویت بسیار حیاتی است: این استراتژی تعریف میکند که مدل چه چیزی را باید «یکسان» در نظر بگیرد، و تقویتهای ضعیف یا نامناسب منجر به نمایشهای ضعیف میشوند.
یک رمزگذار (encoder) هر نما را به یک جاسازی (embedding) نگاشت میکند، و یک هدف تقابلی (contrastive objective) دو نمای از یک تصویر (جفت مثبت) را به هم نزدیک میکند، در حالی که نماهای تصاویر دیگر (منفیها) را از هم دور میکند. SimCLR از تابع زیان NT-Xent با یک پارامتر دما استفاده میکند؛ MoCo یک رمزگذار بهروزرسانیشده با مومنتوم و یک صف از منفیها را حفظ میکند تا مقایسههای زیادی بدون نیاز به دستههای بزرگ در دسترس باشند.
فرمول
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}پس از پیشآموزش خودنظارتی، رمزگذار یادگرفتهشده به عنوان یک استخراجکننده ویژگی بصری عمومی مجدداً استفاده میشود. سپس یک مجموعه برچسبدار کوچک برای تنظیم دقیق یا آموزش یک طبقهبندیکننده سبکوزن کافی است تا نمایش به وظایف پاییندستی منتقل شود.
دامهای رایج
- تلاش برای پیشآموزش تقابلی بر روی یک مجموعه تصویر کوچک که تنوع جفتهای منفی کافی نیست.
- استفاده از تقویتهای ضعیف یا نامناسب برای حوزه، که منجر به فروپاشی نمایش یادگرفتهشده میشود.
- نادیده گرفتن پارامتر دما در تابع زیان تقابلی.
- انتظار نتایج خوب بدون GPU یا زمان آموزش کافی.
پرسشهای متداول
آیا به برچسب نیاز دارم؟
خیر. هدف اصلی یادگیری خودنظارتی تقابلی، یادگیری نمایشها از تصاویر بدون برچسب است. برچسبها فقط بعداً، برای یک مجموعه کوچک تنظیم دقیق یا ارزیابی پاییندستی مورد نیاز هستند.
به چند تصویر نیاز دارم؟
حداقل حدود ۱۰۰۰ تصویر بدون برچسب را در نظر بگیرید. در زیر تقریباً ۵۰۰ تا ۱۰۰۰ تصویر، تنوع جفتهای منفی برای یادگیری نمایشهای معنادار توسط این روش بسیار کم است، و یادگیری ماشین کلاسیک نظارتشده انتخاب ایمنتری است.
تفاوت بین SimCLR و MoCo چیست؟
SimCLR برای تأمین تعداد زیادی منفی به دستههای بزرگ متکی است و از تابع زیان NT-Xent استفاده میکند. MoCo در عوض یک رمزگذار بهروزرسانیشده با مومنتوم و یک صف از جاسازیهای گذشته را به عنوان منفیها نگه میدارد، بنابراین به مقایسههای کمتری در دسته نیاز دارد.
چرا تقویت داده اینقدر مهم است؟
تقویت تعریف میکند که مدل باید کدام نماهای تبدیلشده از یک تصویر را یکسان در نظر بگیرد. یک استراتژی تقویت قوی و به خوبی انتخابشده حیاتی است؛ تقویتهای ضعیف منجر به نمایشهای ضعیف میشوند.
روشهای مرتبط
منابع
Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.
باز کردن مرجع انتشارکپی شد.He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.
باز کردن مرجع انتشارکپی شد.