ترنسفورمر بینایی
- معرفیشده توسط
- Dosovitskiy, A. et al.
- سال
- 2021
- نوع
- Transformer architecture for images (self-attention over patches)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
ترنسفورمر بینایی (ViT) که توسط دوسوویتسکی و همکارانش در سال ۲۰۲۱ معرفی شد، تصویر را به وصلههایی با اندازه ثابت تقسیم میکند، آن وصلهها را به عنوان یک دنباله در نظر میگیرد و از مکانیزم توجه به خود ترنسفورمر برای طبقهبندی تصویر استفاده میکند. با دادههای آموزشی کافی، از شبکههای عصبی کانولوشنی (CNN) پیشی میگیرد.
شهود پشت روش
شبکههای کانولوشنی تصویر را از طریق فیلترهای کوچک محلی که روی آن میلغزند، میخوانند. ViT دیدگاه متفاوتی دارد: تصویر را به شبکهای از وصلههای هماندازه خرد میکند، آنها را مانند کلمات در یک جمله مرتب میکند و به یک ترنسفورمر اجازه میدهد تصمیم بگیرد که کدام وصلهها باید به کدام وصلهها توجه کنند. از آنجایی که توجه میتواند مستقیماً هر وصله را به هر وصله دیگری مرتبط کند، مدل روابط سراسری را در کل تصویر یاد میگیرد نه فقط محلههای محلی.
تاریخ
ترنسفورمر بینایی توسط دوسوویتسکی و همکارانش در سال ۲۰۲۱ (An Image is Worth 16x16 Words) معرفی شد و نشان داد که معماری توجه به خود ترنسفورمر، که در زبان غالب بود، میتواند مستقیماً بر روی وصلههای تصویر اعمال شود و در صورت آموزش در مقیاس بزرگ از CNNها پیشی بگیرد. کارهای بعدی توسط توورون و همکارانش در مورد ترنسفورمرهای تصویری کارآمد از نظر داده، به اشتیاق ViT به داده پرداخت و این رویکرد را با بودجههای آموزشی کوچکتر عملیتر کرد.
چه زمانی استفاده شود
از ViT برای طبقهبندی تصویر یا پیشبینی روی دادههای تصویری پیوسته (پیکسلی) زمانی که مجموعه داده بزرگی دارید - در حد ۱۰۰۰ تصویر یا بیشتر، و ایدهآل بسیار بیشتر - و دسترسی به GPU دارید، استفاده کنید. این روش با یک مجموعه داده پیشآموزش بزرگ یا یادگیری انتقالی از یک مدل پیشآموزش دیده بهترین عملکرد را دارد. در مجموعه دادههای تصویری کوچک (کمتر از چند صد تصویر) ViT نمیتواند توجه مبتنی بر وصله خود را به طور قابل اعتماد یاد بگیرد، و یک CNN یا یک روش یادگیری ماشین کلاسیک مانند جنگل تصادفی یا SVM انتخاب امنتری است.
محدودیتها و ملاحظات
- به مجموعه داده آموزشی بزرگی نیاز دارد (حدود ۱۰۰۰ تصویر یا بیشتر)؛ در دادههای کوچک عملکرد ضعیفتری نسبت به CNNها دارد.
- به GPU نیاز دارد و آموزش از ابتدا نیازمند داده و محاسبات زیادی است.
- در مجموعه دادههای بسیار کوچک (کمتر از چند صد تصویر) توجه مبتنی بر وصله به طور قابل اعتماد یاد نمیگیرد.
- نتایج قوی معمولاً به جای آموزش از ابتدا، به یک مجموعه داده پیشآموزش بزرگ یا یادگیری انتقالی بستگی دارد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- با مدلسازی روابط سراسری از طریق توجه به خود، در مجموعه دادههای تصویری بزرگ از CNNها پیشی میگیرد.
- تصویر را به عنوان دنبالهای از وصلهها در نظر میگیرد و معماری اثبات شده ترنسفورمر را برای بینایی به کار میبرد.
- وابستگیهای دوربرد را در سراسر تصویر، نه فقط محلههای محلی، ثبت میکند.
- به شدت از پیشآموزش در مقیاس بزرگ و یادگیری انتقالی به چکپوینتهای پیشآموزش دیده بهره میبرد.
- دادههای با توزیع نرمال را فرض نمیکند.
کاربردها
- طبقهبندی تصویر در مجموعه دادههای تصویری بزرگ.
- وظایف پیشبینی بر روی دادههای پیکسلی پیوسته که در آنها روابط سراسری اهمیت دارد.
- یادگیری انتقالی از مدلهای تصویری بزرگ پیشآموزش دیده به وظایف بینایی جدید.
- محیطهایی که در آنها مدلسازی وابستگیهای دوربرد در سراسر تصویر، فیلترهای کانولوشنی محلی را برتری میدهد.
چگونه کار میکند
چگونه کار میکند
تصویر به وصلههایی با اندازه ثابت (مثلاً ۱۶x۱۶ پیکسل) تقسیم میشود. هر وصله مسطح شده و به صورت خطی به یک بردار جاسازی (embedding) پرتاب میشود و جاسازیهای حاصل یک دنباله را تشکیل میدهند - مشابه تصویر یک دنباله از توکنهای کلمه.
دنباله وصلهها از لایههای ترنسفورمر که بر اساس توجه به خود ساخته شدهاند، عبور میکند. هر وصله میتواند به هر وصله دیگر توجه کند، بنابراین مدل وابستگیهای دوربرد و سراسری را در سراسر تصویر ثبت میکند نه فقط محلههای محلی، که مکانیزم اصلی است که به ViT اجازه میدهد در مجموعه دادههای بزرگ از CNNها بهتر عمل کند.
فرمول
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)Vیک سر طبقهبندی کننده، نمایش تجمیع شده تولید شده توسط لایههای ترنسفورمر را میخواند و کلاس پیشبینی شده را خروجی میدهد. از آنجایی که پیشآموزش بزرگ در اینجا اهمیت زیادی دارد، یادگیری انتقالی از مدلی که روی یک مجموعه داده تصویری بزرگ پیشآموزش دیده است، مسیر معمول برای عملکرد قوی است.
دامهای رایج
- آموزش ViT از ابتدا بر روی یک مجموعه داده کوچک به جای تنظیم دقیق یک چکپوینت پیشآموزش دیده.
- انتظار دقت در حد CNN بدون مجموعه داده بزرگی که ViT نیاز دارد.
- تلاش برای آموزش بدون GPU.
- نادیده گرفتن آستانههای شکست - کمتر از چند صد تصویر، ترجیح دادن CNN یا روش کلاسیک.
- نادیده گرفتن یادگیری انتقالی زمانی که مدلهای تصویری پیشآموزش دیده در دسترس هستند.
پرسشهای متداول
ViT چگونه با CNN متفاوت است؟
یک CNN تصویر را از طریق فیلترهای کانولوشنی محلی پردازش میکند، در حالی که ViT تصویر را به وصلههایی با اندازه ثابت تقسیم میکند، آنها را به عنوان یک دنباله در نظر میگیرد و از توجه به خود استفاده میکند تا هر وصله بتواند به هر وصله دیگر مرتبط شود. این به ViT اجازه میدهد تا روابط سراسری را مدل کند و در مجموعه دادههای بزرگ از CNNها پیشی بگیرد.
ViT به چه مقدار داده نیاز دارد؟
ViT به داده زیادی نیاز دارد: بهترین عملکرد را با حدود ۱۰۰۰ تصویر یا بیشتر و یک مجموعه داده پیشآموزش بزرگ دارد. کمتر از چند صد تصویر، توجه مبتنی بر وصله آن نمیتواند به طور قابل اعتماد یاد بگیرد و یک CNN یا روش کلاسیک ترجیح داده میشود.
آیا به GPU نیاز دارم؟
بله. ViT به GPU نیاز دارد و آموزش آن نیازمند داده و محاسبات فشرده است. استفاده از یک چکپوینت پیشآموزش دیده با یادگیری انتقالی، بار را به طور قابل توجهی کاهش میدهد.
اگر مجموعه داده تصویری من کوچک باشد چه؟
در مجموعه دادههای کوچک، ViT عملکرد ضعیفتری دارد. کمتر از حدود ۵۰۰ تصویر، روشی مانند جنگل تصادفی را در نظر بگیرید و کمتر از چند صد تصویر، یک CNN یا SVM انتخاب امنتری است، یا به یادگیری انتقالی از یک مدل پیشآموزش دیده تکیه کنید.
روشهای مرتبط
منابع
Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.
باز کردن مرجع انتشارکپی شد.Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.
باز کردن مرجع انتشارکپی شد.