Skip to content
بازگشت به نتایج جست‌وجو

شبکه کپسولی

معرفی‌شده توسط
Sabour, S., Frosst, N. & Hinton, G. E.
سال
2017
نوع
Deep learning architecture (vector capsules with dynamic routing)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یک شبکه کپسولی (CapsNet) معماری یادگیری عمیق است که توسط سارا صبور، نیکلاس فراست و جفری هینتون در سال ۲۰۱۷ معرفی شد و نورون‌ها را به جای فعال‌سازی‌های اسکالر، به صورت بردار (کپسول) سازماندهی می‌کند، به طوری که سلسله مراتب فضایی و اطلاعات وضعیت (جهت‌گیری) مستقیماً کدگذاری می‌شوند. این معماری برای غلبه بر شکنندگی شبکه‌های کانولوشنی در برابر تغییرات زاویه دید پیشنهاد شد.

شهود پشت روش

یک شبکه کانولوشنی استاندارد تشخیص می‌دهد که آیا یک ویژگی وجود دارد یا خیر، اما رابطه فضایی دقیق آن با سایر ویژگی‌ها را تا حد زیادی نادیده می‌گیرد، که این امر باعث شکنندگی آن در هنگام چرخش شیء یا مشاهده آن از زاویه‌ای جدید می‌شود. یک کپسول، نورون اسکالر منفرد را با یک بردار کوچک جایگزین می‌کند: طول آن احتمال حضور یک موجودیت را نشان می‌دهد و جهت آن ویژگی‌های آن موجودیت، مانند وضعیت و جهت‌گیری را رمزگذاری می‌کند. از آنجایی که کپسول‌ها این اطلاعات غنی‌تر را حمل می‌کنند، شبکه می‌تواند به جای صرفاً اینکه آیا اجزا ظاهر می‌شوند، در مورد چگونگی ارتباط اجزا با کل استدلال کند.

تاریخ

شبکه‌های کپسولی توسط سارا صبور، نیکلاس فراست و جفری هینتون در مقاله NeurIPS سال ۲۰۱۷ با عنوان Dynamic Routing Between Capsules معرفی شدند که با محدودیت‌های شبکه‌های کانولوشنی در مدیریت تغییرات زاویه دید انگیزه گرفته بود. در سال ۲۰۱۸، هینتون، صبور و فراست این ایده را در ICLR با عنوان Matrix Capsules with EM Routing گسترش دادند و طرح مسیریابی اصلی را با یک رویه بیشینه‌سازی امید (expectation-maximisation) بر روی کپسول‌های با مقدار ماتریسی جایگزین کردند.

چه زمانی استفاده شود

مناسب برای طبقه‌بندی و پیش‌بینی بر روی داده‌های تصویری یا داده‌های پیوسته با ویژگی‌های ساختاریافته که در آن استحکام در برابر تغییرات زاویه دید و وضعیت اهمیت دارد، با نمونه‌ای نسبتاً بزرگ (حداقل حدود ۵۰۰ مشاهده). استفاده از GPU توصیه می‌شود و الگوریتم مسیریابی پویا باید تنظیم شود. در زیر حدود ۵۰۰ مشاهده، مسیریابی نمی‌تواند به طور قابل اعتماد یاد بگیرد و مدل بیش‌برازش (overfit) می‌شود؛ در زیر حدود ۲۰۰ مشاهده، یک طبقه‌بندی‌کننده کلاسیک مانند جنگل تصادفی یا SVM انتخاب بهتری است.

محدودیت‌ها و ملاحظات

  • نیاز به یک نمونه نسبتاً بزرگ (حدود ۵۰۰+ مشاهده) دارد؛ در داده‌های کوچکتر، مسیریابی پویا بیش‌برازش شده و به طور نامعتبر یاد می‌گیرد.
  • مسیریابی پویا تکراری از نظر محاسباتی پرهزینه است و استفاده از GPU توصیه می‌شود.
  • الگوریتم مسیریابی، ابرپارامترهایی را معرفی می‌کند که باید تنظیم شوند و پیچیدگی آموزش را افزایش می‌دهد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • اطلاعات وضعیت و سلسله مراتب فضایی را که تجمیع کانولوشنی حذف می‌کند، کدگذاری می‌کند و استحکام در برابر تغییرات زاویه دید را بهبود می‌بخشد.
  • روابط صریح جزء به کل را از طریق مسیریابی بر اساس توافق مدل‌سازی می‌کند.
  • کپسول‌های برداری ویژگی‌های موجودیت (جهت‌گیری، موقعیت) را حفظ می‌کنند به جای اینکه آن‌ها را به یک فعال‌سازی منفرد فرو بریزند.

کاربردها

  • طبقه‌بندی تصویر که باید در برابر تغییرات زاویه دید، چرخش یا وضعیت مقاوم باشد.
  • وظایف تشخیص که در آن مدل‌سازی روابط فضایی جزء به کل، تعمیم‌پذیری را بهبود می‌بخشد.
  • طبقه‌بندی و پیش‌بینی بر روی ورودی‌های پیوسته با ویژگی‌های ساختاریافته با داده‌های آموزشی کافی.

چگونه کار می‌کند

چگونه کار می‌کند

1

به جای نورون‌های اسکالر، شبکه واحدها را در کپسول‌ها گروه‌بندی می‌کند - بردارهای کوتاهی که طول آن‌ها احتمال وجود یک موجودیت خاص را نشان می‌دهد و جهت آن‌ها پارامترهای نمونه‌سازی آن مانند وضعیت را رمزگذاری می‌کند. کپسول‌های سطح پایین‌تر اجزا را تشخیص می‌دهند، در حالی که کپسول‌های سطح بالاتر، کل‌هایی را که آن اجزا تشکیل می‌دهند، نمایش می‌دهند.

2

یک الگوریتم مسیریابی پویا بر اساس توافق، کپسول‌های سطح پایین‌تر را به کپسول‌های سطح بالاتر متصل می‌کند. هر کپسول سطح پایین‌تر، خروجی هر کپسول سطح بالاتر را از طریق یک ماتریس تبدیل پیش‌بینی می‌کند؛ سپس ضرایب کوپلینگ به صورت تکراری اصلاح می‌شوند تا پیش‌بینی‌هایی که توافق دارند، یکدیگر را تقویت کنند. این مسیریابی باید تنظیم شود و مرحله تجمیع (pooling) یک شبکه کانولوشنی را با یک اجماع صریح جزء به کل جایگزین می‌کند.

فرمول
\hat{u}_{j|i} = W_{ij}\,u_i,\quad s_j = \sum_i c_{ij}\,\hat{u}_{j|i}
3

یک تابع فشردگی غیرخطی، بردارهای کوتاه را به سمت صفر و بردارهای بلند را به سمت طول واحد فشرده می‌کند، بنابراین اندازه یک کپسول خروجی یک احتمال معتبر باقی می‌ماند در حالی که جهت آن ویژگی‌های موجودیت را حفظ می‌کند. طول کپسول‌های لایه نهایی، پیش‌بینی‌های کلاس مورد استفاده برای طبقه‌بندی را ارائه می‌دهد.

فرمول
v_j = \frac{\lVert s_j\rVert^2}{1+\lVert s_j\rVert^2}\,\frac{s_j}{\lVert s_j\rVert}

دام‌های رایج

  • آموزش بر روی مشاهدات بسیار کم (کمتر از حدود ۵۰۰)، که در آن مسیریابی نمی‌تواند به کوپلینگ‌های قابل اعتماد همگرا شود.
  • رها کردن تکرارهای مسیریابی پویا و کوپلینگ در مقادیر پیش‌فرض به جای تنظیم آن‌ها برای وظیفه مورد نظر.
  • تلاش برای آموزش بدون شتاب‌دهنده GPU و پذیرش آموزش بسیار کند یا ناقص.
  • اعمال CapsNet بر روی ورودی‌های غیرتصویری و غیرساختاریافته که برای آن طراحی نشده است به جای یک مدل کلاسیک.

پرسش‌های متداول

تفاوت کپسول با یک نورون معمولی چیست؟

یک نورون معمولی یک فعال‌سازی اسکالر منفرد را خروجی می‌دهد. یک کپسول یک بردار را خروجی می‌دهد که طول آن احتمال حضور یک موجودیت را نشان می‌دهد و جهت آن ویژگی‌های آن موجودیت، مانند وضعیت و جهت‌گیری را رمزگذاری می‌کند، بنابراین اطلاعات فضایی بسیار غنی‌تری را حمل می‌کند.

مسیریابی پویا چیست؟

مسیریابی پویا بر اساس توافق، الگوریتمی است که کپسول‌های سطح پایین‌تر را به کپسول‌های سطح بالاتر متصل می‌کند. هر کپسول سطح پایین‌تر، خروجی کپسول‌های سطح بالاتر را پیش‌بینی می‌کند و ضرایب کوپلینگ به صورت تکراری اصلاح می‌شوند تا پیش‌بینی‌هایی که توافق دارند، یکدیگر را تقویت کنند و مرحله تجمیع (pooling) یک شبکه کانولوشنی را جایگزین کنند.

چه مقدار داده و توان محاسباتی نیاز دارم؟

CapsNet به یک مجموعه داده نسبتاً بزرگ نیاز دارد - حداقل حدود ۵۰۰ مشاهده - و استفاده از GPU توصیه می‌شود زیرا مسیریابی تکراری از نظر محاسباتی پرهزینه است. در زیر حدود ۲۰۰ مشاهده، یک طبقه‌بندی‌کننده کلاسیک مانند جنگل تصادفی یا SVM مناسب‌تر است.

چرا به جای CNN از شبکه کپسولی استفاده کنیم؟

CapsNet به طور خاص برای پرداختن به شکنندگی CNN در برابر تغییرات زاویه دید پیشنهاد شد. با حفظ روابط وضعیت و جزء به کل به جای حذف آن‌ها از طریق تجمیع (pooling)، می‌تواند در هنگام ظاهر شدن اشیاء در جهت‌گیری‌های جدید، بهتر تعمیم یابد.

روش‌های مرتبط

منابع

  1. Sabour, S., Frosst, N. & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).

    باز کردن مرجع انتشار
    کپی شد.
  2. Hinton, G. E., Sabour, S. & Frosst, N. (2018). Matrix Capsules with EM Routing. International Conference on Learning Representations (ICLR).

    باز کردن مرجع انتشار
    کپی شد.