Skip to content
بازگشت به نتایج جست‌وجو

شبکه عصبی کانولوشنی (طبقه‌بندی)

معرفی‌شده توسط
LeCun, Y. et al.
سال
1998
نوع
Deep neural network (convolutional)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یک شبکه عصبی کانولوشنی (CNN) یک مدل یادگیری عمیق است که توسط لوکون و همکارانش در سال ۱۹۹۸ ایجاد شد و الگوهای محلی را مستقیماً از تصاویر و داده‌های ساختاریافته برای طبقه‌بندی آن‌ها یاد می‌گیرد. پشته‌های فیلترهای کانولوشنی ویژگی‌های انتزاعی‌تری را کشف می‌کنند، بنابراین مهندسی ویژگی دستی تا حد زیادی کاهش می‌یابد.

شهود پشت روش

به جای مهندسی دستی ویژگی‌ها، یک CNN فیلترهای کوچک قابل یادگیری را بر روی ورودی می‌لغزاند تا الگوهای محلی مانند لبه‌ها، بافت‌ها یا نقوش را صرف نظر از محل ظاهر شدنشان تشخیص دهد. لایه‌های اولیه سرنخ‌های ساده‌ای را دریافت می‌کنند؛ لایه‌های عمیق‌تر آن‌ها را به مفاهیم سطح بالاتر ترکیب می‌کنند. از آنجایی که همان فیلتر در سراسر ورودی بازتولید می‌شود، شبکه به طور مؤثر یاد می‌گیرد و هر الگویی را در هر کجا که رخ دهد تشخیص می‌دهد.

تاریخ

شبکه‌های عصبی کانولوشنی توسط یان لوکون و همکارانش در کار سال ۱۹۹۸ خود در مورد یادگیری مبتنی بر گرادیان که بر روی تشخیص سند اعمال شد، در شکل مدرن خود گرد هم آمدند، جایی که معماری LeNet ارقام دست‌نویس را می‌خواند. ترکیب کانولوشن، پولینگ و آموزش گرادیان سرتاسری، الگویی برای طبقه‌بندی تصویر شد و با مجموعه داده‌های بزرگتر و سخت‌افزار سریعتر، انقلاب یادگیری عمیق را در بینایی کامپیوتر پیش برد.

چه زمانی استفاده شود

از CNN برای طبقه‌بندی یا پیش‌بینی از تصاویر و داده‌های ساختاریافته شبیه به شبکه استفاده کنید، زمانی که مجموعه داده برچسب‌دار بزرگی دارید - تقریباً ۱۰۰۰ یا بیشتر مشاهده - و می‌خواهید مدل ویژگی‌ها را به طور خودکار یاد بگیرد به جای اینکه آن‌ها را با دست مهندسی کنید. این مدل به داده‌های توزیع‌شده به طور معمول نیاز ندارد و ورودی‌های پیوسته و دسته‌ای را مدیریت می‌کند. در حدود ۵۰۰ مشاهده کمتر، شبکه بیش‌برازش می‌کند و جنگل تصادفی ایمن‌تر است؛ در حدود ۲۰۰ مشاهده کمتر، فیلترهای کانولوشنی نمی‌توانند الگوهای معنی‌داری را یاد بگیرند و SVM ترجیح داده می‌شود.

محدودیت‌ها و ملاحظات

  • به یک مجموعه داده برچسب‌دار بزرگ (حدود ۱۰۰۰+ مشاهده) برای آموزش قابل اعتماد نیاز دارد.
  • در نمونه‌های کوچک (n کمتر از حدود ۵۰۰) شبکه بیش‌برازش می‌کند و عملکرد طبقه‌بندی کاهش می‌یابد.
  • در کمتر از حدود ۲۰۰ مشاهده، فیلترهای کانولوشنی نمی‌توانند الگوهای معنی‌داری را یاد بگیرند.
  • از نظر محاسباتی برای آموزش سنگین است و بازنمایی آموخته‌شده تفسیر دشواری دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • الگوهای محلی را به طور خودکار یاد می‌گیرد و نیاز به مهندسی ویژگی دستی را به شدت کاهش می‌دهد.
  • اشتراک‌گذاری وزن، الگویی را در هر کجا که ظاهر می‌شود تشخیص می‌دهد و تعداد پارامترها را قابل مدیریت نگه می‌دارد.
  • یک سلسله مراتب از ویژگی‌ها، از لبه‌های ساده تا مفاهیم انتزاعی، که برای تصاویر مناسب است، می‌سازد.
  • مفروضات کم: نیازی به نرمال بودن نیست و ورودی‌های پیوسته و دسته‌ای را می‌پذیرد.
  • دقت پیشرفته در وظایف طبقه‌بندی تصاویر بزرگ برچسب‌دار و ساختاریافته شبکه‌ای.

کاربردها

  • وظایف طبقه‌بندی و تشخیص تصویر.
  • طبقه‌بندی داده‌های ساختاریافته شبیه به شبکه که در آن الگوهای محلی اهمیت دارند.
  • تشخیص سند و کاراکتر دست‌نویس.
  • یادگیری ویژگی که در آن مهندسی ویژگی دستی غیرعملی است.

چگونه کار می‌کند

چگونه کار می‌کند

1

فیلترهای قابل یادگیری (هسته‌ها) بر روی ورودی کانوالو می‌شوند و جمع‌های وزنی محلی را برای تولید نقشه‌های ویژگی محاسبه می‌کنند. هر فیلتر به یک الگوی محلی خاص - یک لبه، یک بافت، یک قطعه شکل - پاسخ می‌دهد و از آنجایی که وزن‌های یکسان در تمام موقعیت‌ها به اشتراک گذاشته می‌شوند، شبکه آن الگو را در هر نقطه از ورودی تشخیص می‌دهد و در عین حال تعداد پارامترها را پایین نگه می‌دارد.

فرمول
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)
2

لایه‌های پولینگ (مانند پولینگ حداکثر) نقشه‌های ویژگی را کاهش می‌دهند و همسایگی‌ها را به یک مقدار واحد خلاصه می‌کنند. این ابعاد فضایی را کاهش می‌دهد، نمایش را در برابر تغییرات و اعوجاج‌های کوچک مقاوم‌تر می‌کند و به لایه‌های بعدی اجازه می‌دهد تا به تدریج ویژگی‌های انتزاعی‌تری را در یک میدان گیرنده وسیع‌تر بسازند.

3

نقشه‌های ویژگی سطح بالا مسطح شده و از طریق لایه‌های کاملاً متصل که به یک سافت‌مکس ختم می‌شوند و احتمالات کلاس را خروجی می‌دهند، عبور می‌کنند. کل شبکه - فیلترها و وزن‌ها با هم - با یادگیری مبتنی بر گرادیان، با حداقل کردن خطای طبقه‌بندی از طریق پس‌انتشار، آموزش داده می‌شود.

فرمول
\hat{y} = \operatorname{softmax}(W h + b)

دام‌های رایج

  • آموزش بر روی داده‌های بسیار کم و بیش‌برازش به جای بازگشت به جنگل تصادفی یا SVM.
  • نادیده گرفتن یک تقسیم اعتبارسنجی یا آزمون نگه‌داشته شده و اعتماد به دقت آموزش.
  • نادیده گرفتن عدم تعادل کلاس به جای وزن‌دهی مجدد یا نمونه‌برداری مجدد کلاس‌ها.
  • گزارش تنها دقت بدون دقت، بازیابی، F1، یا ماتریس درهم‌ریختگی.
  • فراموش کردن نرمال‌سازی ورودی‌ها یا اعمال هیچ نظمی در برابر بیش‌برازش.

پرسش‌های متداول

یک CNN به چه مقدار داده نیاز دارد؟

CNNها تشنه داده هستند؛ یک کف تقریبی حدود ۱۰۰۰ مشاهده برچسب‌دار است. در حدود ۵۰۰ کمتر، تمایل به بیش‌برازش دارند و در حدود ۲۰۰ کمتر، فیلترها نمی‌توانند الگوهای معنی‌داری را یاد بگیرند - در آن موارد، جنگل تصادفی یا SVM گزینه‌های ایمن‌تری هستند.

چرا کانولوشن به جای یک شبکه عصبی ساده؟

کانولوشن همان فیلتر کوچک را در تمام موقعیت‌های ورودی به اشتراک می‌گذارد، بنابراین یک الگو در هر کجا که ظاهر شود تشخیص داده می‌شود و تعداد پارامترها پایین می‌ماند. یک شبکه کاملاً متصل به وزن‌های بسیار بیشتری نیاز دارد و از ساختار فضایی داده‌ها بهره نمی‌برد.

پولینگ چه کاری انجام می‌دهد؟

پولینگ نقشه‌های ویژگی را با خلاصه‌سازی همسایگی‌های محلی کاهش می‌دهد، که اندازه فضایی را کاهش می‌دهد، استحکام را در برابر تغییرات کوچک افزایش می‌دهد و به لایه‌های عمیق‌تر اجازه می‌دهد تا ویژگی‌های انتزاعی‌تری را در یک میدان گیرنده وسیع‌تر بسازند.

قبل از اتکا به یک CNN چه چیزی را باید بررسی کنم؟

تأیید کنید که مجموعه داده برچسب‌دار به اندازه کافی بزرگ دارید، ورودی‌ها را نرمال کنید، یک تقسیم مناسب آموزش/اعتبارسنجی/آزمون راه‌اندازی کنید، به هرگونه عدم تعادل کلاس رسیدگی کنید و با دقت، بازیابی، F1 و ماتریس درهم‌ریختگی به جای صرفاً دقت ارزیابی کنید.

روش‌های مرتبط

منابع

  1. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.

    باز کردن مرجع DOI
    کپی شد.