Skip to content
بازگشت به نتایج جست‌وجو

شبکه عصبی کانولوشنی گشادشده (Dilated CNN)

معرفی‌شده توسط
van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
سال
2016
نوع
Deep learning (dilated 1D convolutional network)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یک شبکه عصبی کانولوشنی گشادشده، یک شبکه کانولوشنی یک‌بعدی است که میدان پذیرش آن با عمق به صورت نمایی رشد می‌کند و به آن اجازه می‌دهد ساختار دوربرد را در سری‌های زمانی و سیگنال‌های صوتی مدل‌سازی کند.

WaveNet (van den Oord et al., 2016) و شبکه کانولوشنی زمانی (Temporal Convolutional Network) از Bai, Kolter و Koltun (2018) اعضای برجسته این خانواده هستند.

شهود پشت روش

کانولوشن‌های معمولی فقط چند گام به عقب را می‌بینند، بنابراین رسیدن به گذشته دور نیازمند یک پشته بسیار عمیق است. در عوض، یک کانولوشن گشادشده از ورودی‌ها با شکافی که لایه به لایه دو برابر می‌شود، عبور می‌کند، بنابراین هر لایه اضافه شده تقریباً میزان دید شبکه به عقب را دو برابر می‌کند. در نتیجه، تعداد کمی لایه می‌تواند هزاران گام زمانی را پوشش دهد و در عین حال تعداد پارامترها را متوسط نگه دارد.

تاریخ

کانولوشن‌های گشادشده برای توالی‌ها توسط WaveNet (van den Oord et al., 2016) محبوب شدند، که از پشته‌ای از کانولوشن‌های گشادشده سببی (causal) برای تولید صدای خام استفاده کرد. Bai, Kolter و Koltun (2018) این ایده را به شبکه کانولوشنی زمانی (TCN) تعمیم دادند و به طور تجربی نشان دادند که چنین معماری‌های کانولوشنی اغلب در طیف وسیعی از وظایف مدل‌سازی توالی، با شبکه‌های بازگشتی مطابقت دارند یا از آن‌ها بهتر عمل می‌کنند.

چه زمانی استفاده شود

از شبکه عصبی کانولوشنی گشادشده برای پیش‌بینی یا تخمین در داده‌های سری زمانی پیوسته و متوالی استفاده کنید، زمانی که وابستگی‌های دوربرد مهم هستند و شما حداقل چند صد مشاهده دارید. این روش فرض توزیع نرمال داده‌ها را ندارد، اما به داده‌های متوالی نیاز دارد، به شدت از GPU سود می‌برد، و اندازه میدان پذیرش باید با وظیفه مطابقت داده شود. در زیر حدود 500 مشاهده، تمایل به بیش‌برازش (overfitting) دارد و در زیر حدود 100، آموزش یک مدل کانولوشنی عمیق ارزش ندارد.

محدودیت‌ها و ملاحظات

  • به مجموعه داده آموزشی نسبتاً بزرگی نیاز دارد — زمانی که n کمتر از حدود 500 باشد، بیش‌برازش رخ می‌دهد.
  • استفاده از GPU برای آموزش عملی به طور مؤثر ضروری است.
  • اندازه میدان پذیرش باید با وظیفه تنظیم شود؛ میدان خیلی کوچک وابستگی‌های طولانی را از دست می‌دهد.
  • آموزش توالی کانولوشن گشادشده عمیق بر روی سری‌های بسیار کوتاه (n کمتر از حدود 100) معنی‌دار نیست.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • میدان پذیرش با عمق به صورت نمایی رشد می‌کند و وابستگی‌های دوربرد را با لایه‌های کم ثبت می‌کند.
  • کانولوشن‌ها به خوبی موازی‌سازی می‌شوند و سریع‌تر از شبکه‌های بازگشتی (recurrent networks) بر روی توالی‌های طولانی آموزش می‌بینند.
  • بدون فرض نرمال بودن؛ مستقیماً بر روی سیگنال‌های پیوسته متوالی کار می‌کند.
  • در وظایف چالش‌برانگیز، از تولید صدای خام WaveNet تا مدل‌سازی عمومی توالی TCN، اثبات شده است.

کاربردها

  • پیش‌بینی سری زمانی که وابستگی‌های دوربرد در آن مهم هستند.
  • تولید و مدل‌سازی صدای خام، مانند WaveNet.
  • مدل‌سازی عمومی توالی به عنوان جایگزینی برای شبکه‌های بازگشتی (TCN).
  • وظایف پیش‌بینی سیگنال بر روی توالی‌های پیوسته طولانی.

چگونه کار می‌کند

چگونه کار می‌کند

1

فیلترهای کانولوشن با نرخ گشادشدگی که (معمولاً 1، 2، 4، 8، ...) از یک لایه به لایه بعدی رشد می‌کند، اعمال می‌شوند. هر فیلتر همچنان تنها چند وزن دارد، اما شکاف بین ورودی‌هایی که لمس می‌کند با عمق افزایش می‌یابد، بنابراین مدل هم جزئیات کوتاه‌مدت و هم وابستگی‌های بلندمدت را بدون انفجار در اندازه، ثبت می‌کند.

2

از آنجایی که گشادشدگی در هر لایه دو برابر می‌شود، میدان پذیرش با عمق به صورت نمایی گسترش می‌یابد: یک پشته L لایه با اندازه هسته k می‌تواند تنها با تعداد کمی لایه، در حدود هزار گام گذشته را مشاهده کند. اندازه میدان پذیرش باید با افق مورد نیاز واقعی وظیفه تنظیم شود.

فرمول
r = 1 + (k-1)\sum_{l} d_l
3

کانولوشن‌های گشادشده انباشته شده، یک لایه نهایی را تغذیه می‌کنند که پیش‌بینی را برای هر موقعیت منتشر می‌کند — مقدار بعدی در یک پیش‌بینی یا برچسب برای یک گام توالی. همین معماری زیربنای تولید صدای خام WaveNet و مدل‌سازی عمومی توالی TCN است.

دام‌های رایج

  • تنظیم اندازه میدان پذیرش به گونه‌ای که وابستگی‌های دوربرد هرگز دیده نشوند.
  • آموزش بر روی یک سری کوتاه که در آن مدل بیش‌برازش می‌کند یا یادگیری بی‌معنی است.
  • انتظار نتایج قابل استفاده بدون GPU بر روی توالی‌های طولانی.
  • نادیده گرفتن اینکه با داده‌های بسیار کم، یک مدل ساده‌تر مانند مجموعه درختان (tree ensemble) انتخاب امن‌تری است.

پرسش‌های متداول

چرا گشادشدگی به جای صرفاً یک شبکه عمیق‌تر؟

گشادشدگی به میدان پذیرش اجازه می‌دهد تا به جای خطی، با عمق به صورت نمایی رشد کند، بنابراین چند لایه می‌توانند هزاران گام گذشته را با حفظ تعداد پارامترها و محاسبات در حد متوسط، مشاهده کنند.

چگونه با شبکه‌های بازگشتی مقایسه می‌شود؟

Bai, Kolter و Koltun (2018) دریافتند که معماری‌های کانولوشنی مانند TCN اغلب در وظایف توالی با شبکه‌های بازگشتی مطابقت دارند یا از آن‌ها بهتر عمل می‌کنند و به دلیل موازی‌سازی کانولوشن‌ها در طول زمان، سریع‌تر آموزش می‌بینند.

چه مقدار داده نیاز دارم؟

حداقل چند صد مشاهده متوالی را در نظر بگیرید. در زیر حدود 500، مدل تمایل به بیش‌برازش دارد و در زیر حدود 100، آموزش یک مدل کانولوشنی عمیق ارزش ندارد — یک مدل مبتنی بر درخت امن‌تر است.

آیا به GPU نیاز دارم؟

استفاده از GPU به شدت توصیه می‌شود؛ بدون آن، آموزش بر روی توالی‌های طولانی به طور غیرعملی کند می‌شود.

روش‌های مرتبط

منابع

  1. van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.

    باز کردن مرجع انتشار
    کپی شد.
  2. Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.

    باز کردن مرجع انتشار
    کپی شد.