شبكة الالتفاف المتمددة (Dilated CNN)
- قدّمه
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- السنة
- 2016
- النوع
- Deep learning (dilated 1D convolutional network)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
شبكة الالتفاف المتمددة (Dilated CNN) هي شبكة التفاف أحادية البعد ينمو مجالها الاستقبالي أسيًا مع العمق، مما يسمح لها بنمذجة البنية طويلة المدى في السلاسل الزمنية وإشارات الصوت. تُعد شبكة WaveNet (van den Oord et al., 2016) وشبكة الالتفاف الزمني (Temporal Convolutional Network) لـ Bai و Kolter و Koltun (2018) من أبرز أعضاء هذه العائلة.
الفكرة الحدسية وراء الطريقة
تتطلع التفافات العادية إلى بضع خطوات سابقة فقط، لذا فإن الوصول إلى الماضي البعيد يتطلب مكدسًا عميقًا جدًا. بدلاً من ذلك، تتخطى الالتفافات المتمددة المدخلات بفجوة تتضاعف طبقة تلو الأخرى، بحيث تضاعف كل طبقة مضافة تقريبًا مدى رؤية الشبكة للخلف. وبالتالي، يمكن لعدد قليل من الطبقات تغطية آلاف الخطوات الزمنية مع الحفاظ على عدد معلمات متواضع.
التاريخ
شاعت التفافات التمدد للتسلسلات بواسطة شبكة WaveNet (van den Oord et al., 2016)، التي استخدمت مكدسًا من التفافات التمدد السببية لتوليد الصوت الخام. قام Bai و Kolter و Koltun (2018) بتعميم الفكرة في شبكة الالتفاف الزمني (Temporal Convolutional Network) وأظهروا تجريبيًا أن هياكل الالتفاف هذه غالبًا ما تضاهي أو تتفوق على الشبكات المتكررة في مجموعة واسعة من مهام نمذجة التسلسل.
متى تُستخدم
استخدم شبكة التفاف متمددة (Dilated CNN) للتنبؤ أو التوقع على بيانات السلاسل الزمنية المستمرة والمتسلسلة عندما تكون التبعيات طويلة المدى مهمة ولديك مئات الملاحظات على الأقل. لا تفترض بيانات موزعة طبيعيًا، ولكنها تحتاج إلى بيانات متسلسلة، وتستفيد بقوة من وحدة معالجة الرسومات (GPU)، ويجب مطابقة حجم المجال الاستقبالي مع المهمة. تحت حوالي 500 ملاحظة، تميل إلى الإفراط في التخصيص (overfitting)، وتحت حوالي 100 ملاحظة، لا يستحق تدريب نموذج التفاف عميق.
الحدود والاعتبارات
- تحتاج إلى مجموعة تدريب كبيرة إلى حد ما - تفرط في التخصيص عندما يكون عدد الملاحظات (n) أقل من حوالي 500.
- وحدة معالجة الرسومات (GPU) مطلوبة بشكل فعال للتدريب العملي.
- يجب ضبط حجم المجال الاستقبالي للمهمة؛ مجال صغير جدًا يفقد التبعيات الطويلة.
- تدريب تسلسل الالتفاف العميق غير مجدٍ على سلاسل قصيرة جدًا (n أقل من حوالي 100).
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- ينمو المجال الاستقبالي أسيًا مع العمق، ويلتقط التبعيات طويلة المدى ببضع طبقات.
- تتوازى الالتفافات بشكل جيد، وتتدرب بشكل أسرع من الشبكات المتكررة (recurrent networks) على التسلسلات الطويلة.
- لا يوجد افتراض للتوزيع الطبيعي؛ تعمل مباشرة على الإشارات المتسلسلة المستمرة.
- تم إثبات فعاليتها في مهام صعبة، من توليد الصوت الخام لشبكة WaveNet إلى نمذجة التسلسل العام لشبكة TCN.
التطبيقات
- التنبؤ بالسلاسل الزمنية حيث تكون التبعيات طويلة المدى مهمة.
- توليد ونمذجة الصوت الخام، كما في شبكة WaveNet.
- نمذجة التسلسل العام كبديل للشبكات المتكررة (TCN).
- مهام التنبؤ بالإشارات على التسلسلات المستمرة الطويلة.
كيف يعمل
كيف يعمل
تُطبق مرشحات الالتفاف بمعدل تمدد ينمو (عادةً 1، 2، 4، 8، ...) من طبقة إلى أخرى. لا يزال لكل مرشح بضعة أوزان فقط، ولكن الفجوات بين المدخلات التي يلمسها تتسع مع العمق، لذا يلتقط النموذج التفاصيل قصيرة المدى والتبعيات طويلة المدى دون أن يتضخم حجمه.
نظرًا لأن التمدد يتضاعف في كل طبقة، يتوسع المجال الاستقبالي أسيًا مع العمق: يمكن لمكدس من L طبقات بحجم نواة k أن يصل إلى ما يقرب من ألف خطوة سابقة ببضع طبقات فقط. يجب ضبط حجم المجال الاستقبالي على الأفق الذي تتطلبه المهمة فعليًا.
الصيغة
r = 1 + (k-1)\sum_{l} d_lتغذي التفافات متمددة مكدسة طبقة نهائية تصدر التنبؤ لكل موضع - القيمة التالية في التنبؤ أو التسمية لخطوة تسلسلية. نفس البنية الأساسية لتوليد الصوت الخام لشبكة WaveNet ونمذجة التسلسل العام لشبكة TCN.
الأخطاء الشائعة
- ضبط المجال الاستقبالي ليكون صغيرًا جدًا بحيث لا تُرى التبعيات طويلة المدى أبدًا.
- التدريب على سلسلة قصيرة حيث يفرط النموذج في التخصيص أو يكون التعلم غير مجدٍ.
- توقع نتائج قابلة للاستخدام بدون وحدة معالجة رسومات (GPU) على تسلسلات طويلة.
- تجاهل أنه مع القليل جدًا من البيانات، يكون النموذج الأبسط مثل تجميع الأشجار (tree ensemble) هو الخيار الأكثر أمانًا.
الأسئلة الشائعة
لماذا التمدد بدلاً من مجرد شبكة أعمق؟
يسمح التمدد للمجال الاستقبالي بالنمو أسيًا بدلاً من خطيًا مع العمق، لذا يمكن لبضع طبقات الوصول إلى آلاف الخطوات السابقة مع الحفاظ على عدد المعلمات والحساب متواضعين.
كيف تقارن بالشبكات المتكررة؟
وجد Bai و Kolter و Koltun (2018) أن هياكل الالتفاف مثل TCN غالبًا ما تضاهي أو تتفوق على الشبكات المتكررة في مهام التسلسل، وتتدرب بشكل أسرع لأن الالتفافات تتوازى عبر الزمن.
ما مقدار البيانات التي أحتاجها؟
خطط لمئات الملاحظات المتسلسلة على الأقل. تحت حوالي 500 ملاحظة، يميل النموذج إلى الإفراط في التخصيص، وتحت حوالي 100 ملاحظة، لا يستحق تدريب نموذج التفاف عميق - نموذج قائم على الأشجار هو الأكثر أمانًا.
هل أحتاج إلى وحدة معالجة رسومات (GPU)؟
يوصى بشدة بوحدة معالجة الرسومات (GPU)؛ بدونها، يصبح التدريب على التسلسلات الطويلة بطيئًا بشكل غير عملي.
طرق ذات صلة
المصادر
van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.
افتح مرجع المنشورتم النسخ.Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.
افتح مرجع المنشورتم النسخ.