الانتقال إلى المحتوى
العودة إلى نتائج البحث

المعادلة التفاضلية العصبية العادية

قدّمه
Chen, T. Q. et al.
السنة
2018
النوع
Continuous-depth neural network (ODE-parameterised dynamics)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

نموذجت المعادلة التفاضلية العصبية العادية، التي قدمها تشين وزملاؤه في عام 2018، الحالة المخفية كحل مستمر لمعادلة تفاضلية عادية يتم تحديد ديناميكياتها بواسطة شبكة عصبية. وهي تعمم الحالة الحدية للاتصالات المتبقية، مما يجعلها مناسبة بشكل جيد للسلاسل الزمنية المتباعدة بشكل غير منتظم والنمذجة القائمة على الفيزياء.

الفكرة الحدسية وراء الطريقة

تضيف الشبكة العصبية المتبقية العميقة زيادة صغيرة متعلمة إلى حالتها المخفية في كل طبقة. إذا تخيلت تقليص هذه الطبقات حتى تصبح قريبة بشكل لا نهائي، فإن مكدس التحديثات المنفصل يتحول إلى منحنى سلس، وتصف الشبكة معدل تغير الحالة المخفية بدلاً من عدد ثابت من الخطوات. تأخذ المعادلات التفاضلية العصبية العادية هذا الحد المستمر حرفياً: بدلاً من تكديس الطبقات، تتعلم سرعة الحالة وتسمح لمحلل المعادلات التفاضلية العادية بدمجها إلى الأمام عبر الزمن، بحيث يمكن تقييم الحالة في أي لحظة، وليس فقط عند حدود الطبقات الثابتة.

التاريخ

تم تقديم المعادلات التفاضلية العصبية العادية بواسطة تشين وروبانوفا وبيتنكورت ودوفينود في NeurIPS 2018، حيث تم تأطير الحد المستمر للشبكات المتبقية كمعادلة تفاضلية عادية يتم حلها بواسطة مدمج عددي مع طريقة الملحق الفعالة للذاكرة. في العام التالي، وسع روبانوفا وزملاؤه الفكرة إلى المعادلات التفاضلية العصبية العادية الكامنة للسلاسل الزمنية المتباعدة بشكل غير منتظم، موضحين أن صيغة الوقت المستمر تتعامل مع الملاحظات المتباعدة بشكل غير متساوٍ بشكل طبيعي أكثر من النماذج المتكررة المنفصلة.

متى تُستخدم

استخدم معادلة تفاضلية عصبية عادية للتنبؤ أو التوقع على بيانات الوقت المستمر - خاصة السلاسل الزمنية المتباعدة بشكل غير منتظم والمسارات الطولية - حيث يكون نظام الديناميكيات المتطور باستمرار والمستمر نموذجًا معقولًا. تعمل على المتغيرات المستمرة ولا تتطلب بيانات موزعة بشكل طبيعي، ولكنها تتوقع سلسلة طويلة إلى حد ما (حوالي 100 ملاحظة كحد أدنى، وأكثر بشكل ملحوظ للتدريب المستقر) ومحلل معادلات تفاضلية عادية يستخدم طريقة الملحق. على مجموعات البيانات الصغيرة، لا يمكنها تعلم الديناميكيات المستمرة بشكل جيد؛ مع أقل من حوالي 500 ملاحظة، يكون تجميع الأشجار مثل الغابة العشوائية أكثر أمانًا، وأقل من حوالي 100، لا يكون النموذج القائم على المحلل ذا مغزى على الإطلاق.

الحدود والاعتبارات

  • تحتاج إلى كمية كبيرة من البيانات: مع أقل من حوالي 500 ملاحظة، لا يمكنها تعلم الديناميكيات بشكل موثوق.
  • أقل من حوالي 100 ملاحظة، يكون النموذج القائم على المحلل عديم المعنى تقريبًا.
  • يعتمد التدريب على محلل المعادلات التفاضلية العادية وطريقة الملحق، مما يضيف تعقيدًا عدديًا وهندسيًا.
  • يمكن أن تجعل الديناميكيات المتصلبة أو المتغيرة بسرعة المحلل بطيئًا والتدريب غير مستقر.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يتعامل مع السلاسل الزمنية المتباعدة بشكل غير منتظم وغير متساوٍ بشكل طبيعي، حيث يتم تعريف الحالة في أي نقطة زمنية.
  • تدريب فعال للذاكرة: طريقة الملحق تحافظ على الذاكرة ثابتة بغض النظر عن عمق المحلل.
  • ملاءمة مبدئية للنمذجة القائمة على الفيزياء وأنظمة الديناميكيات المستمرة.
  • صيغة العمق المستمر تعمم الشبكات المتبقية وتسمح بالمقايضة بين الدقة وتكلفة المحلل.

التطبيقات

  • التنبؤ والتوقع على السلاسل الزمنية المتباعدة بشكل غير منتظم أو غير متساوٍ.
  • نمذجة أنظمة الديناميكيات المستمرة والفيزيائية.
  • نمذجة المسارات الطولية حيث تصل الملاحظات في أوقات اعتباطية.
  • بدائل العمق المستمر للشبكات المتبقية العميقة حيث تكون الذاكرة مقيدة.

كيف يعمل

كيف يعمل

1

بدلاً من تسلسل ثابت من الطبقات، تحدد الشبكة العصبية f_theta المعدل اللحظي لتغير الحالة المخفية كدالة للحالة الحالية والوقت. هذا يحول عمق الشبكة إلى وقت مستمر: يحدد النموذج كيفية تطور الحالة، وليس عدد التحويلات المنفصلة التي يجب تطبيقها.

الصيغة
\frac{dh(t)}{dt} = f_\theta(h(t), t)
2

للحصول على الحالة في وقت لاحق، يقوم محلل المعادلات التفاضلية العادية العددي بدمج الديناميكيات المتعلمة إلى الأمام من الحالة الأولية. نظرًا لأن الحل محدد لأي نقطة زمنية، فإن النموذج يتعامل بشكل طبيعي مع الملاحظات التي تصل في لحظات غير منتظمة وغير متباعدة بشكل متساوٍ دون إجبارها على شبكة ثابتة.

الصيغة
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dt
3

يتطلب التدريب تدرجات الخسارة بالنسبة لمعلمات الشبكة. تحسب طريقة حساسية الملحق هذه عن طريق حل معادلة تفاضلية عادية ثانية إلى الوراء عبر الزمن، مما يحافظ على تكلفة الذاكرة منخفضة وثابتة بغض النظر عن عدد خطوات محلل الدمج الأمامي التي تم اتخاذها.

الأخطاء الشائعة

  • تطبيقها على سلسلة قصيرة جدًا حيث توجد إشارة قليلة جدًا لتحديد ديناميكية مستمرة.
  • تجاهل إعدادات تحمل المحلل، بحيث تكون الدقة ووقت التشغيل غير متطابقين بصمت.
  • إجبار الطوابع الزمنية غير المنتظمة على شبكة منتظمة والتخلي عن الميزة الرئيسية للطريقة.
  • تخطي طريقة الملحق واستنزاف الذاكرة عن طريق تخزين كل خطوة من خطوات المحلل.

الأسئلة الشائعة

كيف تختلف المعادلة التفاضلية العصبية العادية عن الشبكة المتبقية؟

تضيف الشبكة المتبقية زيادة منفصلة في كل طبقة من عدد ثابت من الطبقات. تأخذ المعادلة التفاضلية العصبية العادية الحد الذي تصبح فيه هذه الزيادات متناهية الصغر، بحيث تحدد الشبكة العصبية المعدل المستمر لتغير الحالة ويقوم محلل المعادلات التفاضلية العادية بدمجها. يصبح العمق وقتًا مستمرًا بدلاً من عدد ثابت من الطبقات.

لماذا استخدام طريقة الملحق للتدريب؟

تحسب طريقة حساسية الملحق التدرجات عن طريق حل معادلة تفاضلية عادية مساعدة إلى الوراء عبر الزمن. هذا يحافظ على تكلفة الذاكرة منخفضة وثابتة بغض النظر عن عدد خطوات محلل الدمج الأمامي، وهو السبب الرئيسي لتوصيتها بتدريب المعادلات التفاضلية العصبية العادية.

متى يجب أن أتجنب المعادلة التفاضلية العصبية العادية؟

على مجموعات البيانات الصغيرة. مع أقل من حوالي 500 ملاحظة، لا يمكن للنموذج تعلم الديناميكيات المستمرة بشكل موثوق، وأقل من حوالي 100، لا يكون النموذج القائم على المحلل ذا مغزى. في هذه الحالات، يكون تجميع الأشجار مثل الغابة العشوائية أو XGBoost خيارًا أكثر أمانًا.

ما نوع البيانات التي تناسبها بشكل أفضل؟

السلاسل الزمنية ذات القيم المستمرة والبيانات الطولية، خاصة عندما تكون الملاحظات متباعدة بشكل غير منتظم أو غير متساوٍ. نظرًا لأن الحالة محددة في أي نقطة زمنية، فإن الطريقة لا تتطلب إعادة أخذ عينات للبيانات على شبكة ثابتة.

طرق ذات صلة

المصادر

  1. Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).

    افتح مرجع المنشور
    تم النسخ.
  2. Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).

    افتح مرجع المنشور
    تم النسخ.