Skip to content
بازگشت به نتایج جست‌وجو

ODE عصبی

معرفی‌شده توسط
Chen, T. Q. et al.
سال
2018
نوع
Continuous-depth neural network (ODE-parameterised dynamics)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

ODE عصبی (Neural ODE) را چن و همکارانش در سال ۲۰۱۸ معرفی کردند؛ این روش حالت پنهان را به‌صورت جواب پیوسته یک معادله دیفرانسیل معمولی مدل می‌کند که دینامیک آن را یک شبکه عصبی پارامتری می‌کند. این روش حد حالت اتصال‌های باقی‌مانده را تعمیم می‌دهد و به همین دلیل برای سری‌های زمانی با فاصله‌های نامنظم و مدل‌سازی مبتنی بر فیزیک بسیار مناسب است.

شهود پشت روش

یک شبکه باقی‌مانده عمیق، افزایش یادگرفته‌شده کوچکی را در هر لایه به حالت پنهان خود اضافه می‌کند. اگر این لایه‌ها را تا جایی کوچک کنیم که به هم بی‌نهایت نزدیک شوند، پشته گسسته به‌روزرسانی‌ها به یک منحنی هموار تبدیل می‌شود و شبکه به جای تعداد گام‌های ثابت، نرخ تغییر حالت پنهان را توصیف می‌کند. ODEهای عصبی این حد پیوسته را به معنای واقعی کلمه در نظر می‌گیرند: به جای انباشتن لایه‌ها، سرعت حالت را یاد می‌گیرند و به یک حل‌کننده ODE اجازه می‌دهند تا آن را به سمت جلو در زمان انتگرال‌گیری کند، بنابراین حالت را می‌توان در هر لحظه‌ای ارزیابی کرد، نه فقط در مرزهای ثابت لایه.

تاریخ

ODEهای عصبی توسط چن، روبانووا، بتنکورت و دووناد در NeurIPS 2018 معرفی شدند و حد پیوسته شبکه‌های باقی‌مانده را به عنوان یک معادله دیفرانسیل معمولی که توسط یک انتگرال‌گیر عددی با روش الحاقی با حافظه کارآمد حل می‌شود، قاب‌بندی کردند. سال بعد، روبانووا و همکارانش این ایده را به ODEهای نهفته (Latent ODEs) برای سری‌های زمانی با نمونه‌برداری نامنظم گسترش دادند و نشان دادند که فرمول‌بندی زمان پیوسته، مشاهدات با فواصل نامساوی را به طور طبیعی‌تر از مدل‌های بازگشتی گسسته مدیریت می‌کند.

چه زمانی استفاده شود

از یک ODE عصبی برای پیش‌بینی (prediction) یا پیش‌بینی آینده (forecasting) در داده‌های زمان پیوسته استفاده کنید — به ویژه سری‌های زمانی با نمونه‌برداری نامنظم و مسیرهای طولی — که در آن‌ها یک سیستم دینامیکی هموار و پیوسته در حال تکامل، یک مدل قابل قبول است. این مدل بر روی متغیرهای پیوسته کار می‌کند و نیازی به داده‌های توزیع نرمال ندارد، اما انتظار یک سری نسبتاً طولانی (حدود ۱۰۰ مشاهده به عنوان حداقل، و به طور قابل توجهی بیشتر برای آموزش پایدار) و یک حل‌کننده ODE با استفاده از روش الحاقی را دارد. در مجموعه داده‌های کوچک، نمی‌تواند دینامیک پیوسته را به خوبی یاد بگیرد؛ با کمتر از حدود ۵۰۰ مشاهده، یک مجموعه درختی مانند جنگل تصادفی (Random Forest) ایمن‌تر است و در کمتر از حدود ۱۰۰ مشاهده، یک مدل مبتنی بر حل‌کننده اصلاً معنی‌دار نیست.

محدودیت‌ها و ملاحظات

  • نیاز به مقدار قابل توجهی داده دارد: با کمتر از حدود ۵۰۰ مشاهده، نمی‌تواند دینامیک را به طور قابل اعتماد یاد بگیرد.
  • در کمتر از حدود ۱۰۰ مشاهده، یک مدل مبتنی بر حل‌کننده اساساً بی‌معنی است.
  • آموزش به یک حل‌کننده ODE و روش الحاقی متکی است که پیچیدگی عددی و مهندسی را اضافه می‌کند.
  • دینامیک‌های سفت یا با تغییر سریع می‌تواند حل‌کننده را کند و آموزش را ناپایدار کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • سری‌های زمانی با نمونه‌برداری نامنظم و نابرابر را به طور طبیعی مدیریت می‌کند، زیرا حالت در هر نقطه زمانی تعریف شده است.
  • آموزش با حافظه کارآمد: روش الحاقی حافظه را صرف نظر از عمق حل‌کننده ثابت نگه می‌دارد.
  • تناسب اصولی برای مدل‌سازی سیستم‌های دینامیکی مبتنی بر فیزیک و پیوسته.
  • فرمول‌بندی عمق پیوسته، شبکه‌های باقی‌مانده را تعمیم می‌دهد و دقت را با هزینه حل‌کننده مبادله می‌کند.

کاربردها

  • پیش‌بینی آینده (forecasting) و پیش‌بینی (prediction) در سری‌های زمانی با نمونه‌برداری نامنظم یا فواصل نابرابر.
  • مدل‌سازی سیستم‌های دینامیکی پیوسته و مبتنی بر فیزیک.
  • مدل‌سازی مسیرهای طولی که مشاهدات در زمان‌های دلخواه می‌رسند.
  • جایگزین‌های عمق پیوسته برای شبکه‌های باقی‌مانده عمیق که حافظه محدود است.

چگونه کار می‌کند

چگونه کار می‌کند

1

به جای یک دنباله ثابت از لایه‌ها، یک شبکه عصبی f_theta نرخ تغییر لحظه‌ای حالت پنهان را به عنوان تابعی از حالت فعلی و زمان تعریف می‌کند. این امر عمق شبکه را به زمان پیوسته تبدیل می‌کند: مدل مشخص می‌کند که حالت چگونه تکامل می‌یابد، نه اینکه چند تبدیل گسسته اعمال شود.

فرمول
\frac{dh(t)}{dt} = f_\theta(h(t), t)
2

برای به دست آوردن حالت در زمان بعدی، یک حل‌کننده عددی ODE، دینامیک یادگرفته‌شده را از حالت اولیه به جلو انتگرال‌گیری می‌کند. از آنجایی که راه‌حل برای هر نقطه زمانی تعریف شده است، مدل به طور طبیعی مشاهداتی را که در لحظات نامنظم و با فواصل نامساوی می‌رسند، بدون اجبار آن‌ها به یک شبکه ثابت، مدیریت می‌کند.

فرمول
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dt
3

آموزش نیازمند گرادیان‌های تابع زیان نسبت به پارامترهای شبکه است. روش حساسیت الحاقی (adjoint sensitivity method) این گرادیان‌ها را با حل یک ODE دوم به عقب در زمان محاسبه می‌کند، که هزینه حافظه را صرف نظر از تعداد گام‌های حل‌کننده در انتگرال‌گیری رو به جلو، کم و ثابت نگه می‌دارد.

دام‌های رایج

  • اعمال آن بر روی یک سری بسیار کوتاه که سیگنال کافی برای شناسایی یک دینامیک پیوسته وجود ندارد.
  • نادیده گرفتن تنظیمات تلورانس حل‌کننده، بنابراین دقت و زمان اجرا به طور پنهانی نامتناسب هستند.
  • اجبار مُهر زمانی نامنظم بر روی یک شبکه منظم و دور ریختن مزیت اصلی روش.
  • نادیده گرفتن روش الحاقی و تخلیه حافظه با ذخیره هر گام حل‌کننده.

پرسش‌های متداول

یک ODE عصبی چگونه با یک شبکه باقی‌مانده تفاوت دارد؟

یک شبکه باقی‌مانده یک افزایش گسسته در هر یک از تعداد ثابتی از لایه‌ها اضافه می‌کند. یک ODE عصبی حدی را در نظر می‌گیرد که در آن این افزایش‌ها بی‌نهایت کوچک می‌شوند، بنابراین یک شبکه عصبی نرخ تغییر پیوسته حالت را تعریف می‌کند و یک حل‌کننده ODE آن را انتگرال‌گیری می‌کند. عمق به جای تعداد ثابت لایه‌ها، به زمان پیوسته تبدیل می‌شود.

چرا از روش الحاقی برای آموزش استفاده کنیم؟

روش حساسیت الحاقی گرادیان‌ها را با حل یک ODE کمکی به عقب در زمان محاسبه می‌کند. این امر هزینه حافظه را صرف نظر از تعداد گام‌های حل‌کننده رو به جلو، کم و ثابت نگه می‌دارد، که دلیل اصلی توصیه آن برای آموزش ODEهای عصبی است.

چه زمانی باید از یک ODE عصبی اجتناب کرد؟

در مجموعه داده‌های کوچک. با کمتر از حدود ۵۰۰ مشاهده، مدل نمی‌تواند دینامیک پیوسته را به طور قابل اعتماد یاد بگیرد و در کمتر از حدود ۱۰۰ مشاهده، یک مدل مبتنی بر حل‌کننده معنی‌دار نیست. در این موارد، یک مجموعه درختی مانند جنگل تصادفی یا XGBoost انتخاب ایمن‌تری است.

بهترین نوع داده برای آن چیست؟

سری‌های زمانی و داده‌های طولی با مقادیر پیوسته، به ویژه زمانی که مشاهدات نامنظم یا با فواصل نابرابر هستند. از آنجایی که حالت در هر نقطه زمانی تعریف شده است، این روش نیازی به نمونه‌برداری مجدد داده‌ها بر روی یک شبکه ثابت ندارد.

روش‌های مرتبط

منابع

  1. Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).

    باز کردن مرجع انتشار
    کپی شد.
  2. Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).

    باز کردن مرجع انتشار
    کپی شد.