Skip to content
Kembali ke hasil pencarian

ODE Neural

Diperkenalkan oleh
Chen, T. Q. et al.
Tahun
2018
Jenis
Continuous-depth neural network (ODE-parameterised dynamics)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

ODE Neural, yang diperkenalkan oleh Chen dan kolega pada tahun 2018, memodelkan keadaan tersembunyi sebagai solusi kontinu dari persamaan diferensial biasa yang dinamikanya diparameterkan oleh jaringan saraf.

Ini menggeneralisasi kasus batas koneksi residual, membuatnya sangat cocok untuk deret waktu yang berjarak tidak teratur dan pemodelan berbasis fisika.

Intuisi di balik metode

Jaringan residual dalam menambahkan peningkatan kecil yang dipelajari pada keadaan tersembunyinya di setiap lapisan. Jika Anda membayangkan menyusutkan lapisan-lapisan itu sampai menjadi sangat dekat, tumpukan pembaruan diskrit berubah menjadi kurva mulus, dan jaringan menggambarkan laju perubahan keadaan tersembunyi daripada jumlah langkah tetap. ODE Neural mengambil batas kontinu ini secara harfiah: alih-alih menumpuk lapisan, mereka mempelajari kecepatan keadaan dan membiarkan pemecah ODE mengintegrasikannya ke depan seiring waktu, sehingga keadaan dapat dievaluasi pada saat kapan pun, bukan hanya pada batas lapisan tetap.

Sejarah

ODE Neural diperkenalkan oleh Chen, Rubanova, Bettencourt, dan Duvenaud di NeurIPS 2018, membingkai batas kontinu dari jaringan residual sebagai persamaan diferensial biasa yang diselesaikan oleh integrator numerik dengan metode adjoint yang hemat memori. Tahun berikutnya, Rubanova dan kolega memperluas ide tersebut ke ODE Laten untuk deret waktu yang disampel secara tidak teratur, menunjukkan bahwa formulasi waktu kontinu menangani pengamatan yang berjarak tidak merata lebih alami daripada model rekuren diskrit.

Kapan digunakan

Gunakan ODE Neural untuk prediksi atau peramalan pada data waktu kontinu — terutama deret waktu yang disampel secara tidak teratur dan lintasan longitudinal — di mana sistem dinamis yang mulus dan berkembang secara kontinu adalah model yang masuk akal. Ia bekerja pada variabel kontinu dan tidak memerlukan data yang terdistribusi normal, tetapi ia mengharapkan deret yang cukup panjang (sekitar 100 pengamatan sebagai batas bawah, dan lebih banyak lagi untuk pelatihan yang stabil) dan pemecah ODE yang menggunakan metode adjoint. Pada kumpulan data kecil, ia tidak dapat mempelajari dinamika kontinu dengan baik; dengan kurang dari sekitar 500 pengamatan, ansambel pohon seperti Random Forest lebih aman, dan di bawah sekitar 100, model berbasis pemecah sama sekali tidak bermakna.

Batasan dan pertimbangan

  • Membutuhkan cukup banyak data: dengan kurang dari sekitar 500 pengamatan, ia tidak dapat mempelajari dinamika secara andal.
  • Di bawah kira-kira 100 pengamatan, model berbasis pemecah pada dasarnya tidak bermakna.
  • Pelatihan bergantung pada pemecah ODE dan metode adjoint, menambah kompleksitas numerik dan rekayasa.
  • Dinamika yang kaku atau berubah cepat dapat membuat pemecah lambat dan pelatihan tidak stabil.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Menangani deret waktu yang disampel secara tidak teratur dan tidak merata secara alami, karena keadaan didefinisikan pada titik waktu kapan pun.
  • Pelatihan hemat memori: metode adjoint menjaga memori tetap konstan terlepas dari kedalaman pemecah.
  • Kecocokan yang berprinsip untuk pemodelan sistem dinamis berbasis fisika dan kontinu.
  • Formulasi kedalaman kontinu menggeneralisasi jaringan residual dan memungkinkan akurasi ditukar dengan biaya pemecah.

Penerapan

  • Peramalan dan prediksi pada deret waktu yang disampel secara tidak teratur atau berjarak tidak merata.
  • Pemodelan sistem dinamis dan berbasis fisika kontinu.
  • Pemodelan lintasan longitudinal di mana pengamatan tiba pada waktu arbitrer.
  • Alternatif kedalaman kontinu untuk jaringan residual dalam di mana memori terbatas.

Cara kerjanya

Cara kerjanya

1

Alih-alih urutan lapisan tetap, jaringan saraf f_theta mendefinisikan laju perubahan sesaat dari keadaan tersembunyi sebagai fungsi dari keadaan saat ini dan waktu. Ini mengubah kedalaman jaringan menjadi waktu kontinu: model menentukan bagaimana keadaan berkembang, bukan berapa banyak transformasi diskrit yang harus diterapkan.

Rumus
\frac{dh(t)}{dt} = f_\theta(h(t), t)
2

Untuk mendapatkan keadaan pada waktu yang lebih lambat, pemecah ODE numerik mengintegrasikan dinamika yang dipelajari dari keadaan awal. Karena solusi didefinisikan untuk titik waktu kapan pun, model secara alami menangani pengamatan yang tiba pada saat-saat yang tidak teratur dan tidak merata tanpa memaksanya ke grid tetap.

Rumus
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dt
3

Pelatihan memerlukan gradien dari kerugian terhadap parameter jaringan. Metode sensitivitas adjoint menghitung ini dengan memecahkan ODE kedua mundur dalam waktu, yang menjaga biaya memori tetap rendah dan konstan terlepas dari berapa banyak langkah pemecah yang diambil oleh integrasi maju.

Kesalahan umum

  • Menerapkannya pada deret yang sangat pendek di mana sinyalnya terlalu sedikit untuk mengidentifikasi dinamika kontinu.
  • Mengabaikan pengaturan toleransi pemecah, sehingga akurasi dan waktu berjalan tidak cocok secara diam-diam.
  • Memaksa stempel waktu yang tidak teratur ke dalam grid yang teratur dan membuang keuntungan utama metode ini.
  • Melewatkan metode adjoint dan menghabiskan memori dengan menyimpan setiap langkah pemecah.

Pertanyaan yang sering diajukan

Bagaimana ODE Neural berbeda dari jaringan residual?

Jaringan residual menambahkan peningkatan diskrit di setiap jumlah lapisan tetap. ODE Neural mengambil batas di mana peningkatan tersebut menjadi infinitesimal, sehingga jaringan saraf mendefinisikan laju perubahan keadaan yang kontinu dan pemecah ODE mengintegrasikannya. Kedalaman menjadi waktu kontinu daripada jumlah lapisan tetap.

Mengapa menggunakan metode adjoint untuk pelatihan?

Metode sensitivitas adjoint menghitung gradien dengan memecahkan ODE bantu mundur dalam waktu. Ini menjaga biaya memori tetap rendah dan konstan terlepas dari berapa banyak langkah yang diambil oleh pemecah maju, yang merupakan alasan utama metode ini direkomendasikan untuk melatih ODE Neural.

Kapan saya harus menghindari ODE Neural?

Pada kumpulan data kecil. Dengan kurang dari sekitar 500 pengamatan, model tidak dapat mempelajari dinamika kontinu secara andal, dan di bawah sekitar 100, model berbasis pemecah tidak bermakna. Dalam kasus tersebut, ansambel pohon seperti Random Forest atau XGBoost adalah pilihan yang lebih aman.

Jenis data apa yang paling cocok?

Deret waktu dan data longitudinal bernilai kontinu, terutama ketika pengamatan berjarak tidak teratur atau tidak merata. Karena keadaan didefinisikan pada titik waktu kapan pun, metode ini tidak memerlukan pengambilan sampel ulang data ke dalam grid tetap.

Metode terkait

Sumber

  1. Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).

    Buka referensi publikasi
    Disalin.
  2. Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).

    Buka referensi publikasi
    Disalin.