Sinirsel ODE
- Ortaya koyan
- Chen, T. Q. et al.
- Yıl
- 2018
- Tür
- Continuous-depth neural network (ODE-parameterised dynamics)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Chen ve arkadaşları tarafından 2018'de tanıtılan bir Sinirsel ODE, gizli bir durumu, dinamikleri bir sinir ağı tarafından parametrelendirilen adi bir diferansiyel denklemin sürekli çözümü olarak modeller.
Bu, artık bağlantıların sınırlayıcı durumunu genelleştirir ve onu düzensiz aralıklı zaman serileri ve fizik tabanlı modelleme için çok uygun hale getirir.
Yöntemin mantığı
Derin bir artık ağ, her katmanda gizli durumuna küçük, öğrenilmiş bir artış ekler. Bu katmanları birbirine sonsuz yakın olana kadar küçülttüğünüzü hayal ederseniz, ayrık güncellemeler yığını pürüzsüz bir eğriye dönüşür ve ağ, sabit bir adım sayısı yerine gizli durumun değişim oranını tanımlar. Sinirsel ODE'ler bu sürekli limiti kelimenin tam anlamıyla alırlar: katmanları istiflemek yerine, durumun hızını öğrenirler ve bir ODE çözücüsünün onu zamana doğru entegre etmesine izin verirler, böylece durum yalnızca sabit katman sınırlarında değil, herhangi bir anda değerlendirilebilir.
Tarih
Sinirsel ODE'ler, Chen, Rubanova, Bettencourt ve Duvenaud tarafından NeurIPS 2018'de tanıtıldı; artık ağların sürekli limitini, bellek açısından verimli adjoint yöntemiyle çözülen sayısal bir entegratör tarafından çözülen adi bir diferansiyel denklem olarak çerçevelediler. Ertesi yıl Rubanova ve arkadaşları, sürekli zaman formülasyonunun, ayrık tekrarlayan modellere göre eşit olmayan aralıklı gözlemleri daha doğal bir şekilde ele aldığını göstererek, düzensiz örneklenmiş zaman serileri için bunu Latent ODE'lere genişlettiler.
Ne zaman kullanılır?
Sürekli zamanlı veriler üzerinde, özellikle de düzensiz örneklenmiş zaman serileri ve boylamsal yörüngeler üzerinde, pürüzsüz, sürekli gelişen bir dinamik sistemin makul bir model olduğu tahmin veya öngörü için bir Sinirsel ODE kullanın. Sürekli değişkenler üzerinde çalışır ve normal dağılımlı veriler gerektirmez, ancak makul derecede uzun bir seri (taban olarak yaklaşık 100 gözlem ve kararlı eğitim için belirgin şekilde daha fazlası) ve adjoint yöntemi kullanan bir ODE çözücüsü bekler. Küçük veri kümelerinde sürekli dinamikleri iyi öğrenemez; yaklaşık 500 gözlemden azında Rastgele Orman gibi bir ağaç topluluğu daha güvenlidir ve yaklaşık 100'ün altında çözücü tabanlı bir model hiç anlamlı değildir.
Sınırlar ve dikkat edilmesi gerekenler
- Oldukça fazla veri gerektirir: yaklaşık 500 gözlemden azında dinamikleri güvenilir bir şekilde öğrenemez.
- Yaklaşık 100 gözlemden azında çözücü tabanlı bir model esasen anlamsızdır.
- Eğitim, bir ODE çözücüsüne ve adjoint yöntemine dayanır, bu da sayısal ve mühendislik karmaşıklığı ekler.
- Sert veya hızla değişen dinamikler, çözücüyü yavaş ve eğitimi kararsız hale getirebilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Durum herhangi bir zaman noktasında tanımlandığından, düzensiz ve eşit olmayan aralıklı zaman serilerini doğal olarak ele alır.
- Bellek açısından verimli eğitim: adjoint yöntemi, çözücü derinliğinden bağımsız olarak belleği sabit tutar.
- Fizik tabanlı ve sürekli dinamik sistem modellemesi için ilkeli bir uyum.
- Sürekli derinlik formülasyonu artık ağları genelleştirir ve doğruluğun çözücü maliyetine karşı takas edilmesine izin verir.
Uygulama alanları
- Düzensiz örneklenmiş veya eşit olmayan aralıklı zaman serilerinde tahmin ve öngörü.
- Sürekli dinamik ve fizik tabanlı sistemlerin modellenmesi.
- Gözlemlerin keyfi zamanlarda geldiği boylamsal yörünge modellemesi.
- Belleğin kısıtlı olduğu derin artık ağlara sürekli derinlik alternatifleri.
Nasıl çalışır?
Nasıl çalışır?
Sabit bir katman dizisi yerine, bir sinir ağı f_theta, gizli durumun anlık değişim oranını mevcut duruma ve zamana bağlı bir fonksiyon olarak tanımlar. Bu, ağ derinliğini sürekli zamana dönüştürür: model, durumun nasıl geliştiğini, kaç tane ayrık dönüşüm uygulanacağını değil, bunu belirtir.
Formül
\frac{dh(t)}{dt} = f_\theta(h(t), t)Daha sonraki bir zamandaki durumu elde etmek için sayısal bir ODE çözücü, öğrenilmiş dinamikleri başlangıç durumundan ileriye doğru entegre eder. Çözüm herhangi bir zaman noktası için tanımlandığından, model sabit bir ızgaraya zorlamak zorunda kalmadan düzensiz, eşit olmayan aralıklı anlarda gelen gözlemleri doğal olarak ele alır.
Formül
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dtEğitim, kayıpla ilgili gradyanları ağ parametrelerine göre hesaplamayı gerektirir. Ekadjoint duyarlılık yöntemi, ikinci bir ODE'yi geriye doğru zamanla çözerek bunları hesaplar; bu da bellek maliyetini, ileri entegrasyonun kaç tane çözücü adımı aldığına bakılmaksızın düşük ve sabit tutar.
Sık yapılan hatalar
- Sürekli bir dinamik tanımlamak için çok az sinyal olan çok kısa bir seriye uygulamak.
- Çözücü tolerans ayarlarını zorlamak, böylece doğruluk ve çalışma süresi sessizce uyumsuz hale gelir.
- Düzensiz zaman damgalarını düzenli bir ızgaraya zorlamak ve yöntemin ana avantajını göz ardı etmek.
- Adjoint yöntemini atlamak ve her çözücü adımını saklayarak belleği tüketmek.
Sık sorulan sorular
Bir Sinirsel ODE, bir artık ağdan nasıl farklıdır?
Bir artık ağ, sabit sayıda katmanın her birine ayrık bir artış ekler. Bir Sinirsel ODE, bu artışların sonsuz hale geldiği limiti alır, böylece bir sinir ağı durumun sürekli değişim oranını tanımlar ve bir ODE çözücü onu entegre eder. Derinlik, sabit bir katman sayısı yerine sürekli zaman haline gelir.
Eğitim için neden adjoint yöntemi kullanılır?
Adjoint duyarlılık yöntemi, yardımcı bir ODE'yi geriye doğru zamanla çözerek gradyanları hesaplar. Bu, ileri çözücünün kaç adım aldığına bakılmaksızın bellek maliyetini düşük ve sabit tutar; bu da Sinirsel ODE'lerin eğitimi için önerilmesinin ana nedenidir.
Ne zaman bir Sinirsel ODE'den kaçınılmalıdır?
Küçük veri kümelerinde. Yaklaşık 500 gözlemden azında model sürekli dinamikleri güvenilir bir şekilde öğrenemez ve yaklaşık 100'ün altında çözücü tabanlı bir model anlamlı değildir. Bu durumlarda Rastgele Orman veya XGBoost gibi bir ağaç topluluğu daha güvenli bir seçenektir.
Ne tür veriler için en uygun?
Sürekli değerli zaman serileri ve boylamsal veriler, özellikle gözlemler düzensiz veya eşit olmayan aralıklı olduğunda. Durum herhangi bir zaman noktasında tanımlandığından, yöntem verilerin sabit bir ızgaraya yeniden örneklenmesini gerektirmez.
İlgili yöntemler
Kaynaklar
Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).
Yayın kaynağını açKopyalandı.Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).
Yayın kaynağını açKopyalandı.