Neural ODE
- Autor metody
- Chen, T. Q. et al.
- Rok
- 2018
- Typ
- Continuous-depth neural network (ODE-parameterised dynamics)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Neural ODE, wprowadzony przez Chena i współpracowników w 2018 roku, modeluje stan ukryty jako ciągłe rozwiązanie zwykłego równania różniczkowego, którego dynamika jest parametryzowana przez sieć neuronową.
Uogólnia on przypadek graniczny połączeń rezydualnych, co czyni go dobrze przystosowanym do nieregularnie rozmieszczonych szeregów czasowych i modelowania opartego na fizyce.
Intuicja stojąca za metodą
Głęboka sieć rezydualna dodaje mały, nauczony przyrost do swojego stanu ukrytego w każdej warstwie. Jeśli wyobrazimy sobie zmniejszanie tych warstw, aż staną się nieskończenie bliskie, dyskretny stos aktualizacji zamienia się w gładką krzywą, a sieć opisuje tempo zmian stanu ukrytego, a nie stałą liczbę kroków. Neural ODE dosłownie traktują tę granicę ciągłą: zamiast układać warstwy, uczą się prędkości stanu i pozwalają solwerowi ODE integrować go w czasie, dzięki czemu stan może być oceniany w dowolnym momencie, a nie tylko na stałych granicach warstw.
Historia
Neural ODE zostały wprowadzone przez Chena, Rubanovą, Bettencourta i Duvenaud na NeurIPS 2018, przedstawiając ciągłą granicę sieci rezydualnych jako zwykłe równanie różniczkowe rozwiązywane przez integrator numeryczny z efektywną pamięciowo metodą sprzężoną. W następnym roku Rubanova i współpracownicy rozszerzyli tę ideę na Latent ODE dla nieregularnie próbkowanych szeregów czasowych, demonstrując, że formułowanie w czasie ciągłym obsługuje nierównomiernie rozmieszczone obserwacje bardziej naturalnie niż dyskretne modele rekurencyjne.
Kiedy stosować
Użyj Neural ODE do przewidywania lub prognozowania danych ciągłych w czasie — szczególnie nieregularnie próbkowanych szeregów czasowych i trajektorii podłużnych — tam, gdzie gładki, ciągle ewoluujący system dynamiczny jest wiarygodnym modelem. Działa na zmiennych ciągłych i nie wymaga danych o rozkładzie normalnym, ale oczekuje rozsądnie długiej serii (około 100 obserwacji jako minimum, i zauważalnie więcej dla stabilnego treningu) oraz solwera ODE wykorzystującego metodę sprzężoną. Na małych zbiorach danych nie jest w stanie dobrze nauczyć się ciągłej dynamiki; przy mniej niż około 500 obserwacjach bezpieczniejszy jest zespół drzew, taki jak Random Forest, a poniżej około 100 model oparty na solwerze jest w ogóle bez znaczenia.
Ograniczenia i uwagi
- Wymaga sporej ilości danych: przy mniej niż około 500 obserwacjach nie jest w stanie wiarygodnie nauczyć się dynamiki.
- Poniżej około 100 obserwacji model oparty na solwerze jest zasadniczo bez znaczenia.
- Trening opiera się na solwerze ODE i metodzie sprzężonej, co dodaje złożoności numerycznej i inżynieryjnej.
- Sztywne lub szybko zmieniające się dynamiki mogą spowolnić solwer i destabilizować trening.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Naturalnie obsługuje nieregularnie i nierównomiernie próbkowane szeregi czasowe, ponieważ stan jest zdefiniowany w dowolnym punkcie czasowym.
- Efektywny pamięciowo trening: metoda sprzężona utrzymuje stałą pamięć niezależnie od głębokości solwera.
- Zasadowe dopasowanie do modelowania systemów dynamicznych opartych na fizyce i ciągłych.
- Formułowanie o ciągłej głębokości uogólnia sieci rezydualne i pozwala na wymianę dokładności na koszt solwera.
Zastosowania
- Prognozowanie i przewidywanie na nieregularnie próbkowanych lub nierównomiernie rozmieszczonych szeregach czasowych.
- Modelowanie ciągłych systemów dynamicznych i opartych na fizyce.
- Modelowanie trajektorii podłużnych, gdzie obserwacje pojawiają się w dowolnych momentach.
- Alternatywy o ciągłej głębokości dla głębokich sieci rezydualnych, gdzie pamięć jest ograniczona.
Jak to działa
Jak to działa
Zamiast stałej sekwencji warstw, sieć neuronowa f_theta definiuje chwilowe tempo zmian stanu ukrytego jako funkcję bieżącego stanu i czasu. To przekształca głębokość sieci w czas ciągły: model określa, jak ewoluuje stan, a nie ile dyskretnych transformacji należy zastosować.
Wzór
\frac{dh(t)}{dt} = f_\theta(h(t), t)Aby uzyskać stan w późniejszym czasie, numeryczny solwer ODE integruje nauczoną dynamikę od stanu początkowego. Ponieważ rozwiązanie jest zdefiniowane dla dowolnego punktu w czasie, model naturalnie obsługuje obserwacje, które pojawiają się w nieregularnych, nierównomiernie rozmieszczonych momentach, bez konieczności umieszczania ich na stałej siatce.
Wzór
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dtTrening wymaga gradientów funkcji straty względem parametrów sieci. Metoda czułości sprzężonej (adjoint sensitivity method) oblicza je, rozwiązując drugie równanie różniczkowe wstecz w czasie, co utrzymuje niski i stały koszt pamięci, niezależnie od liczby kroków solwera w integracji w przód.
Częste pułapki
- Stosowanie go do bardzo krótkich serii, gdzie jest zbyt mało sygnału, aby zidentyfikować ciągłą dynamikę.
- Ignorowanie ustawień tolerancji solwera, co prowadzi do cichego niedopasowania dokładności i czasu wykonania.
- Wymuszanie nieregularnych znaczników czasu na regularną siatkę i odrzucanie głównej zalety metody.
- Pomijanie metody sprzężonej i wyczerpywanie pamięci poprzez przechowywanie każdego kroku solwera.
Najczęściej zadawane pytania
Czym różni się Neural ODE od sieci rezydualnej?
Sieć rezydualna dodaje dyskretny przyrost w każdej z ustalonej liczby warstw. Neural ODE przyjmuje granicę, w której te przyrosty stają się nieskończenie małe, więc sieć neuronowa definiuje ciągłe tempo zmian stanu, a solwer ODE go integruje. Głębokość staje się czasem ciągłym, a nie stałą liczbą warstw.
Dlaczego warto używać metody sprzężonej do treningu?
Metoda czułości sprzężonej oblicza gradienty, rozwiązując pomocnicze równanie różniczkowe wstecz w czasie. Utrzymuje to niski i stały koszt pamięci, niezależnie od liczby kroków wykonanych przez solwer w przód, co jest głównym powodem, dla którego jest zalecana do treningu Neural ODE.
Kiedy należy unikać Neural ODE?
Na małych zbiorach danych. Przy mniej niż około 500 obserwacjach model nie jest w stanie wiarygodnie nauczyć się ciągłej dynamiki, a poniżej około 100 model oparty na solwerze jest bez znaczenia. W takich przypadkach bezpieczniejszym wyborem jest zespół drzew, taki jak Random Forest lub XGBoost.
Jaki rodzaj danych najlepiej pasuje?
Szeregi czasowe o wartościach ciągłych i dane podłużne, zwłaszcza gdy obserwacje są nieregularnie lub nierównomiernie rozmieszczone. Ponieważ stan jest zdefiniowany w dowolnym punkcie czasowym, metoda nie wymaga ponownego próbkowania danych na stałej siatce.
Pokrewne metody
Źródła
Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).
Otwórz odnośnik do publikacjiSkopiowano.Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).
Otwórz odnośnik do publikacjiSkopiowano.