Zum Inhalt springen
Zurück zu den Suchergebnissen

Neuronale ODE

Eingeführt von
Chen, T. Q. et al.
Jahr
2018
Typ
Continuous-depth neural network (ODE-parameterised dynamics)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Eine Neuronale ODE, eingeführt von Chen und Kollegen im Jahr 2018, modelliert einen verborgenen Zustand als kontinuierliche Lösung einer gewöhnlichen Differentialgleichung, deren Dynamik durch ein neuronales Netz parametrisiert ist.

Sie verallgemeinert den Grenzfall von Residuenverbindungen und eignet sich daher gut für unregelmäßig beprobte Zeitreihen und physikbasierte Modellierung.

Die Intuition hinter der Methode

Ein tiefes Residuennetzwerk fügt jeder Schicht eine kleine gelernte Inkrement zu seinem verborgenen Zustand hinzu. Wenn man sich diese Schichten schrumpfen vorstellt, bis sie infinitesimal nahe beieinander liegen, wird der diskrete Stapel von Updates zu einer glatten Kurve, und das Netzwerk beschreibt die Änderungsrate des verborgenen Zustands anstelle einer festen Anzahl von Schritten. Neuronale ODEs nehmen diesen kontinuierlichen Grenzwert wörtlich: Anstatt Schichten zu stapeln, lernen sie die Geschwindigkeit des Zustands und lassen einen ODE-Löser ihn vorwärts in der Zeit integrieren, sodass der Zustand zu jedem beliebigen Zeitpunkt ausgewertet werden kann, nicht nur an festen Schichtgrenzen.

Geschichte

Neuronale ODEs wurden von Chen, Rubanova, Bettencourt und Duvenaud auf der NeurIPS 2018 eingeführt und formulierten den kontinuierlichen Grenzwert von Residuennetzwerken als gewöhnliche Differentialgleichung, die von einem numerischen Integrator mit der speichereffizienten Adjoint-Methode gelöst wird. Im folgenden Jahr erweiterten Rubanova und Kollegen die Idee auf Latent ODEs für unregelmäßig beprobte Zeitreihen und zeigten, dass die kontinuierliche Zeitformulierung ungleichmäßig beabstandete Beobachtungen natürlicher verarbeitet als diskrete rekurrente Modelle.

Wann wird sie eingesetzt?

Verwenden Sie eine Neuronale ODE für Vorhersagen oder Prognosen auf kontinuierlichen Zeitdaten – insbesondere auf unregelmäßig beprobten Zeitreihen und longitudinalen Trajektorien –, bei denen ein glattes, kontinuierlich sich entwickelndes dynamisches System ein plausibles Modell darstellt. Sie funktioniert auf kontinuierlichen Variablen und erfordert keine normalverteilten Daten, erwartet aber eine einigermaßen lange Serie (etwa 100 Beobachtungen als Untergrenze und merklich mehr für stabiles Training) und einen ODE-Löser, der die Adjoint-Methode verwendet. Auf kleinen Datensätzen kann sie die kontinuierliche Dynamik nicht gut lernen; mit weniger als etwa 500 Beobachtungen ist ein Baumensemble wie Random Forest sicherer, und unter etwa 100 ist ein löserbasiertes Modell überhaupt nicht sinnvoll.

Grenzen und Hinweise

  • Benötigt eine beträchtliche Menge an Daten: Mit weniger als etwa 500 Beobachtungen kann sie die Dynamik nicht zuverlässig lernen.
  • Unter etwa 100 Beobachtungen ist ein löserbasiertes Modell im Wesentlichen bedeutungslos.
  • Das Training stützt sich auf einen ODE-Löser und die Adjoint-Methode, was numerische und ingenieurtechnische Komplexität hinzufügt.
  • Steife oder sich schnell ändernde Dynamiken können den Löser langsam und das Training instabil machen.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Verarbeitet unregelmäßig und ungleichmäßig beprobte Zeitreihen natürlich, da der Zustand zu jedem Zeitpunkt definiert ist.
  • Speichereffizientes Training: Die Adjoint-Methode hält den Speicher unabhängig von der Lösungstiefe konstant.
  • Eine prinzipielle Anpassung für physikbasierte und kontinuierliche dynamische Systemmodellierung.
  • Kontinuierliche Tiefenformulierung verallgemeinert Residuennetzwerke und ermöglicht den Austausch von Genauigkeit gegen Lösungskosten.

Anwendungen

  • Prognose und Vorhersage auf unregelmäßig beprobten oder ungleichmäßig beabstandeten Zeitreihen.
  • Modellierung kontinuierlicher dynamischer und physikbasierter Systeme.
  • Modellierung longitudinaler Trajektorien, bei denen Beobachtungen zu beliebigen Zeiten eintreffen.
  • Kontinuierliche Tiefenalternativen zu tiefen Residuennetzwerken, bei denen der Speicher begrenzt ist.

So funktioniert es

So funktioniert es

1

Anstelle einer festen Sequenz von Schichten definiert ein neuronales Netz f_theta die momentane Änderungsrate des verborgenen Zustands als Funktion des aktuellen Zustands und der Zeit. Dies verwandelt die Netztiefe in kontinuierliche Zeit: Das Modell gibt vor, wie sich der Zustand entwickelt, nicht wie viele diskrete Transformationen angewendet werden sollen.

Formel
\frac{dh(t)}{dt} = f_\theta(h(t), t)
2

Um den Zustand zu einem späteren Zeitpunkt zu erhalten, integriert ein numerischer ODE-Löser die gelernte Dynamik vom Anfangszustand aus vorwärts. Da die Lösung für jeden Zeitpunkt definiert ist, verarbeitet das Modell natürlich Beobachtungen, die zu unregelmäßigen, ungleichmäßig beabstandeten Zeitpunkten eintreffen, ohne sie auf ein festes Gitter zu zwingen.

Formel
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dt
3

Das Training erfordert Gradienten des Verlusts in Bezug auf die Netzwerkparameter. Die Adjoint-Sensitivitätsmethode berechnet diese durch Lösen einer zweiten ODE rückwärts in der Zeit, wodurch die Speicherkosten niedrig und konstant bleiben, unabhängig davon, wie viele Lösungsschritte die Vorwärtsintegration benötigte.

Häufige Fallstricke

  • Anwendung auf eine sehr kurze Serie, bei der zu wenig Signal vorhanden ist, um eine kontinuierliche Dynamik zu identifizieren.
  • Ignorieren von Lösertoleranzeinstellungen, sodass Genauigkeit und Laufzeit stillschweigend nicht übereinstimmen.
  • Erzwingen unregelmäßiger Zeitstempel auf ein reguläres Gitter und Verwerfen des Hauptvorteils der Methode.
  • Überspringen der Adjoint-Methode und Erschöpfen des Speichers durch Speichern jedes Lösungsschritts.

Häufig gestellte Fragen

Wie unterscheidet sich eine Neuronale ODE von einem Residuennetzwerk?

Ein Residuennetzwerk fügt jeder einer festen Anzahl von Schichten ein diskretes Inkrement hinzu. Eine Neuronale ODE nimmt den Grenzwert, bei dem diese Inkremente infinitesimal werden, sodass ein neuronales Netz die kontinuierliche Änderungsrate des Zustands definiert und ein ODE-Löser ihn integriert. Tiefe wird zu kontinuierlicher Zeit anstelle einer festen Schichtanzahl.

Warum die Adjoint-Methode für das Training verwenden?

Die Adjoint-Sensitivitätsmethode berechnet Gradienten durch Lösen einer Hilfs-ODE rückwärts in der Zeit. Dies hält die Speicherkosten niedrig und konstant, unabhängig davon, wie viele Schritte der Vorwärtslöser benötigte, was der Hauptgrund ist, warum sie für das Training von Neuronalen ODEs empfohlen wird.

Wann sollte ich eine Neuronale ODE vermeiden?

Auf kleinen Datensätzen. Mit weniger als etwa 500 Beobachtungen kann das Modell die kontinuierliche Dynamik nicht zuverlässig lernen, und unter etwa 100 ist ein löserbasiertes Modell nicht sinnvoll. In diesen Fällen ist ein Baumensemble wie Random Forest oder XGBoost eine sicherere Wahl.

Für welche Art von Daten eignet sie sich am besten?

Kontinuierlich-wertige Zeitreihen und longitudinale Daten, insbesondere wenn Beobachtungen unregelmäßig oder ungleichmäßig beabstandet sind. Da der Zustand zu jedem Zeitpunkt definiert ist, muss die Methode die Daten nicht auf ein festes Gitter neu abtasten.

Verwandte Methoden

Quellen

  1. Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).

    Publikationsreferenz öffnen
    Kopiert.
  2. Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).

    Publikationsreferenz öffnen
    Kopiert.