Zum Inhalt springen
Zurück zu den Suchergebnissen

Bayesian Gaussian Process

Eingeführt von
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
Jahr
1978–2006
Typ
Probabilistic kernel model
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Ein Bayesian Gaussian Process (GP) platziert eine Wahrscheinlichkeitsverteilung direkt über Funktionen, wobei ein Kernel die Ähnlichkeit zwischen Eingaben kodiert.

Nach Beobachtung von Daten wandelt die Bayes'sche Regel diesen Prior in einen Posterior um, der nicht nur Punktvorhersagen, sondern auch kalibrierte Unsicherheitsschätzungen für jeden neuen Eingabewert liefert – was ihn zu einem der prinzipientreuesten probabilistischen Modelle im maschinellen Lernen macht.

Die Intuition hinter der Methode

Stellen Sie sich vor, Sie zeichnen unendlich viele plausible Kurven durch Ihre Daten, die alle mit dem übereinstimmen, was Sie wissen. Ein GP quantifiziert, wie wahrscheinlich jede Kurve vor und nach dem Erhalt von Beobachtungen ist. Der Kernel bestimmt, welche Kurven glatt oder zackig, nah oder weitreichend aussehen. Sobald Daten vorliegen, verengt der GP die Familie der plausiblen Kurven um die Beobachtungen herum, während er ehrliche Unsicherheit dort beibehält, wo die Daten spärlich sind. Dies liefert sowohl eine Vorhersage als auch ein Konfidenzband, das widerspiegelt, wie viel Evidenz die Prognose tatsächlich stützt.

Geschichte

Die Verwendung von Gaußschen Prozessen in der Statistik reicht bis zu O'Hagan (1978) und Kriging in der Geostatistik (Matheron, 1963) zurück. Ihre Einführung in das maschinelle Lernen wurde durch Neal (1996) katalysiert, der zeigte, dass tiefe Netzwerke im Grenzwert unendlicher Breite zu GPs konvergieren, und durch das Buch von Rasmussen und Williams aus dem Jahr 2006, das zum Standardwerk wurde. Heute bilden GPs die Grundlage für Bayes'sche Optimierungspipelines bei der Hyperparameter-Abstimmung und Versuchsplanung in Ingenieurwesen und Wissenschaft.

Wann wird sie eingesetzt?

Verwenden Sie einen Bayesian GP, wenn Sie kalibrierte Unsicherheit neben Vorhersagen benötigen – zum Beispiel im Active Learning, bei der Bayes'schen Optimierung, in sicherheitskritischen Anwendungen oder bei der wissenschaftlichen Inferenz, wo das Wissen, was das Modell nicht weiß, genauso wichtig ist wie die Vorhersage selbst. Er eignet sich hervorragend für kleine bis mittlere Datensätze (bis zu einigen tausend Beobachtungen) mit kontinuierlichen oder strukturierten Eingaben und glatten zugrundeliegenden Funktionen. Vermeiden Sie GPs, wenn der Datensatz ohne spärliche oder approximative GP-Methoden etwa 10.000 Zeilen überschreitet, wenn der Eingaberaum hochdimensional ist (über ~20 Merkmale) ohne starke a priori Struktur, oder wenn ein schneller, undurchsichtiger Punktprädiktor alles ist, was benötigt wird.

Grenzen und Hinweise

  • Kubische Rechenkosten O(n^3) bei exakter Inferenz begrenzen die Verwendung auf Datensätze mit einigen tausend Beobachtungen ohne spärliche Approximationen.
  • Die Kernel-Wahl ist einflussreich und erfordert Domänenexpertise; ein falsch spezifizierter Kernel verschlechtert sowohl Vorhersagen als auch Unsicherheitsschätzungen.
  • Die geschlossene Inferenzform bricht bei nicht-Gaußschen Likelihoods (Klassifikation, Zählungen) zusammen und erfordert Approximationen, die Komplexität hinzufügen.
  • Skaliert schlecht auf hochdimensionale Eingaberäume ohne Dimensionsreduktion oder strukturierte Kernel.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Erzeugt vollständig kalibrierte prädiktive Verteilungen, nicht nur Punktschätzungen.
  • Geschlossene Posterior-Form für Regression – exakt, keine Stichprobenentnahme für moderate Daten erforderlich.
  • Die Kernel-Auswahl kodiert reiches Domänenwissen über Glattheit, Periodizität und Struktur.
  • Die logarithmische marginale Likelihood ermöglicht automatisches Lernen von Hyperparametern und Modellvergleich.
  • Unterstützt naturgemäß Active Learning und Bayes'sche Optimierung, indem quantifiziert wird, wo die Unsicherheit am höchsten ist.
  • Stichprobeneffizient: schneidet bei kleinen Datensätzen gut ab, wo Deep Learning nicht generalisieren kann.

Anwendungen

  • Bayes'sche Optimierung zur Hyperparameter-Abstimmung, Versuchsplanung und AutoML.
  • Surrogatmodellierung in technischen Simulationen und Computer-Experimenten.
  • Räumliche Interpolation und Geostatistik (Kriging).
  • Zeitreihenprognose mit prinzipientreuer Unsicherheitsquantifizierung.
  • Active Learning: Auswahl der informativsten nächsten Beobachtung basierend auf der Posterior-Varianz.
  • Wissenschaftliche Inferenz, bei der die Ausbreitung von Unsicherheiten neben der Vorhersage erforderlich ist.

So funktioniert es

So funktioniert es

1

Ein GP-Prior wird durch eine Mittelwertfunktion m(x) – oft auf Null gesetzt – und eine Kovarianzfunktion (Kernel) k(x,x') definiert, die kodiert, wie die Ausgaben zweier Eingaben kovariieren. Zusammen spezifizieren sie eine Verteilung über alle Funktionen, aus der das Modell Kandidatenlösungen zieht, bevor Daten gesehen werden.

Formel
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

Der Kernel ist die zentrale Modellwahl. Gängige Kernel umfassen den Squared-Exponential (RBF), Matern, periodische und lineare Kernel, die jeweils unterschiedliche Annahmen über Glattheit, Periodizität oder Trend kodieren. Domänenwissen wird verwendet, um Kernel auszuwählen oder zu kombinieren, die dem erwarteten Verhalten der Zielfunktion entsprechen.

3

Gegeben Trainingsbeobachtungen (X, y), wird die Bayes'sche Regel in geschlossener Form für die Regression angewendet, um den Posterior-GP zu erhalten. Der Posterior-Mittelwert liefert die Punktvorhersage für jeden neuen Eingabewert x*, während die Posterior-Varianz die verbleibende Unsicherheit quantifiziert – sie schrumpft in der Nähe von Beobachtungen und weitet sich in unerforschten Regionen aus.

Formel
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

Kernel-Hyperparameter (Längenskalen, Ausgabevarianz, Rauschpegel) werden durch Maximierung der logarithmischen marginalen Likelihood gelernt, die automatisch die Datenanpassung gegen die Modellkomplexität abwägt. Dieser eingebaute Sparsamkeitsprinzip vermeidet in vielen Fällen eine separate Kreuzvalidierung für die Hyperparameterwahl.

Formel
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

Die endgültige prädiktive Verteilung an einem neuen Punkt ist für die Regression Gaußsch, liefert einen Mittelwert und eine Varianz. Für die Klassifikation wandelt ein zusätzlicher Approximationsschritt (Laplace, Erwartungsausbreitung oder Variationsinferenz) den latenten GP in Klassenwahrscheinlichkeiten um.

Häufige Fallstricke

  • Verwendung eines Standard-RBF-Kernels, ohne zu berücksichtigen, ob die Daten tatsächlich glatt und stationär sind.
  • Ignorieren der posterior prädiktiven Varianz und nur des Mittelwerts, wodurch der Hauptvorteil des Modells verworfen wird.
  • Anwendung exakter GP-Inferenz auf große Datensätze (n > 10.000) ohne spärliche oder induzierende Punktapproximationen, was zu Speicher- und Geschwindigkeitsfehlern führt.
  • Verwechslung der GP-Hyperparameteroptimierung (marginale Likelihood) mit vollständiger Bayes'scher Inferenz über Hyperparameter – letztere erfordert MCMC und wird in der Praxis selten durchgeführt.
  • Behandlung von Klassifikations-GP-Ausgaben, als ob der latente Posterior exakt wäre, ohne die Approximationsfehler bei nicht-Gaußschen Likelihoods zu berücksichtigen.

Häufig gestellte Fragen

Ist ein Gaußscher Prozess von Natur aus Bayes'sch?

Ja. Ein GP definiert einen Prior über Funktionen, und die Konditionierung auf Daten ergibt über die Bayes'sche Regel einen Posterior. Die prädiktive Verteilung ist die Marginalisierung aller plausiblen Funktionen, gewichtet mit ihrer Posterior-Wahrscheinlichkeit, was die definierende Eigenschaft der Bayes'schen Inferenz ist.

Wie wähle ich den Kernel aus?

Beginnen Sie damit, sich zu fragen, ob die Funktion glatt (RBF/Squared-Exponential), periodisch (periodischer Kernel) oder stückweise unregelmäßig (Matern 3/2 oder 5/2) sein soll. Kernel können additiv oder multiplikativ kombiniert werden, um eine zusammengesetzte Struktur zu erfassen. Validieren Sie die Auswahl anhand der logarithmischen marginalen Likelihood.

Kann ich einen GP für Tausende von Datenpunkten verwenden?

Die exakte GP-Inferenz hat Kosten von O(n^3), was auf moderner Hardware bis zu einigen tausend Punkten machbar ist. Für größere Datensätze verwenden Sie spärliche GP-Approximationen (Induzierende-Punkt-Methoden wie FITC oder VFE) oder stochastische Variations-GPs, die bis zu Millionen von Beobachtungen skalieren.

Was ist der Unterschied zwischen GP-Regression und GP-Klassifikation?

GP-Regression verwendet eine Gaußsche Likelihood, sodass der Posterior ebenfalls Gaußsch ist und in geschlossener Form berechnet werden kann. GP-Klassifikation verwendet eine Bernoulli- (oder Softmax-) Likelihood, die nicht-Gaußsch ist, sodass der Posterior approximiert werden muss – üblicherweise mit Laplace-Approximation oder Erwartungsausbreitung.

Wie verhält sich ein GP im Vergleich zu einem neuronalen Netz?

GPs eignen sich besser für kleine Daten, liefern standardmäßig kalibrierte Unsicherheit und sind durch den Kernel interpretierbar. Neuronale Netze dominieren bei großen, hochdimensionalen Daten. Unendlich breite neuronale Netze mit bestimmten Aktivierungen sind mathematisch äquivalent zu GPs, was eine tiefe theoretische Verbindung zwischen beiden aufzeigt.

Verwandte Methoden

Quellen

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    Kopiert.
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    ISBN: 978-0-387-31073-2
    Kopiert.