Gauß-Prozess
- Eingeführt von
- Rasmussen, C. E. & Williams, C. K. I.
- Jahr
- 2006 (book); roots in Kriging, 1951)
- Typ
- Probabilistic non-parametric model
- Familie
- Machine learning
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Ein Gauß-Prozess (GP) ist ein nicht-parametrisches, vollständig probabilistisches Machine-Learning-Modell, das eine A-priori-Verteilung direkt über Funktionen legt.
Anstatt einen einzelnen Wert vorherzusagen, liefert er einen prädiktiven Mittelwert und eine kalibrierte Unsicherheitsschätzung an jedem Testpunkt, was ihn besonders wertvoll für Regressionen auf kleinen bis mittleren Datensätzen und für Bayes'sche Optimierungsaufgaben macht.
Die Intuition hinter der Methode
Anstatt eine feste Kurve an Ihre Daten anzupassen, behält ein Gauß-Prozess eine ganze Verteilung über mögliche Kurven bei, die mit dem übereinstimmen, was Sie beobachtet haben. Vor dem Betrachten der Daten nimmt er an, dass Funktionen glatt sein sollten (wie durch einen Kernel definiert). Nach dem Betrachten der Daten verengt er diese Verteilung: Nahegelegene Testpunkte erhalten enge, sichere Vorhersagen, während entfernte oder datenarme Regionen breite Unsicherheitsbänder erzeugen. Diese eingebaute Unsicherheitsquantifizierung unterscheidet GPs von den meisten anderen Modellen.
Geschichte
Gauß-Prozesse haben ihre Wurzeln im Kriging, das in den 1950er Jahren von Danie Krige in der Geostatistik entwickelt und von Georges Matheron formalisiert wurde. Ihre Einführung in das maschinelle Lernen wurde maßgeblich von Carl Rasmussen und Christopher Williams vorangetrieben, deren Buch von 2006 im MIT Press zum maßgeblichen Nachschlagewerk wurde und GP als prinzipielle Bayes'sche nicht-parametrische Alternative zu neuronalen Netzen und Kernel-SVMs etablierte, insbesondere für Szenarien, in denen die Unsicherheitsquantifizierung unerlässlich ist.
Wann wird sie eingesetzt?
Gauß-Prozesse eignen sich hervorragend für kleine bis mittlere Datensätze (bis zu einigen tausend Zeilen), bei denen die Unsicherheitsquantifizierung wichtig ist – zum Beispiel bei wissenschaftlichen Experimenten, im Ingenieurwesen oder als Surrogatmodell für teure Simulationen. Sie sind die Methode der Wahl für die Bayes'sche Optimierung. Bevorzugen Sie GP gegenüber einfacheren Modellen, wenn Sie kalibrierte Vorhersageintervalle anstelle von nur Punktschätzungen benötigen und wenn die Beziehung zwischen Eingaben und Ausgaben voraussichtlich glatt ist. Vermeiden Sie GP, wenn n ungefähr 10.000 Beobachtungen überschreitet, da die exakte Inferenz mit O(n^3) skaliert und ohne Approximationen rechnerisch nicht durchführbar ist. GP hat auch Schwierigkeiten mit sehr hochdimensionalen Eingaberäumen und mit diskontinuierlichen oder stark nicht-stationären Funktionen, es sei denn, es werden sorgfältig angepasste Kernel verwendet.
Grenzen und Hinweise
- Exakte Inferenz ist zeitlich O(n^3) und speicherintensiv O(n^2), was sie für große n ohne spärliche oder approximative GP-Methoden unpraktikabel macht.
- Die Leistung verschlechtert sich in sehr hochdimensionalen Eingaberäumen aufgrund des Fluchs der Dimensionalität bei Kernel-Distanzen.
- Die Auswahl und Kombination von Kerneln erfordert Domänenwissen; ein schlecht gewählter Kernel führt zu schlechter Unsicherheitskalibrierung.
- Klassifizierung (GP-Klassifikatoren) erfordert eine zusätzliche Laplace- oder Erwartungsausbreitungs-Approximation, was die Komplexität erhöht.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Liefert kalibrierte prädiktive Unsicherheitsintervalle neben Punktschätzungen.
- Extrem stichprobeneffizient – schneidet gut bei kleinen Datensätzen ab, bei denen baumbasierte Modelle überanpassen.
- Die Kernel-Wahl kodiert flexibel Domänenwissen über Glattheit, Periodizität oder Skala.
- Hyperparameter werden über die marginale Likelihood aus den Daten gelernt, was eine automatische Regularisierung ermöglicht.
- Natives Framework für Bayes'sche Optimierung und aktives experimentelles Design.
Anwendungen
- Regression auf kleinen bis mittleren wissenschaftlichen und ingenieurtechnischen Datensätzen, die kalibrierte Konfidenzintervalle erfordern.
- Bayes'sche Optimierung von teuren Black-Box-Funktionen wie Hyperparameter-Tuning oder experimentelles Design.
- Surrogatmodellierung für kostspielige Computersimulationen in der Luft- und Raumfahrt, Materialwissenschaft und Klimamodellierung.
- Räumlich-zeitliche Interpolation und geostatistische Kartierung (Kriging).
- Aktives Lernen: Verwendung der A-posteriori-Varianz zur Auswahl der informativsten nächsten Messung.
- Zeitreihenmodellierung mit periodischen oder zusammengesetzten Kerneln, die saisonale Strukturen kodieren.
So funktioniert es
So funktioniert es
Eine Kernel-Funktion (üblicherweise Squared-Exponential / RBF) kodiert A-priori-Annahmen über die Glattheit und die Längenskala der Funktion. Sie misst die Ähnlichkeit zwischen zwei beliebigen Eingabepunkten: Ähnliche Eingaben sollten ähnliche Ausgaben erzeugen. Die Wahl der Kernel-Form bestimmt maßgeblich, welche Arten von Funktionen der GP darstellen kann.
Formel
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)Bevor Daten beobachtet werden, definiert der GP eine A-priori-Verteilung über Funktionen: Jede endliche Sammlung von Funktionswerten ist gemeinsam Gauß'sch mit einer Mittelwertfunktion m(x) und einer Kovarianz, die durch den Kernel gegeben ist. Diese A-priori-Verteilung ist die anfängliche Annahme über das Verhalten der unbekannten Funktion.
Formel
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))Die Konditionierung der A-priori-Verteilung auf die beobachteten Trainingsdaten ergibt die A-posteriori-Verteilung, die ebenfalls Gauß'sch ist. Der A-posteriori-Mittelwert wird zur Punktvorhersage an jedem neuen Eingabepunkt x* und die A-posteriori-Varianz liefert ein kalibriertes Konfidenzintervall, das sich automatisch dort verengt, wo die Trainingsdaten dicht sind.
Formel
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)Kernel-Hyperparameter (Längenskala, Ausgabevarianz, Rauschpegel) werden durch Maximierung der logarithmischen marginalen Likelihood der Trainingsdaten geschätzt. Diese Optimierung balanciert die Datenanpassung gegen die Modellkomplexität und führt eine automatische Regularisierung durch, ohne einen separaten Strafterm.
Formel
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})Zum Zeitpunkt der Vorhersage wird der A-posteriori-Mittelwert als Punktschätzung und die A-posteriori-Standardabweichung als Unsicherheitsband zurückgegeben. Beide können direkt verwendet werden: Der Mittelwert dient als beste Schätzung und das Intervall zur Kommunikation, wie sicher sich das Modell an jedem neuen Eingabestandort ist.
Häufige Fallstricke
- Verwendung des Standard-RBF-Kernels, ohne zu prüfen, ob die Funktion wirklich stationär und glatt ist – periodische oder diskontinuierliche Muster erfordern andere Kernel.
- Vergessen, kontinuierliche Eingaben und Ausgaben vor der Anpassung zu standardisieren, was zu schlecht konditionierten Kovarianzmatrizen führt.
- Behandlung des A-posteriori-Mittelwerts allein als Ergebnis und Ignorieren der Unsicherheitsbänder, die den Hauptbeitrag des Modells darstellen.
- Anwendung von exaktem GP auf Datensätze mit n über ca. 5.000 ohne Umstellung auf eine spärliche oder induzierende Punkt-Approximation.
- Vermischung von aleatorischem Rauschen (irreduzible Messfehler) mit epistemischer Unsicherheit (Modellunsicherheit) bei der Interpretation der Varianzausgabe.
Häufig gestellte Fragen
Mit welchem Kernel soll ich anfangen?
Der Squared-Exponential (RBF)-Kernel ist der Standard-Ausgangspunkt, da er unendlich differenzierbare, glatte Funktionen erzeugt und interpretierbare Hyperparameter für Längenskala und Ausgabevarianz hat. Wechseln Sie zu einem Matern-Kernel, wenn Sie erwarten, dass die Funktion weniger glatt ist, oder fügen Sie eine periodische Komponente für saisonale Daten hinzu.
Mein Datensatz hat 50.000 Zeilen. Kann ich trotzdem einen GP verwenden?
Exakte GP-Inferenz wäre bei dieser Skala nicht durchführbar. Erwägen Sie spärliche GP-Methoden (z. B. induzierende Punkte / FITC) oder stochastische variationelle GP, die beide die Trainingskosten auf etwa O(nm^2) reduzieren, wobei m die Anzahl der induzierenden Punkte ist (m << n). Bibliotheken wie GPyTorch implementieren diese effizient.
Wie unterscheidet sich ein GP von der Bayes'schen linearen Regression?
Bayes'sche lineare Regression legt eine A-priori-Verteilung über eine feste endliche Menge von Koeffizienten; die Flexibilität des Modells ist daher durch die gewählten Basis-Funktionen begrenzt. Ein GP legt eine A-priori-Verteilung direkt über Funktionen in einem unendlich-dimensionalen Raum, sodass seine effektive Komplexität sich an die Daten anpasst, ohne dass Sie Basis-Erweiterungen vordefinieren müssen.
Sind die Unsicherheitsschätzungen wirklich kalibriert?
Unter dem korrekten Modell und Kernel sind die GP-A-posteriori-Unsicherheiten konstruktionsbedingt gut kalibriert. In der Praxis entstehen Fehlkalibrierungen durch falsche Kernel-Spezifikation oder durch Ignorieren der Rauschstruktur. Führen Sie immer eine A-posteriori-Prädiktionsprüfung durch – plotten Sie beobachtete vs. vorhergesagte Werte mit Abdeckung der glaubwürdigen Intervalle.
Können Gauß-Prozesse kategoriale oder gemischte Eingaben verarbeiten?
Standard-GP-Kernel arbeiten mit kontinuierlichen Eingaben. Kategoriale Eingaben erfordern spezielle Kernel (z. B. Hamming-Distanz-Kernel) oder Kodierung. Für überwiegend kategoriale oder sehr hochdimensionale gemischte Daten sind baumbasierte Modelle wie Random Forest oder Gradient Boosting in der Regel ein besserer Ausgangspunkt.
Verwandte Methoden
Quellen
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Kopiert.Gaussian process. Wikipedia.
Publikationsreferenz öffnenKopiert.