Semi-supervised Gaussian Process
- Eingeführt von
- Lawrence, N. D. & Jordan, M. I.
- Jahr
- 2004
- Typ
- Probabilistic model (semi-supervised)
- Familie
- Machine learning
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Semi-supervised Gaussian Process erweitert den probabilistischen GP-Rahmen, um unbeschriftete Daten neben einer kleinen Menge beschrifteter Beobachtungen zu nutzen.
Durch das Platzieren eines GP-Priors über Funktionen und die Nutzung der geometrischen Struktur, die durch unbeschriftete Eingaben enthüllt wird, lernt er genauere und besser kalibrierte Prädiktoren als ein rein überwachter GP, wenn Beschriftungen knapp sind, was ihn gut für wissenschaftliche und medizinische Probleme geeignet macht, bei denen die Annotation teuer ist.
Die Intuition hinter der Methode
Ein Standard-Gauß-Prozess definiert eine Verteilung über glatte Funktionen und konditioniert auf die beschrifteten Trainingspunkte, um Vorhersagen zu treffen. Wenn Beschriftungen selten sind, ist dieser konditionierte Posterior in datenarmen Regionen hochgradig unsicher. Semi-supervised GP adressiert dies, indem er auch die unbeschrifteten Eingaben verwendet, um die zugrunde liegende Mannigfaltigkeits- oder Dichtestruktur des Eingangsraums zu enthüllen. Der Kernel – der die Ähnlichkeit kodiert – kann dann durch viele unbeschriftete Punkte geformt werden, sodass das Modell lernt, wo die Daten liegen, bevor es überhaupt eine Beschriftung sieht. Dies reduziert die Posterior-Unsicherheit drastisch und verbessert die Generalisierung von wenigen beschrifteten Beispielen.
Geschichte
Der semi-überwachte GP-Rahmen wurde formal von Lawrence und Jordan auf der NeurIPS 2004 eingeführt und baut auf Rasmussen und Williams' grundlegendem GP für maschinelles Lernen auf (Buch 2006, frühere Manuskripte zirkulierten ab 1996). Der Ansatz kombiniert Ideen aus Mannigfaltigkeitsregularisierung, Graph-Laplacians und Bayes'schen Nichtparametrika und hat spätere Arbeiten zu spärlichen GPs, Deep Kernel Learning und Graph Neural Networks mit probabilistischen Ausgaben beeinflusst.
Wann wird sie eingesetzt?
Verwenden Sie Semi-supervised Gaussian Process, wenn beschriftete Daten knapp, aber unbeschriftete Daten reichlich vorhanden sind, Sie kalibrierte Unsicherheitsschätzungen neben Vorhersagen benötigen und der Eingangsraum eine glatte geometrische Struktur aufweist, die unbeschriftete Punkte beleuchten können. Er eignet sich hervorragend für biologische, medizinische und physikalische wissenschaftliche Bereiche, in denen die Annotation teuer ist. Vermeiden Sie ihn, wenn der Datensatz groß ist (Tausende von beschrifteten Punkten), da die GP-Inferenz als O(n^3) in der Anzahl der beschrifteten Punkte skaliert und rechnerisch unerschwinglich wird. Vermeiden Sie ihn auch, wenn die Eingangsdimension sehr hoch ist (über ~50 Merkmale) ohne sorgfältige Kernel-Konstruktion, oder wenn interpretierbare Koeffizienten anstelle von probabilistischen Vorhersagen das primäre Ergebnis sind.
Grenzen und Hinweise
- Kubische Skalierung O(n^3) in der Anzahl der beschrifteten Punkte macht ihn jenseits einiger tausend Beobachtungen ohne spärliche Approximationen unpraktisch.
- Approximative Inferenz (Laplace, EP) ist für nicht-Gaußsche Likelihoods wie Klassifizierung erforderlich, was Approximationsfehler einführt.
- Die Leistung hängt stark von der Wahl des Kernels und der Annahme ab, dass unbeschriftete Punkte die Eingangs-Mannigfaltigkeit treu repräsentieren.
- Die rechnerisch intensive Optimierung von Hyperparametern kann langsam sein und in hohen Dimensionen zu schlechten lokalen Optima konvergieren.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Erzeugt vollständige Vorhersageverteilungen, die kalibrierte Unsicherheit neben jeder Vorhersage liefern.
- Unbeschriftete Daten können die Genauigkeit bei knappen Beschriftungen dramatisch verbessern, wodurch Budget für Annotationen besser genutzt werden.
- Die Flexibilität des Kernels erlaubt die Kodierung von Domänenwissen über Glattheit, Periodizität oder Eingangsgeometrie.
- Der prinzipielle Bayes'sche Rahmen unterstützt die Auswahl von Hyperparametern durch Maximierung der marginalen Likelihood.
- Behandelt natürlich Multi-Output- und strukturierte Vorhersageaufgaben durch Multi-Output-GP-Erweiterungen.
Anwendungen
- Vorhersage der Medikamentenaktivität aus molekularen Deskriptoren mit wenigen Assay-beschrifteten Verbindungen.
- Klassifizierung medizinischer Bilder, bei denen Expertenannotationen begrenzt sind, aber Rohscans reichlich vorhanden sind.
- Modellierung von Umweltsensoren unter Verwendung spärlicher kalibrierter Messungen und dichter unkalibrierter Messungen.
- Klassifizierung von Genexpression mit begrenzten Phänotyp-Beschriftungen, aber großen transkriptomischen Datensätzen.
- Vorhersage von Materialeigenschaften in Chemie und Physik, wo beschriftete experimentelle Messungen teuer sind.
So funktioniert es
So funktioniert es
Eine Kernel-Funktion k(x_i, x_j) kodiert A-priori-Annahmen über die Glattheit und Skala der Ziel-Funktion. Für semi-überwachte Einstellungen werden graphenbasierte oder mannigfaltigkeitsangepasste Kernel aus allen verfügbaren Eingaben – sowohl beschrifteten als auch unbeschrifteten – konstruiert, sodass die Ähnlichkeitsmetrik die wahre Geometrie der Daten widerspiegelt und nicht die rohe euklidische Distanz.
Formel
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)Ein GP-Prior mit Mittelwert Null f ~ GP(0, k) wird über die latente Funktion gelegt. Da der Kernel aus dem gesamten unbeschrifteten Pool geschätzt wurde, kodiert dieser Prior bereits die geometrische Struktur der Eingangs-Mannigfaltigkeit, bevor irgendwelche Beschriftungen einbezogen werden.
Formel
f \sim \mathcal{GP}(0, k)Unbeschriftete Punkte werden entweder durch die Konstruktion eines Graph-Laplace-Regularisierers über alle Eingaben in das Modell integriert, oder indem die latenten Funktionswerte an unbeschrifteten Orten als Hilfsvariablen behandelt werden, die während der Inferenz herausgemarginalisiert werden. Beide Ansätze erlauben es dem großen unbeschrifteten Pool, den Posterior zu beschränken und zu stabilisieren.
Die Konditionierung auf die beschrifteten Beobachtungen aktualisiert den GP-Prior zu einem Posterior über Funktionen. In Klassifizierungseinstellungen beinhaltet dies eine approximative Inferenz (Laplace-Approximation oder Expectation Propagation), da die Gaußsche Likelihood durch ein nicht-Gaußsches Beobachtungsmodell ersetzt wird.
Formel
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
Für jede neue Eingabe x* wird die Posterior-Vorhersageverteilung analytisch (Regression) oder mittels Approximation (Klassifizierung) berechnet. Die Ausgabe ist eine vollständige Vorhersageverteilung – Mittelwert und Varianz –, die nicht nur eine Punkt-Schätzung, sondern auch eine kalibrierte Unsicherheit liefert, was in wissenschaftlichen Domänen mit wenigen Beschriftungen unerlässlich ist.
Formel
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]Häufige Fallstricke
- Ignorieren der O(n^3)-Kosten und Versuch, einen dichten GP auf Tausenden von Punkten ohne spärliche Induktionspunkt-Approximationen anzupassen.
- Verwendung eines Kernels mit euklidischer Standarddistanz, ohne ihn an die Daten-Mannigfaltigkeit anzupassen, was den unbeschrifteten Pool verschwendet.
- Behandlung des Posterior-Mittelwerts als harte Vorhersage und Verwerfen der Unsicherheitsschätzung, was der Hauptvorteil gegenüber diskriminativen Methoden ist.
- Versäumnis, auf einem zurückgehaltenen beschrifteten Satz zu validieren, da die unbeschrifteten Daten eine subtile Verteilungsverschiebung einführen können, wenn sie nicht mit der Testdomäne übereinstimmen.
- Anwendung der Methode, wenn das Verhältnis von beschrifteten zu unbeschrifteten Daten bereits hoch ist, wo die zusätzliche Komplexität nur geringfügigen Nutzen gegenüber einem überwachten GP bringt.
Häufig gestellte Fragen
Wie unterscheidet sich dies von einem Standard-überwachten Gauß-Prozess?
Ein überwachter GP konditioniert nur auf beschriftete Daten und ignoriert unbeschriftete Eingaben. Die semi-überwachte Variante verwendet unbeschriftete Eingaben, um den Kernel zu formen oder den Funktions-Prior zu beschränken, bevor auf Beschriftungen konditioniert wird, sodass sie die Daten-Mannigfaltigkeit ausnutzt und bei knappen Beschriftungen eine geringere Generalisierungsfehlerrate erzielt.
Was ist der Hauptengpass bei der Berechnung?
Die GP-Inferenz ist kubisch in der Anzahl der Trainingspunkte. Spärliche Induktionspunkt-Methoden (z. B. FITC, VFE) reduzieren dies auf O(nm^2), wobei m die Anzahl der Induktionspunkte ist (typischerweise 50–500), was große semi-überwachte GPs praktikabel macht.
Wie wähle ich den Kernel für die Integration unbeschrifteter Daten aus?
Ein gängiger Ansatz ist ein Graph-Laplace- oder Wärmediffusions-Kernel, der über alle Eingaben berechnet wird. Alternativ funktioniert ein Standard-RBF-Kernel mit einer Längenskala, die auf der vollen (beschrifteten + unbeschrifteten) Eingangsverteilung abgestimmt ist, recht gut, wenn die Daten niedrigdimensional und gleichmäßig verteilt sind.
Bleibt die kalibrierte Unsicherheit nach der Integration unbeschrifteter Daten erhalten?
Prinzipiell ja – der Bayes'sche Rahmen erzeugt kalibrierte Posteriores –, aber Approximationen für Klassifizierung (Laplace, EP) und spärliche Methoden (Induktionspunkte) können die Kalibrierung reduzieren. Es ist gute Praxis, den erwarteten Kalibrierungsfehler (ECE) auf einem beschrifteten Validierungsdatensatz zu bewerten.
Wann sollte ich eine semi-überwachte SVM gegenüber dieser Methode bevorzugen?
Bevorzugen Sie eine semi-überwachte SVM (S3VM/transduktive SVM), wenn Sie eine einfache, auf Margins basierende Entscheidungsgrenze benötigen, hochdimensionale spärliche Merkmale (z. B. Text) haben und keine Unsicherheitsschätzungen benötigen. Wählen Sie den semi-überwachten GP, wenn probabilistische Ausgaben und Kernel-Flexibilität wichtig sind.
Verwandte Methoden
Quellen
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
Publikationsreferenz öffnenKopiert.Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Kopiert.