Gaussowski proces półnadzorowany
- Autor metody
- Lawrence, N. D. & Jordan, M. I.
- Rok
- 2004
- Typ
- Probabilistic model (semi-supervised)
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Gaussowski proces półnadzorowany rozszerza probabilistyczny model GP, wykorzystując dane nieetykietowane obok niewielkiego zbioru obserwacji etykietowanych.
Poprzez umieszczenie priora GP na funkcjach i wykorzystanie struktury geometrycznej ujawnionej przez nieetykietowane dane wejściowe, uczy się on dokładniejszych i lepiej skalibrowanych predyktorów niż czysto nadzorowany GP, gdy etykiety są rzadkie, co czyni go dobrze dopasowanym do problemów naukowych i medycznych, gdzie anotacja jest kosztowna.
Intuicja stojąca za metodą
Standardowy proces Gaussa definiuje rozkład na gładkich funkcjach i warunkuje na etykietowanych punktach treningowych, aby tworzyć predykcje. Gdy etykiety są rzadkie, ten warunkowy rozkład aposteriorny jest wysoce niepewny w regionach o rzadkich danych. Półnadzorowany GP rozwiązuje ten problem, wykorzystując również nieetykietowane dane wejściowe do ujawnienia leżącej u podstaw struktury rozmaitości lub gęstości przestrzeni wejściowej. Jądro — które koduje podobieństwo — może być następnie kształtowane przez wiele nieetykietowanych punktów, dzięki czemu model uczy się, gdzie znajdują się dane, zanim jeszcze zobaczy jakąkolwiek etykietę. To znacznie zmniejsza niepewność aposteriorną i poprawia generalizację na podstawie niewielu etykietowanych przykładów.
Historia
Ramy półnadzorowanego GP zostały formalnie wprowadzone przez Lawrence'a i Jordana na konferencji NeurIPS 2004, opierając się na fundamentalnym GP dla uczenia maszynowego autorstwa Rasmussena i Williamsa (książka z 2006 r., wcześniejsze manuskrypty krążyły od 1996 r.). Podejście to łączy idee z regularyzacji rozmaitości, laplasjanów grafów i nieparametryki bayesowskiej, a także wpłynęło na późniejsze prace nad rzadkimi GP, uczeniem głębokich jąder i grafowymi sieciami neuronowymi z wyjściami probabilistycznymi.
Kiedy stosować
Używaj Gaussowskiego procesu półnadzorowanego, gdy dane etykietowane są rzadkie, ale dane nieetykietowane są liczne, potrzebujesz skalibrowanych oszacowań niepewności obok predykcji, a przestrzeń wejściowa ma gładką strukturę geometryczną, którą mogą oświetlić punkty nieetykietowane. Doskonale sprawdza się w dziedzinach biologii, medycyny i nauk przyrodniczych, gdzie anotacja jest kosztowna. Unikaj go, gdy zbiór danych jest duży (tysiące punktów etykietowanych), ponieważ wnioskowanie GP skaluje się jako O(n^3) względem liczby punktów etykietowanych i staje się obliczeniowo niewykonalne. Unikaj go również, gdy wymiar wejściowy jest bardzo wysoki (powyżej ~50 cech) bez starannego inżynieringu jądra, lub gdy interpretowalne współczynniki, a nie predykcje probabilistyczne, są głównym wynikiem.
Ograniczenia i uwagi
- Skalowanie sześcienne O(n^3) względem liczby punktów etykietowanych czyni go niepraktycznym dla więcej niż kilku tysięcy obserwacji bez aproksymacji rzadkich punktów.
- Wnioskowanie przybliżone (Laplace, EP) jest wymagane dla niegaussowskich funkcji wiarygodności, takich jak klasyfikacja, wprowadzając błąd aproksymacji.
- Wydajność zależy w dużej mierze od wyboru jądra i założenia, że punkty nieetykietowane wiernie reprezentują rozmaitość wejściową.
- Obliczeniowo intensywna optymalizacja hiperparametrów może być powolna i może zbiegać do słabych lokalnych minimów w wysokich wymiarach.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Generuje pełne rozkłady predykcyjne, dostarczając skalibrowaną niepewność obok każdej predykcji.
- Dane nieetykietowane mogą dramatycznie poprawić dokładność, gdy etykiety są rzadkie, co pozwala na lepsze wykorzystanie budżetów na anotację.
- Elastyczność jądra pozwala na kodowanie wiedzy dziedzinowej o gładkości, okresowości lub geometrii wejścia.
- Uzasadniona rama bayesowska wspiera wybór hiperparametrów poprzez maksymalizację prawdopodobieństwa brzegowego.
- Naturalnie obsługuje zadania predykcji wielowyjściowej i strukturalnej poprzez rozszerzenia GP wielowyjściowego.
Zastosowania
- Predykcja aktywności leków na podstawie deskryptorów molekularnych z niewielką liczbą związków etykietowanych testami.
- Klasyfikacja obrazów medycznych, gdzie adnotacje eksperckie są ograniczone, ale surowe skany są liczne.
- Modelowanie czujników środowiskowych przy użyciu rzadkich skalibrowanych odczytów i gęstych niekalibrowanych pomiarów.
- Klasyfikacja ekspresji genów z ograniczonymi etykietami fenotypowymi, ale dużymi zbiorami danych transkryptomicznych.
- Predykcja właściwości materiałowych w chemii i fizyce, gdzie etykietowane pomiary eksperymentalne są kosztowne.
Jak to działa
Jak to działa
Funkcja jądra k(x_i, x_j) koduje wcześniejsze przekonania dotyczące gładkości i skali funkcji docelowej. W ustawieniach półnadzorowanych jądra oparte na grafach lub dostosowane do rozmaitości są konstruowane ze wszystkich dostępnych danych wejściowych — zarówno etykietowanych, jak i nieetykietowanych — tak, aby metryka podobieństwa odzwierciedlała rzeczywistą geometrię danych, a nie surową odległość euklidesową.
Wzór
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)Na latentną funkcję umieszcza się priora GP o zerowej średniej f ~ GP(0, k). Ponieważ jądro zostało oszacowane na podstawie pełnego zbioru nieetykietowanego, ten prior już koduje strukturę geometryczną rozmaitości wejściowej przed włączeniem jakichkolwiek etykiet.
Wzór
f \sim \mathcal{GP}(0, k)Punkty nieetykietowane są integrowane z modelem albo poprzez skonstruowanie regularizatora laplasjanu grafu na wszystkich danych wejściowych, albo poprzez traktowanie wartości funkcji latentnych w lokalizacjach nieetykietowanych jako zmiennych pomocniczych, które są marginalizowane podczas wnioskowania. Oba podejścia pozwalają dużej puli danych nieetykietowanych na ograniczenie i stabilizację rozkładu aposteriornego.
Warunkowanie na obserwacje etykietowane aktualizuje prior GP do rozkładu aposteriornego na funkcjach. W ustawieniach klasyfikacyjnych obejmuje to przybliżone wnioskowanie (aproksymacja Laplace'a lub propagacja oczekiwań), ponieważ funkcja wiarygodności Gaussa jest zastępowana niegaussowskim modelem obserwacji.
Wzór
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
Dla każdego nowego wejścia x* analitycznie (regresja) lub poprzez aproksymację (klasyfikacja) oblicza się aposteriorny rozkład predykcyjny. Wynikiem jest pełny rozkład predykcyjny — średnia i wariancja — dający nie tylko estymatę punktową, ale także skalibrowaną niepewność, co jest kluczowe w naukowych dziedzinach z ograniczoną liczbą etykiet.
Wzór
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]Częste pułapki
- Ignorowanie kosztu O(n^3) i próba dopasowania gęstego GP do tysięcy punktów bez aproksymacji rzadkich punktów indukcyjnych.
- Używanie standardowego jądra opartego na odległości euklidesowej bez dostosowania go do rozmaitości danych, co marnuje pulę danych nieetykietowanych.
- Traktowanie średniej aposteriornej jako twardej predykcji i odrzucenie oszacowania niepewności, co jest główną zaletą w porównaniu z metodami dyskryminacyjnymi.
- Niewłaściwe walidowanie na odłożonym zbiorze etykietowanym, ponieważ dane nieetykietowane mogą wprowadzić subtelne przesunięcie rozkładu, jeśli nie są dopasowane do domeny testowej.
- Stosowanie metody, gdy stosunek danych etykietowanych do nieetykietowanych jest już wysoki, gdzie dodatkowa złożoność daje znikome korzyści w porównaniu z GP nadzorowanym.
Najczęściej zadawane pytania
Czym to się różni od standardowego Gaussowskiego procesu nadzorowanego?
GP nadzorowany warunkuje tylko na danych etykietowanych i ignoruje dane nieetykietowane. Wariant półnadzorowany wykorzystuje dane nieetykietowane do kształtowania jądra lub ograniczania priora funkcji przed warunkowaniem na etykiety, dzięki czemu wykorzystuje rozmaitość danych i osiąga niższy błąd generalizacji, gdy etykiety są rzadkie.
Jaki jest główny wąskie gardło obliczeniowe?
Wnioskowanie GP jest sześcienne względem liczby punktów treningowych. Metody rzadkich punktów indukcyjnych (np. FITC, VFE) redukują to do O(nm^2), gdzie m to liczba punktów indukcyjnych (zazwyczaj 50–500), co czyni GP półnadzorowany na dużą skalę wykonalnym.
Jak wybrać jądro do integracji danych nieetykietowanych?
Częstym podejściem jest jądro laplasjanu grafu lub dyfuzji ciepła obliczone na wszystkich danych wejściowych. Alternatywnie, standardowe jądro RBF z długością skali dostrojoną na pełnym (etykietowanym + nieetykietowanym) rozkładzie wejściowym działa całkiem dobrze, gdy dane są niskowymiarowe i płynnie rozłożone.
Czy skalibrowana niepewność jest zachowana po zintegrowaniu danych nieetykietowanych?
Teoretycznie tak — rama bayesowska generuje skalibrowane rozkłady aposteriorne — ale aproksymacje wprowadzone dla klasyfikacji (Laplace, EP) i metod rzadkich (punkty indukcyjne) mogą zmniejszyć kalibrację. Dobrą praktyką jest ocena oczekiwanego błędu kalibracji (ECE) na etykietowanym zbiorze walidacyjnym.
Kiedy powinienem wybrać półnadzorowany SVM zamiast tej metody?
Preferuj półnadzorowany SVM (S3VM/transdukcyjny SVM), gdy potrzebujesz prostej granicy decyzyjnej opartej na marginesie, masz wysokowymiarowe rzadkie cechy (np. tekst) i nie potrzebujesz oszacowań niepewności. Wybierz półnadzorowany GP, gdy ważne są wyjścia probabilistyczne i elastyczność jądra.
Pokrewne metody
Źródła
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
Otwórz odnośnik do publikacjiSkopiowano.Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Skopiowano.