Bayesowskie procesy Gaussa
- Autor metody
- O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
- Rok
- 1978–2006
- Typ
- Probabilistic kernel model
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Bayesowskie procesy Gaussa (GP) umieszczają rozkład prawdopodobieństwa bezpośrednio na funkcjach, używając jądra do kodowania podobieństwa między danymi wejściowymi.
Po zaobserwowaniu danych, reguła Bayesa przekształca ten prior w posterior, który daje nie tylko predykcje punktowe, ale także skalibrowane oszacowania niepewności dla każdego nowego wejścia — czyniąc je jednym z najbardziej zasadniczych modeli probabilistycznych w uczeniu maszynowym.
Intuicja stojąca za metodą
Wyobraź sobie rysowanie nieskończenie wielu prawdopodobnych krzywych przez dane, z których każda jest zgodna z tym, co wiemy. GP kwantyfikuje prawdopodobieństwo każdej krzywej przed i po zaobserwowaniu danych. Jądro określa, które krzywe wyglądają na gładkie lub poszarpane, bliskie lub dalekosiężne. Po otrzymaniu danych, GP zawęża rodzinę prawdopodobnych krzywych wokół obserwacji, zachowując jednocześnie uczciwą niepewność tam, gdzie dane są rzadkie. Daje to zarówno predykcję, jak i pasmo ufności, które autentycznie odzwierciedla, ile dowodów wspiera prognozę.
Historia
Zastosowanie procesów Gaussa w statystyce sięga O'Hagana (1978) i Krigingu w geostatystyce (Matheron, 1963). Ich przyjęcie w uczeniu maszynowym zostało przyspieszone przez Neala (1996), który pokazał, że sieci głębokie zbiegają do GP w granicy nieskończonej szerokości, oraz przez książkę Rasmussena i Williamsa z 2006 roku, która stała się standardowym odniesieniem. Obecnie GP stanowią podstawę potoków optymalizacji Bayesowskiej w dostrajaniu hiperparametrów i projektowaniu eksperymentów w inżynierii i nauce.
Kiedy stosować
Użyj Bayesowskiego GP, gdy potrzebujesz skalibrowanej niepewności obok predykcji — na przykład w uczeniu aktywnym, optymalizacji Bayesowskiej, zastosowaniach krytycznych dla bezpieczeństwa lub wnioskowaniu naukowym, gdzie wiedza o tym, czego model nie wie, jest równie ważna jak sama predykcja. Doskonale sprawdza się na małych i średnich zbiorach danych (do kilku tysięcy obserwacji) z ciągłymi lub ustrukturyzowanymi danymi wejściowymi i gładkimi funkcjami bazowymi. Unikaj GP, gdy zbiór danych przekracza około 10 000 wierszy bez metod rzadkich lub aproksymowanych GP, gdy przestrzeń wejściowa jest wysokowymiarowa (powyżej ~20 cech) bez silnej struktury a priori, lub gdy potrzebny jest szybki, nieprzejrzysty predyktor punktowy.
Ograniczenia i uwagi
- Koszt obliczeniowy O(n^3) w dokładnym wnioskowaniu ogranicza zastosowanie do zbiorów danych rzędu kilku tysięcy obserwacji bez aproksymacji rzadkich.
- Wybór jądra ma wpływ i wymaga wiedzy dziedzinowej; błędnie określone jądro pogarsza zarówno predykcje, jak i oszacowania niepewności.
- Wnioskowanie w formie zamkniętej załamuje się dla niegaussowskich funkcji wiarygodności (klasyfikacja, zliczenia), wymagając aproksymacji, które dodają złożoności.
- Słabo skaluje się do wysokowymiarowych przestrzeni wejściowych bez redukcji wymiarowości lub jąder strukturalnych.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Generuje w pełni skalibrowane rozkłady predykcyjne, a nie tylko oszacowania punktowe.
- Posterior w formie zamkniętej dla regresji — dokładny, bez potrzeby próbkowania dla umiarkowanych danych.
- Wybór jądra koduje bogatą wiedzę dziedzinową dotyczącą gładkości, okresowości i struktury.
- Logarytmiczna wiarygodność brzegowa zapewnia automatyczne uczenie hiperparametrów i porównywanie modeli.
- Naturalnie wspiera uczenie aktywne i optymalizację Bayesowską poprzez kwantyfikację miejsc o najwyższej niepewności.
- Efektywny pod względem próbkowania: dobrze działa na małych zbiorach danych, gdzie uczenie głębokie nie potrafi generalizować.
Zastosowania
- Optymalizacja Bayesowska do dostrajania hiperparametrów, projektowania eksperymentów i AutoML.
- Modelowanie zastępcze w symulacjach inżynierskich i eksperymentach komputerowych.
- Interpolacja przestrzenna i geostatystyka (Kriging).
- Prognozowanie szeregów czasowych z zasadniczym kwantyfikowaniem niepewności.
- Uczenie aktywne: wybór najbardziej informacyjnej następnej obserwacji na podstawie wariancji posterior.
- Wnioskowanie naukowe, gdzie propagacja niepewności jest wymagana obok predykcji.
Jak to działa
Jak to działa
Prior GP jest zdefiniowany przez funkcję średniej m(x) — często ustawianą na zero — i funkcję kowariancji (jądra) k(x,x'), która koduje, jak wartości wyjściowe dla dwóch punktów wejściowych współzmieniają się. Razem określają one rozkład na wszystkich funkcjach, z którego model pobiera próbki kandydatów rozwiązań przed zobaczeniem jakichkolwiek danych.
Wzór
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))Jądro jest kluczowym wyborem modelowym. Powszechne jądra obejmują jądro wykładnicze kwadratowe (RBF), Matern, okresowe i liniowe, z których każde koduje różne założenia dotyczące gładkości, okresowości lub trendu. Wiedza dziedzinowa jest wykorzystywana do wyboru lub komponowania jąder, które pasują do oczekiwanego zachowania funkcji docelowej.
Mając obserwacje treningowe (X, y), reguła Bayesa jest stosowana w formie zamkniętej dla regresji w celu uzyskania posterior GP. Średnia posterior zapewnia predykcję punktową dla dowolnego nowego wejścia x*, podczas gdy wariancja posterior kwantyfikuje pozostałą niepewność — zmniejszając się w pobliżu obserwacji i zwiększając w obszarach niezbadanych.
Wzór
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})Hiperparametry jądra (skale długości, wariancja wyjściowa, poziom szumu) są uczone poprzez maksymalizację logarytmicznej wiarygodności brzegowej, która automatycznie równoważy dopasowanie do danych z złożonością modelu. Ta wbudowana brzytwa Ockhama unika oddzielnej walidacji krzyżowej do wyboru hiperparametrów w wielu ustawieniach.
Wzór
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})Ostateczny rozkład predykcyjny w nowym punkcie jest Gaussa dla regresji, zwracając średnią i wariancję. Dla klasyfikacji, dodatkowy krok aproksymacji (Laplace'a, propagacji oczekiwań lub wnioskowania wariacyjnego) przekształca ukryty GP w prawdopodobieństwa klas.
Częste pułapki
- Użycie domyślnego jądra RBF bez rozważenia, czy dane są faktycznie gładkie i stacjonarne.
- Ignorowanie wariancji predykcyjnej posterior i raportowanie tylko średniej, odrzucając główną zaletę modelu.
- Stosowanie dokładnego wnioskowania GP do dużych zbiorów danych (n > 10 000) bez aproksymacji rzadkich lub punktów indukcyjnych, powodując błędy pamięci i szybkości.
- Mylenie optymalizacji hiperparametrów GP (wiarygodność brzegowa) z pełnym wnioskowaniem Bayesowskim nad hiperparametrami — to drugie wymaga MCMC i rzadko jest stosowane w praktyce.
- Traktowanie wyników GP klasyfikacji tak, jakby posterior ukryty był dokładny, bez uwzględnienia błędu aproksymacji w niegaussowskich funkcjach wiarygodności.
Najczęściej zadawane pytania
Czy proces Gaussa jest z natury Bayesowski?
Tak. GP definiuje prior na funkcjach, a warunkowanie na danych daje posterior poprzez regułę Bayesa. Rozkład predykcyjny jest marginalizacją wszystkich prawdopodobnych funkcji ważonych ich prawdopodobieństwem posterior, co jest cechą definiującą wnioskowanie Bayesowskie.
Jak wybrać jądro?
Zacznij od pytania, czy funkcja ma być gładka (RBF/wykładnicze kwadratowe), okresowa (jądro okresowe) czy kawałkami nieregularna (jądro Matern 3/2 lub 5/2). Jądra można łączyć addytywnie lub multiplikatywnie, aby uchwycić złożoną strukturę. Waliduj wybory za pomocą logarytmicznej wiarygodności brzegowej.
Czy mogę użyć GP na tysiącach punktów danych?
Dokładne wnioskowanie GP ma koszt O(n^3), co jest wykonalne do kilku tysięcy punktów na nowoczesnym sprzęcie. Dla większych zbiorów danych użyj aproksymacji rzadkich GP (metody punktów indukcyjnych, takie jak FITC lub VFE) lub stochastycznych GP wariacyjnych, które skalują się do milionów obserwacji.
Jaka jest różnica między regresją GP a klasyfikacją GP?
Regresja GP używa Gaussa funkcji wiarygodności, więc posterior jest również Gaussa i można go obliczyć w formie zamkniętej. Klasyfikacja GP używa funkcji wiarygodności Bernoulliego (lub softmax), która nie jest Gaussa, więc posterior musi być aproksymowany — powszechnie za pomocą aproksymacji Laplace'a lub propagacji oczekiwań.
Jak GP porównuje się do sieci neuronowej?
GP lepiej nadają się do małych danych, zapewniają skalibrowaną niepewność „od ręki” i są interpretowalne poprzez jądro. Sieci neuronowe dominują na dużych, wysokowymiarowych danych. Nieskończenie szerokie sieci neuronowe z pewnymi aktywacjami są matematycznie równoważne GP, ujawniając głębokie teoretyczne powiązanie między nimi.
Pokrewne metody
Źródła
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Skopiowano.Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.
ISBN: 978-0-387-31073-2Skopiowano.