Proces Gaussa
- Autor metody
- Rasmussen, C. E. & Williams, C. K. I.
- Rok
- 2006 (book); roots in Kriging, 1951)
- Typ
- Probabilistic non-parametric model
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Proces Gaussa (GP) to nieparametryczny, w pełni probabilistyczny model uczenia maszynowego, który umieszcza rozkład a priori bezpośrednio na funkcjach.
Zamiast przewidywać pojedynczą wartość, zwraca średnią predykcyjną i skalibrowaną ocenę niepewności w każdym punkcie testowym, co czyni go szczególnie cennym w regresji na małych i średnich zbiorach danych oraz w zadaniach optymalizacji bayesowskiej.
Intuicja stojąca za metodą
Zamiast dopasowywać ustaloną krzywą do danych, Proces Gaussa utrzymuje cały rozkład możliwych krzywych zgodnych z zaobserwowanymi danymi. Przed zaobserwowaniem danych zakłada, że funkcje powinny być gładkie (zgodnie z definicją jądra). Po zaobserwowaniu danych zawęża ten rozkład: pobliskie punkty testowe otrzymują wąskie, pewne predykcje, podczas gdy odległe lub rzadko pokryte danymi obszary generują szerokie pasma niepewności. Ta wbudowana kwantyfikacja niepewności odróżnia GP od większości innych modeli.
Historia
Procesy Gaussa wywodzą się z Krigingu, opracowanego przez Danie Krige w geostatystyce w latach 50. XX wieku i sformalizowanego przez Georges Matherona. Ich przyjęcie w uczeniu maszynowym było w dużej mierze napędzane przez Carla Rasmussena i Christophera Williamsa, których książka z 2006 roku wydana przez MIT Press stała się definitywnym odniesieniem, ustanawiając GP jako zasadniczą bayesowską alternatywę nieparametryczną dla sieci neuronowych i SVM z jądrem, szczególnie w zastosowaniach, gdzie kwantyfikacja niepewności jest niezbędna.
Kiedy stosować
Procesy Gaussa doskonale sprawdzają się na małych i średnich zbiorach danych (do kilku tysięcy wierszy), gdzie liczy się kwantyfikacja niepewności – na przykład w eksperymentach naukowych, projektowaniu inżynierskim lub modelowaniu zastępczym dla kosztownych symulacji. Są metodą z wyboru dla optymalizacji bayesowskiej. Preferuj GP nad prostszymi modelami, gdy potrzebujesz skalibrowanych przedziałów predykcyjnych, a nie tylko estymat punktowych, i gdy oczekuje się, że związek między wejściami a wyjściami będzie gładki. Unikaj GP, gdy n przekracza około 10 000 obserwacji, ponieważ dokładna inferencja skaluje się jako O(n^3), co czyni ją obliczeniowo niepraktyczną bez aproksymacji. GP ma również trudności z przestrzeniami wejściowymi o bardzo wysokiej wymiarowości oraz z funkcjami nieciągłymi lub silnie niestacjonarnymi, chyba że użyje się starannie dobranych jąder.
Ograniczenia i uwagi
- Dokładna inferencja kosztuje O(n^3) czasu i O(n^2) pamięci, co czyni ją niepraktyczną dla dużych n bez zastosowania rzadkich lub przybliżonych metod GP.
- Wydajność spada w przestrzeniach wejściowych o bardzo wysokiej wymiarowości z powodu klątwy wymiarowości w odległościach jądra.
- Wybór i łączenie jąder wymaga wiedzy dziedzinowej; źle dobrane jądro prowadzi do słabej kalibracji niepewności.
- Klasyfikacja (klasyfikatory GP) wymaga dodatkowej aproksymacji Laplace'a lub propagacji oczekiwań, co zwiększa złożoność.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Zwraca skalibrowane przedziały niepewności predykcyjnej wraz z predykcjami punktowymi.
- Niezwykle wydajny pod względem liczby próbek – dobrze działa na małych zbiorach danych, gdzie modele drzewiaste nadmiernie dopasowują się do danych.
- Wybór jądra elastycznie koduje wiedzę dziedzinową dotyczącą gładkości, okresowości lub skali.
- Hiperparametry są uczone z danych za pomocą wiarygodności brzegowej, zapewniając automatyczną regularyzację.
- Natywny framework dla optymalizacji bayesowskiej i aktywnego uczenia się projektowania eksperymentów.
Zastosowania
- Regresja na małych i średnich naukowych i inżynierskich zbiorach danych wymagających skalibrowanych przedziałów ufności.
- Optymalizacja bayesowska kosztownych funkcji typu czarna skrzynka, takich jak strojenie hiperparametrów lub projektowanie eksperymentów.
- Modelowanie zastępcze dla kosztownych symulacji komputerowych w dziedzinie lotnictwa, materiałoznawstwa i modelowania klimatu.
- Interpolacja czasoprzestrzenna i mapowanie geostatystyczne (Kriging).
- Aktywne uczenie się: wykorzystanie wariancji a posteriori do wyboru najbardziej informacyjnego kolejnego pomiaru.
- Modelowanie szeregów czasowych z jądrami okresowymi lub złożonymi kodującymi strukturę sezonową.
Jak to działa
Jak to działa
Funkcja jądra (powszechnie kwadratowo-wykładnicza / RBF) koduje przekonania a priori dotyczące gładkości funkcji i skali długości. Mierzy ona podobieństwo między dowolnymi dwoma punktami wejściowymi: podobne wejścia powinny dawać podobne wyjścia. Wybór kształtu jądra silnie determinuje, jakie rodzaje funkcji GP może reprezentować.
Wzór
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)Przed zaobserwowaniem jakichkolwiek danych, GP definiuje rozkład a priori na funkcjach: każda skończona kolekcja wartości funkcji jest wspólnie gaussowska ze średnią funkcją m(x) i kowariancją podaną przez jądro. Ten rozkład a priori jest początkowym przekonaniem o zachowaniu nieznanej funkcji.
Wzór
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))Warunkowanie rozkładu a priori na zaobserwowanych danych treningowych daje rozkład a posteriori, również gaussowski. Średnia a posteriori staje się predykcją punktową dla dowolnego nowego wejścia x*, a wariancja a posteriori zapewnia skalibrowany przedział ufności, automatycznie zwężający się tam, gdzie dane treningowe są gęste.
Wzór
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)Hiperparametry jądra (skala długości, wariancja wyjściowa, poziom szumu) są estymowane przez maksymalizację logarytmicznej wiarygodności brzegowej danych treningowych. Ta optymalizacja równoważy dopasowanie do danych z złożonością modelu, wykonując automatyczną regularyzację bez oddzielnego członu kary.
Wzór
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})W czasie predykcji średnia a posteriori jest zwracana jako estymata punktowa, a odchylenie standardowe a posteriori jako pasmo niepewności. Oba mogą być używane bezpośrednio: średnia jako najlepsze przypuszczenie, a przedział do komunikowania, jak pewny jest model w każdej nowej lokalizacji wejściowej.
Częste pułapki
- Używanie domyślnego jądra RBF bez sprawdzenia, czy funkcja jest rzeczywiście stacjonarna i gładka – wzorce okresowe lub nieciągłe wymagają różnych jąder.
- Zapominanie o standaryzacji ciągłych wejść i wyjść przed dopasowaniem, co prowadzi do źle uwarunkowanych macierzy kowariancji.
- Traktowanie średniej a posteriori jako jedynego wyniku i ignorowanie pasm niepewności, które są głównym wkładem modelu.
- Stosowanie dokładnego GP do zbiorów danych z n powyżej ~5000 bez przełączenia na aproksymację rzadką lub z punktami indukcyjnymi.
- Mylenie szumu aleatorycznego (nieodwracalnego błędu pomiaru) z niepewnością epistemiczną (niepewnością modelu) przy interpretacji wyniku wariancji.
Najczęściej zadawane pytania
Od jakiego jądra powinienem zacząć?
Jądro kwadratowo-wykładnicze (RBF) jest domyślnym punktem wyjścia, ponieważ generuje nieskończenie różniczkowalne, gładkie funkcje i ma interpretowalne hiperparametry skali długości i wariancji wyjściowej. Przejdź na jądro Matern, jeśli spodziewasz się, że funkcja będzie mniej gładka, lub dodaj komponent okresowy dla danych sezonowych.
Mój zbiór danych ma 50 000 wierszy. Czy mogę nadal używać GP?
Dokładna inferencja GP byłaby niepraktyczna przy tej skali. Rozważ rzadkie metody GP (np. punkty indukcyjne / FITC) lub stochastyczne wariacyjne GP, z których obie obniżają koszt treningu do około O(nm^2), gdzie m to liczba punktów indukcyjnych (m << n). Biblioteki takie jak GPyTorch implementują je wydajnie.
Czym GP różni się od bayesowskiej regresji liniowej?
Bayesowska regresja liniowa umieszcza rozkład a priori na ustalonej, skończonej liczbie współczynników; elastyczność modelu jest zatem ograniczona przez wybrane funkcje bazowe. GP umieszcza rozkład a priori bezpośrednio na funkcjach w przestrzeni nieskończenie wymiarowej, więc jego efektywna złożoność dostosowuje się do danych bez konieczności wstępnego określania rozwinięć bazowych.
Czy estymaty niepewności są rzeczywiście skalibrowane?
Przy poprawnym modelu i jądrze, niepewności a posteriori GP są z założenia dobrze skalibrowane. W praktyce, błędna kalibracja wynika z błędnej specyfikacji jądra lub ignorowania struktury szumu. Zawsze przeprowadzaj kontrolę predykcyjną a posteriori – rysuj wykresy obserwowanych vs. przewidywanych wartości wraz z pokryciem przedziałów wiarygodności.
Czy Procesy Gaussa mogą obsługiwać dane kategoryczne lub mieszane?
Standardowe jądra GP działają na danych ciągłych. Dane kategoryczne wymagają specjalnych jąder (np. jądro odległości Hamminga) lub kodowania. Dla danych głównie kategorycznych lub o bardzo wysokiej wymiarowości mieszanej, modele drzewiaste, takie jak Random Forest lub gradient boosting, są zazwyczaj lepszym punktem wyjścia.
Pokrewne metody
Źródła
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9Skopiowano.Gaussian process. Wikipedia.
Otwórz odnośnik do publikacjiSkopiowano.