Przejdź do treści
Wróć do wyników wyszukiwania

Bayesowski model mieszaniny rozkładów Gaussa

Autor metody
Attias, H.; Bishop, C. M.
Rok
1999–2006
Typ
Probabilistic clustering / density estimation
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Bayesowski model mieszaniny rozkładów Gaussa (Bayesian Gaussian Mixture Model) przypisuje rozkłady a priori wszystkim parametrom mieszaniny i wnioskuje o ich rozkładach a posteriori – zazwyczaj za pomocą metod Variational Bayes lub MCMC – zamiast dopasowywać ustalone estymatory punktowe.

Pozwala to na uzyskanie zasadniczego kwantyfikowania niepewności, automatycznego wyboru efektywnej liczby komponentów oraz odporności na przeuczenie małych zbiorów danych.

Intuicja stojąca za metodą

Standardowy GMM wymaga podania liczby klastrów do dopasowania, a następnie optymalizuje ustalone wartości średnich i kowariancji za pomocą algorytmu EM. Bayesowska wersja zamiast tego utrzymuje rozkłady prawdopodobieństwa dla każdego parametru: pozostaje niepewna co do położenia, kształtu każdego klastra, a nawet tego, czy dany klastr jest w ogóle potrzebny. Komponenty, których dane nie wspierają, są automatycznie redukowane do zerowej wagi za pomocą rozkładu a priori, dzięki czemu model może samodzielnie określić swoją efektywną złożoność bez potrzeby selekcji modelu za pomocą walidacji krzyżowej dla wielu wartości K.

Historia

Bayesowskie podejście do modeli mieszanych zostało sformalizowane za pomocą próbników MCMC w latach 90. Attias (1999) wprowadził podejście Variational Bayes do GMM, a framework ten został spopularyzowany i usystematyzowany przez Bishopa (2006) w książce Pattern Recognition and Machine Learning, gdzie rozdział 10 przedstawia pełne wyprowadzenie. Nieparametryczne rozszerzenia wykorzystujące rozkłady a priori z procesów Dirichleta, pozwalające na prawdziwie otwartą liczbę K, pojawiły się później w pracach Rasmussena (2000) i Blei & Jordan (2006).

Kiedy stosować

Używaj, gdy potrzebujesz probabilistycznego miękkiego klastrowania lub estymacji gęstości na ciągłych danych wielowymiarowych i chcesz uniknąć z góry ustalania liczby komponentów K, lub gdy potrzebujesz oszacowania niepewności wokół przypisań do klastrów i parametrów. Idealny dla małych i średnich zbiorów danych (od kilkudziesięciu do dziesiątek tysięcy obserwacji), gdzie standardowe GMM z algorytmem EM ulegają przeuczeniu. Nieodpowiedni dla danych o bardzo wysokiej wymiarowości bez redukcji wymiarowości, dla cech wyłącznie kategorycznych lub porządkowych, lub gdy wymagany jest jedynie nieprobabilistyczny, twardy podział i priorytetem jest szybkość.

Ograniczenia i uwagi

  • Variational Bayes znajduje lokalne optimum ELBO, a nie globalny rozkład a posteriori; wyniki mogą zależeć od inicjalizacji.
  • Wybór hiperparametrów rozkładu a priori (szczególnie koncentracji Dirichleta) wpływa na to, które komponenty przetrwają, i musi być uzasadniony.
  • Obliczeniowo droższy niż standardowy EM-GMM na iterację i trudniejszy do zaimplementowania od zera.
  • Dane o wysokiej wymiarowości (wiele cech) wymagają starannej parametryzacji kowariancji lub wstępnej redukcji wymiarowości.
  • Interpretacja rozkładów a posteriori komponentów wymaga znajomości koncepcji wnioskowania wariacyjnego.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Automatycznie przycina nieużywane komponenty, zmniejszając potrzebę wstępnego określania K poprzez powtarzalne przeszukiwanie siatki parametrów.
  • Zwraca pełne rozkłady a posteriori parametrów, umożliwiając skalibrowane kwantyfikowanie niepewności przypisań do klastrów.
  • Odporny na przeuczenie na małych zbiorach danych, ponieważ rozkład a priori regularyzuje kowariancje i wagi komponentów.
  • Miękkie przypisania sprawiają, że model nadaje się do probabilistycznych potoków przetwarzania danych i sieci gęstości mieszanej (mixture density networks).
  • Implementacja Variational Bayes skaluje się lepiej niż pełne MCMC, zachowując jednocześnie korzyści płynące z podejścia bayesowskiego.

Zastosowania

  • Diaryzacja mówców i segmentacja audio, gdy liczba mówców jest nieznana.
  • Wykrywanie anomalii poprzez identyfikację obserwacji przypisanych do wszystkich nauczonych komponentów z niskim prawdopodobieństwem.
  • Segmentacja obrazów i kwantyzacja kolorów z miękkim przypisaniem pikseli do klastra.
  • Estymacja gęstości dla modelowania generatywnego i symulacji ciągłych danych wielowymiarowych.
  • Klastrowanie profili pacjentów genomowych lub klinicznych, gdy prawdziwa liczba podtypów jest niepewna.
  • Inicjalizacja bardziej złożonych modeli generatywnych, takich jak autoenkodery wariacyjne (variational autoencoders).

Jak to działa

Jak to działa

1

Rozkłady sprzężone (conjugate priors) są przypisywane proporcjom mieszania (Dirichlet), średnim komponentów (Gauss) i macierzom precyzji (Wishart). Parametr koncentracji rozkładu Dirichleta kontroluje rozkład wag mieszania między komponentami: mała wartość skupia wagę na niewielu klastrach, efektywnie penalizując niepotrzebne komponenty.

Wzór
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)
2

Wariacyjny krok E (E-step) oblicza miękkie przypisania (soft responsibilities) r_nk – przybliżone prawdopodobieństwo a posteriori, że obserwacja n należy do komponentu k – używając bieżących wartości oczekiwanych logarytmów wag mieszania i wyznaczników macierzy precyzji zamiast estymatorów punktowych, dzięki czemu niepewność parametrów przenosi się na przypisania do klastrów.

Wzór
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]
3

Statystyki dostateczne dla każdego komponentu są gromadzone z miękkich przypisań: efektywna liczba obserwacji N_k, ważona średnia i ważona macierz rozrzutu. Zastępują one odpowiedniki z algorytmu EM oparte na twardych liczebnościach i kierują kolejnymi aktualizacjami rozkładów a posteriori parametrów.

Wzór
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top
4

Parametry naturalne każdego rozkładu sprzężonego a posteriori są aktualizowane przez dodanie statystyk dostatecznych do hiperparametrów rozkładu a priori. Rozkład Dirichleta a posteriori redukuje komponenty o niskim N_k do zerowej wagi, implementując automatyczne przycinanie nieużywanych klastrów.

Wzór
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
5

Zbieżność jest monitorowana za pomocą dolnego ograniczenia dowodowego (Evidence Lower BOund, ELBO), które jest dolnym ograniczeniem logarytmu wiarygodności brzegowej. ELBO gwarantowanie nie maleje w każdym cyklu wariacyjnego EM; iteracje trwają do momentu, gdy poprawa spadnie poniżej zadanego progu tolerancji.

Wzór
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]

Częste pułapki

  • Ustawienie początkowej liczby komponentów K zbyt małej, co uniemożliwia modelowi odkrycie całej rzeczywistej struktury, nawet jeśli nieużywane komponenty zostaną przycięte.
  • Ignorowanie wrażliwości na koncentrację rozkładu a priori Dirichleta bez przeprowadzenia krótkiego przeglądu hiperparametrów.
  • Ufanie pojedynczej losowej inicjalizacji; ważne są wielokrotne restarty z wyborem najlepszego ELBO.
  • Stosowanie modelu do danych dyskretnych lub mieszanych typów bez transformacji cech do postaci przybliżonej ciągłej Gaussa.
  • Raportowanie jedynie etykiet klastrów bez miękkich przypisań, co oznacza odrzucenie kluczowego probabilistycznego wyniku modelu.

Najczęściej zadawane pytania

Czym to się różni od standardowego GMM dopasowanego algorytmem EM?

Standardowy EM daje estymatory punktowe (ustalone średnie, kowariancje, wagi) i wymaga ustalenia K przed dopasowaniem. Bayesowski GMM wnioskuje pełne rozkłady a posteriori dla wszystkich parametrów, automatycznie przycina puste komponenty i propaguje niepewność parametrów do predykcji.

Jak wybrać początkową liczbę komponentów K?

Ustaw K na wartość znacznie większą niż oczekiwana liczba klastrów. Rozkład a priori Dirichleta zmniejszy efektywną liczbę: komponenty, które nie są wspierane przez dane, uzyskają wagę bliską zeru i zostaną automatycznie przycięte. Powszechną heurystyką jest rozpoczęcie od K = 2 × (oczekiwana liczba klastrów).

Czy Variational Bayes jest zawsze lepszy niż MCMC dla tego modelu?

Variational Bayes jest szybszy i deterministyczny, ale aproksymuje rozkład a posteriori za pomocą rozkładu faktoryzowanego, który może niedoszacować niepewności. MCMC jest asymptotycznie dokładny, ale kosztowny obliczeniowo. Dla większości praktycznych problemów z umiarkowaną ilością danych, Variational Bayes jest pragmatycznym wyborem.

Które hiperparametry mają największe znaczenie?

Koncentracja Dirichleta alpha_0 kontroluje, jak agresywnie przycinane są komponenty. Mała wartość (np. od 0,01 do 1) sprzyja rzadkim rozwiązaniom; duża wartość rozkłada wagę bardziej równomiernie. Stopnie swobody nu_0 i skala W_0 rozkładu Wisharta kontrolują, jak ograniczone są kształty macierzy kowariancji.

Kiedy zamiast tego należy użyć GMM z procesem Dirichleta?

Użyj GMM z procesem Dirichleta (nieskończoną mieszaniną), gdy potrzebujesz w pełni nieparametrycznego podejścia, które nie wymaga określania górnego ograniczenia K. Kompromisem jest wyższa złożoność implementacji i wolniejsze wnioskowanie.

Pokrewne metody

Źródła

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.

    ISBN: 978-0-387-31073-2
    Skopiowano.
  2. Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.

    Otwórz odnośnik do publikacji
    Skopiowano.