Model Gaussa (Gaussian Mixture Model)
- Autor metody
- Dempster, Laird & Rubin (EM algorithm)
- Rok
- 1977
- Typ
- Probabilistic (soft) clustering — mixture model
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Model Gaussa jest probabilistyczną metodą klasteryzacji, która przedstawia dane jako ważoną mieszaninę kilku rozkładów Gaussa, dopasowywaną algorytmem EM (Expectation–Maximization) sformalizowanym przez Dempstera, Lairda i Rubina w 1977 roku.
Jest to uogólnienie metody K-średnich, w którym każda klastra może przyjmować własny kształt, rozmiar i orientację.
Intuicja stojąca za metodą
Wyobraźmy sobie, że dane powstały przez losowanie punktów z kilku nakładających się chmur w kształcie dzwonu, każda z własnym środkiem, rozproszeniem i nachyleniem. Model Gaussa próbuje odtworzyć te ukryte chmury: pyta, ile jest dzwonów i gdzie się znajdują, a zamiast przypisywać każdy punkt do jednej klastry, przypisuje każdemu punktowi prawdopodobieństwo przynależności do każdej składowej. To miękkie przypisanie pozwala mu uchwycić rozciągnięte lub obrócone klastry, które sztywna, kulista metoda, taka jak K-średnich, błędnie by podzieliła.
Historia
Algorytm EM (Expectation–Maximization), który napędza modele Gaussa, został sformalizowany przez Dempstera, Lairda i Rubina w ich artykule z 1977 roku na temat maksymalnego prawdopodobieństwa z niekompletnych danych, który przedstawił klasteryzację jako estymację parametrów ukrytej mieszaniny. Widok modelu mieszaniny przekształca klasteryzację w problem prawdopodobieństwa i leży u podstaw narzędzi do klasteryzacji opartej na modelu, szeroko stosowanych dzisiaj.
Kiedy stosować
Użyj modelu Gaussa do klasteryzacji lub eksploracji ciągłych danych o w przybliżeniu gaussowskim kształcie, gdy klastry mogą się nakładać, różnić rozmiarem lub być wydłużone zamiast kuliste, a chcesz uzyskać miękkie probabilistyczne przynależności zamiast sztywnych etykiet. Zakłada, że dane zostały wygenerowane przez mieszaninę rozkładów Gaussa, działa na zmiennych ciągłych i wymaga co najmniej około 50 obserwacji. Liczbę składowych można wybrać za pomocą BIC lub AIC, a preprocessing PCA jest zalecany w celu uniknięcia klątwy wymiarowości. Przy mniej niż około 50 obserwacjach lub gdy założenie o rozkładzie Gaussa zawodzi, metoda K-średnich jest bardziej odpornym wyborem.
Ograniczenia i uwagi
- Zakłada, że dane zostały wygenerowane przez mieszaninę rozkładów Gaussa; wyniki cierpią, gdy to założenie zawodzi.
- EM może zbiec się do lokalnego optimum, więc wyniki zależą od inicjalizacji.
- Macierze kowariancji mogą stać się osobliwe, szczególnie w wysokich wymiarach lub przy małych próbach.
- Wymaga co najmniej około 50 obserwacji i korzysta z preprocessingu PCA, aby uniknąć klątwy wymiarowości.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Miękkie, probabilistyczne przynależności do klastrów zamiast wymuszonych sztywnych przypisań.
- Każda składowa ma własną kowariancję, więc klastry mogą być wydłużone, obrócone lub mieć różne rozmiary.
- Prawdziwe uogólnienie metody K-średnich, które rozluźnia założenie o kulistych klastrach o równej wielkości.
- Liczba składowych może być wybrana obiektywnie za pomocą kryteriów informacyjnych, takich jak BIC lub AIC.
Zastosowania
- Miękka, probabilistyczna klasteryzacja danych ciągłych, gdzie klastry się nakładają.
- Eksploracyjna analiza podpopulacji z klastrami o różnym kształcie lub rozmiarze.
- Estymacja gęstości poprzez reprezentowanie danych jako ważonej mieszaniny rozkładów Gaussa.
- Bardziej elastyczna alternatywa dla K-średnich, gdy kuliste klastry o równej wielkości są nierealistyczne.
Jak to działa
Jak to działa
Dane są traktowane jako pochodzące z ważonej sumy K rozkładów Gaussa. Każda składowa ma wagę mieszania, wektor średniej i macierz kowariancji, dzięki czemu pojedyncza składowa może być wydłużona lub nachylona, zamiast być zmuszona do kulistości. Celem jest znalezienie wag, średnich i kowariancji, które sprawią, że obserwowane dane będą najbardziej prawdopodobne.
Wzór
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)W kroku E (E-step) model oblicza dla każdej obserwacji odpowiedzialność każdej składowej – prawdopodobieństwo a posteriori, że punkt został wygenerowany przez dany rozkład Gaussa. Te miękkie przynależności zastępują przypisania „wszystko albo nic” metody K-średnich i uchwytują nakładanie się klastrów.
Wzór
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}W kroku M (M-step) parametry każdej składowej są ponownie estymowane jako statystyki ważone odpowiedzialnością: średnia, kowariancja i waga mieszania są aktualizowane przy użyciu każdego punktu proporcjonalnie do tego, jak silnie należy on do danej składowej. Kroki E i M przeplatają się, zwiększając prawdopodobieństwo aż do zbieżności dopasowania.
Wzór
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}Liczba składowych nie jest ustalana z góry: kandydackie wartości są porównywane za pomocą kryteriów informacyjnych, takich jak BIC lub AIC, które równoważą dopasowanie z złożonością. Ponieważ EM może utknąć w lokalnym optimum, a macierze kowariancji mogą stać się osobliwe, zaleca się redukcję wymiarowości, taką jak PCA, z wyprzedzeniem i wielokrotne restarty.
Częste pułapki
- Uruchamianie GMM na próbkach poniżej około 50, gdzie EM utyka w lokalnych optimach, a kowariancje stają się osobliwe.
- Pomijanie PCA lub innej redukcji wymiarowości na danych o wysokiej wymiarowości, co prowadzi do osobliwych macierzy kowariancji.
- Ustalanie liczby składowych „na oko” zamiast porównywania BIC/AIC między kandydatami.
- Poleganie na pojedynczym przebiegu EM zamiast wielu restartów w celu ucieczki od złych lokalnych optimów.
- Stosowanie go do danych wyraźnie nie-Gaussowskich, gdzie K-średnich byłoby bardziej odporne.
Najczęściej zadawane pytania
Czym model Gaussa różni się od K-średnich?
K-średnich przypisuje każdy punkt do dokładnie jednej kulistej klastry o równej wielkości. Model Gaussa jest jego uogólnieniem: każda składowa ma własną kowariancję, więc klastry mogą być wydłużone, obrócone lub mieć różne rozmiary, a każdy punkt otrzymuje prawdopodobieństwo przynależności do każdej składowej zamiast pojedynczej sztywnej etykiety.
Jak wybrać liczbę składowych?
Dopasuj model dla kilku kandydackich liczb składowych i porównaj je za pomocą kryteriów informacyjnych, takich jak BIC lub AIC, które równoważą jakość dopasowania z złożonością modelu, a następnie wybierz liczbę, która optymalizuje kryterium.
Dlaczego moje GMM daje za każdym razem inne wyniki?
Jest dopasowywany za pomocą EM, który może zbiec się do lokalnego optimum w zależności od inicjalizacji. Uruchomienie wielu restartów i zachowanie najlepszego dopasowania, a także wcześniejsza redukcja wymiarów za pomocą PCA, sprawiają, że wynik jest bardziej stabilny.
Kiedy zamiast tego powinienem wybrać K-średnich?
Gdy próba jest mała (poniżej około 50) lub dane wyraźnie nie są gaussowskie, EM może utknąć w lokalnym optimum, a macierze kowariancji mogą stać się osobliwe; K-średnich jest w tych przypadkach bardziej odpornym wyborem.
Pokrewne metody
Źródła
Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.
Otwórz odnośnik DOISkopiowano.