Modello di Miscela Gaussiana
- Introdotto da
- Dempster, Laird & Rubin (EM algorithm)
- Anno
- 1977
- Tipo
- Probabilistic (soft) clustering — mixture model
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Un Modello di Miscela Gaussiana (GMM) è un metodo di clustering probabilistico che modella i dati come una miscela pesata di diverse distribuzioni gaussiane, adattata con l'algoritmo Expectation–Maximization formalizzato da Dempster, Laird & Rubin nel 1977.
È una generalizzazione del K-means in cui ogni cluster può assumere la propria forma, dimensione e orientamento.
L’intuizione alla base del metodo
Si immagini che i dati siano stati prodotti estraendo punti da alcune nuvole a campana sovrapposte, ciascuna con il proprio centro, diffusione e inclinazione. Un Modello di Miscela Gaussiana cerca di ricostruire a ritroso queste nuvole nascoste: si chiede quante campane ci siano e dove si trovino, e invece di forzare ogni punto in un singolo cluster, assegna a ogni punto una probabilità di appartenere a ciascuna componente. Questa assegnazione "soft" è ciò che gli permette di catturare cluster allungati o ruotati che un metodo "hard" e sferico come il K-means suddividerebbe in modo errato.
Storia
L'algoritmo Expectation–Maximization che alimenta i Modelli di Miscela Gaussiana è stato formalizzato da Dempster, Laird & Rubin nel loro articolo del 1977 sulla massima verosimiglianza da dati incompleti, che ha inquadrato il clustering come stima dei parametri di una miscela latente. La visione del modello di miscela trasforma il clustering in un problema di verosimiglianza e sta alla base degli strumenti di clustering basati su modello ampiamente utilizzati oggi.
Quando usarlo
Utilizzare un Modello di Miscela Gaussiana per il clustering o l'esplorazione di dati continui, approssimativamente a forma gaussiana, quando i cluster possono sovrapporsi, differire in dimensione o essere allungati piuttosto che sferici, e si desiderano appartenenze probabilistiche "soft" piuttosto che etichette "hard". Si assume che i dati siano stati generati da una miscela di Gaussiane, funziona su variabili continue e necessita di almeno circa 50 osservazioni. Il numero di componenti può essere scelto con BIC o AIC, e la pre-elaborazione PCA è consigliata contro la maledizione della dimensionalità. Con meno di circa 50 osservazioni, o quando l'assunzione gaussiana fallisce, il K-means è una scelta più robusta.
Limiti e considerazioni
- Assume che i dati siano stati generati da una miscela di Gaussiane; i risultati ne risentono quando tale assunzione fallisce.
- L'EM può convergere a un ottimo locale, quindi i risultati dipendono dall'inizializzazione.
- Le matrici di covarianza possono diventare singolari, specialmente in alte dimensioni o con campioni piccoli.
- Necessita di almeno circa 50 osservazioni e beneficia della pre-elaborazione PCA per evitare la maledizione della dimensionalità.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Appartenenze ai cluster "soft" e probabilistiche invece di assegnazioni "hard" forzate.
- Ogni componente ha la propria covarianza, quindi i cluster possono essere allungati, ruotati o di dimensioni diverse.
- Una vera generalizzazione del K-means che rilassa l'assunzione di cluster sferici e di uguale dimensione.
- Il conteggio delle componenti può essere scelto oggettivamente con criteri di informazione come BIC o AIC.
Applicazioni
- Clustering "soft" e probabilistico di dati continui dove i cluster si sovrappongono.
- Analisi esplorativa di sottopopolazioni con cluster di forme o dimensioni diverse.
- Stima della densità rappresentando i dati come una miscela pesata di Gaussiane.
- Un'alternativa più flessibile al K-means quando i cluster sferici e di uguale dimensione sono irrealistici.
Come funziona
Come funziona
I dati sono trattati come provenienti da una somma pesata di K distribuzioni gaussiane. Ogni componente ha un peso di miscelazione, un vettore medio e una matrice di covarianza, quindi una singola componente può essere allungata o inclinata piuttosto che forzata in una sfera. L'obiettivo è trovare i pesi, le medie e le covarianze che rendano i dati osservati più probabili.
Formula
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)Nello step E, il modello calcola per ogni osservazione la "responsabilità" di ogni componente — la probabilità a posteriori che il punto sia stato generato da quella Gaussiana. Queste "soft memberships" sostituiscono le assegnazioni "tutto o niente" del K-means e catturano la sovrapposizione tra i cluster.
Formula
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}Nello step M, i parametri di ciascuna componente vengono ricalcolati come statistiche pesate per responsabilità: la media, la covarianza e il peso di miscelazione vengono aggiornati utilizzando ogni punto in proporzione a quanto fortemente esso appartiene a quella componente. Gli step E e M si alternano, aumentando la verosimiglianza fino a quando l'adattamento converge.
Formula
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}Il numero di componenti non è fissato in anticipo: i valori candidati vengono confrontati utilizzando criteri di informazione come BIC o AIC, che bilanciano l'adattamento rispetto alla complessità. Poiché l'EM può assestarsi su un ottimo locale e le matrici di covarianza possono diventare singolari, si raccomandano la riduzione della dimensione come la PCA in anticipo e diversi riavvii.
Errori comuni
- Eseguire il GMM su campioni inferiori a circa 50, dove l'EM si blocca in ottimi locali e le covarianze diventano singolari.
- Saltare la PCA o altre riduzioni di dimensione su dati ad alta dimensionalità, invitando matrici di covarianza singolari.
- Fissare il numero di componenti a occhio invece di confrontare BIC/AIC tra i candidati.
- Affidarsi a una singola esecuzione EM invece di più riavvii per sfuggire a ottimi locali scadenti.
- Applicarlo a dati chiaramente non gaussiani dove il K-means sarebbe più robusto.
Domande frequenti
In cosa differisce un Modello di Miscela Gaussiana dal K-means?
Il K-means assegna ogni punto a esattamente un cluster sferico e di uguale dimensione. Un Modello di Miscela Gaussiana è la sua generalizzazione: ogni componente ha la propria covarianza, quindi i cluster possono essere allungati, ruotati o di dimensioni diverse, e ogni punto riceve una probabilità di appartenere a ciascuna componente piuttosto che una singola etichetta "hard".
Come scelgo il numero di componenti?
Adattare il modello per diversi conteggi di componenti candidati e confrontarli con criteri di informazione come BIC o AIC, che pesano la bontà dell'adattamento rispetto alla complessità del modello, quindi scegliere il conteggio che ottimizza il criterio.
Perché il mio GMM dà risultati diversi a ogni esecuzione?
Viene adattato con l'EM, che può convergere a un ottimo locale a seconda dell'inizializzazione. Eseguire diversi riavvii e mantenere il miglior adattamento, e ridurre prima le dimensioni con la PCA, rende il risultato più stabile.
Quando dovrei preferire il K-means invece?
Quando il campione è piccolo (inferiore a circa 50) o i dati non sono chiaramente gaussiani, l'EM può assestarsi in un ottimo locale e le matrici di covarianza possono diventare singolari; il K-means è la scelta più robusta in questi casi.
Metodi correlati
Fonti
Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.
Apri il riferimento DOICopiato.