Modello Bayesiano a Mischia di Gaussiane
- Introdotto da
- Attias, H.; Bishop, C. M.
- Anno
- 1999–2006
- Tipo
- Probabilistic clustering / density estimation
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Modello Bayesiano a Mischia di Gaussiane (Bayesian Gaussian Mixture Model) pone distribuzioni a priori su tutti i parametri della mischia e ne inferisce le posteriori — tipicamente tramite Variational Bayes o MCMC — piuttosto che stimare puntualmente i parametri.
Ciò produce una quantificazione dell'incertezza rigorosa, la selezione automatica del numero effettivo di componenti e la resistenza all'overfitting su dataset di piccole dimensioni.
L’intuizione alla base del metodo
Un GMM standard richiede di specificare quanti cluster adattare e si impegna su quel numero, ottimizzando medie e covarianze fisse tramite EM. La versione bayesiana, invece, mantiene distribuzioni di probabilità su ogni parametro: rimane incerta sulla posizione, sulla forma di ciascun cluster e persino sulla necessità di un cluster. I componenti non supportati dai dati vengono automaticamente ridotti a peso zero tramite la distribuzione a priori, in modo che il modello possa determinare la propria complessità effettiva senza la selezione del modello tramite cross-validazione su molti valori di K.
Storia
Il trattamento bayesiano dei modelli a miscela è stato formalizzato tramite campionatori MCMC negli anni '90. Attias (1999) ha introdotto l'approccio Variational Bayes ai GMM, e il framework è stato reso popolare e sistematizzato da Bishop (2006) in Pattern Recognition and Machine Learning, dove il Capitolo 10 presenta la derivazione completa. Estensioni non parametriche che utilizzano distribuzioni a priori di Processi di Dirichlet, consentendo un K veramente illimitato, sono seguite in Rasmussen (2000) e Blei & Jordan (2006).
Quando usarlo
Utilizzare quando è necessaria una clusterizzazione soft probabilistica o una stima della densità su dati multivariati continui e si vuole evitare di fissare il numero di componenti K in anticipo, o quando sono necessarie stime di incertezza sulle assegnazioni dei cluster e sui parametri. Ideale per dataset di piccole-medie dimensioni (da decine a decine di migliaia di osservazioni) dove i GMM EM standard tendono all'overfitting. Non adatto per dati ad altissima dimensionalità senza riduzione della dimensionalità, per caratteristiche solo categoriche o ordinali, o quando è richiesta solo una partizione hard non probabilistica e la velocità è fondamentale.
Limiti e considerazioni
- Variational Bayes trova un ottimo locale dell'ELBO, non la distribuzione a posteriori globale; i risultati possono dipendere dall'inizializzazione.
- La scelta degli iperparametri a priori (specialmente la concentrazione di Dirichlet) influenza quali componenti sopravvivono e deve essere giustificata.
- Computazionalmente più costoso del GMM EM standard per iterazione e più difficile da implementare da zero.
- Dati ad alta dimensionalità (molte caratteristiche) richiedono un'attenta parametrizzazione della covarianza o una riduzione della dimensionalità a priori.
- L'interpretazione delle distribuzioni a posteriori dei componenti richiede familiarità con i concetti di inferenza variazionale.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Pota automaticamente i componenti non utilizzati, riducendo la necessità di pre-specificare K tramite ripetute ricerche a griglia.
- Restituisce distribuzioni a posteriori complete sui parametri, consentendo una quantificazione dell'incertezza calibrata sulle assegnazioni dei cluster.
- Resistente all'overfitting su dataset di piccole dimensioni perché la distribuzione a priori regolarizza le covarianze e i pesi dei componenti.
- Le assegnazioni soft lo rendono adatto per pipeline probabilistiche a valle e reti di miscele di densità.
- L'implementazione di Variational Bayes scala meglio del MCMC completo pur mantenendo i benefici bayesiani.
Applicazioni
- Diarizzazione del parlante e segmentazione audio dove il numero di parlanti è sconosciuto.
- Rilevamento di anomalie identificando osservazioni a cui è assegnata bassa probabilità sotto tutti i componenti appresi.
- Segmentazione di immagini e quantizzazione del colore con appartenenza soft pixel-a-cluster.
- Stima della densità per la modellazione generativa e la simulazione di dati multivariati continui.
- Clusterizzazione di profili genomici o clinici di pazienti quando il vero numero di sottotipi è incerto.
- Inizializzazione di modelli generativi più complessi come gli autoencoder variazionali.
Come funziona
Come funziona
Le distribuzioni a priori coniugate sono poste sulle proporzioni di miscelazione (Dirichlet), sulle medie dei componenti (Gaussiana) e sulle matrici di precisione (Wishart). Il parametro di concentrazione di Dirichlet controlla quanto il peso della miscela è distribuito tra i componenti: un valore piccolo spinge il peso su pochi cluster, penalizzando efficacemente i componenti non necessari.
Formula
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)Lo step E variazionale calcola le responsabilità soft r_nk — la probabilità a posteriori approssimata che l'osservazione n appartenga al componente k — utilizzando le aspettative correnti dei pesi di miscelazione logaritmici e dei determinanti di precisione logaritmici anziché stime puntuali, in modo che l'incertezza sui parametri si propaghi nelle assegnazioni dei cluster.
Formula
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]Le statistiche sufficienti per ciascun componente sono accumulate dalle responsabilità soft: conteggio effettivo N_k, media pesata e matrice di dispersione pesata. Queste sostituiscono gli equivalenti EM di conteggio hard e guidano i successivi aggiornamenti a posteriori dei parametri.
Formula
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\topI parametri naturali di ciascuna distribuzione a posteriori coniugata vengono aggiornati aggiungendo le statistiche sufficienti agli iperparametri a priori. La distribuzione a posteriori di Dirichlet riduce i componenti con N_k basso verso un peso zero, implementando la potatura automatica dei cluster non utilizzati.
Formula
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
La convergenza è monitorata dal Limite Inferiore dell'Evidenza (Evidence Lower BOund, ELBO), un limite inferiore sulla verosimiglianza marginale logaritmica. L'ELBO è garantito essere non decrescente ad ogni ciclo EM variazionale; l'iterazione continua finché il miglioramento non scende al di sotto di una tolleranza.
Formula
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]Errori comuni
- Impostare il numero iniziale di componenti K troppo piccolo, impedendo al modello di scoprire tutta la struttura reale anche se i componenti inutilizzati vengono potati.
- Ignorare la sensibilità alla concentrazione a priori di Dirichlet senza eseguire una breve ricerca degli iperparametri.
- Fidarsi di una singola inizializzazione casuale; riavvii multipli con la selezione del miglior ELBO sono importanti.
- Applicare il modello a dati discreti o di tipo misto senza trasformare le caratteristiche in una forma gaussiana approssimativamente continua.
- Riportare solo le etichette dei cluster senza le responsabilità soft, scartando l'output probabilistico chiave del modello.
Domande frequenti
In cosa differisce da un GMM standard adattato con EM?
L'EM standard fornisce stime puntuali (medie, covarianze, pesi fissi) e richiede di fissare K prima dell'adattamento. Il GMM bayesiano inferisce distribuzioni a posteriori complete su tutti i parametri, pota automaticamente i componenti vuoti e propaga l'incertezza dei parametri nelle previsioni.
Come scelgo il numero iniziale di componenti K?
Imposta K generosamente più grande del numero atteso di cluster. La distribuzione a priori di Dirichlet ridurrà il conteggio effettivo: i componenti non supportati dai dati accumulano un peso quasi nullo e vengono potati automaticamente. Un'euristica comune è iniziare con K = 2 × (cluster attesi).
Variational Bayes è sempre migliore di MCMC per questo modello?
Variational Bayes è più veloce e deterministico ma approssima la distribuzione a posteriori con una distribuzione fattorizzata che può sottostimare l'incertezza. MCMC è asintoticamente esatto ma costoso. Per la maggior parte dei problemi pratici con dati moderati, Variational Bayes è la scelta pragmatica.
Quali iperparametri contano di più?
La concentrazione di Dirichlet alpha_0 controlla quanto aggressivamente i componenti vengono potati. Un valore piccolo (ad esempio, da 0.01 a 1) favorisce soluzioni sparse; un valore grande distribuisce il peso in modo più uniforme. I gradi di libertà di Wishart nu_0 e la scala W_0 controllano quanto sono vincolate le forme di covarianza.
Quando dovrei usare un GMM con Processo di Dirichlet invece?
Usa un GMM con Processo di Dirichlet (miscela infinita) quando desideri un trattamento completamente non parametrico che non richieda affatto di specificare un limite superiore K. Il compromesso è una maggiore complessità di implementazione e un'inferenza più lenta.
Metodi correlati
Fonti
Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.
ISBN: 978-0-387-31073-2Copiato.Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.
Apri il riferimento della pubblicazioneCopiato.