Skip to content
Voltar aos resultados

Modelo de Mistura Gaussiana Bayesiana

Proposto por
Attias, H.; Bishop, C. M.
Ano
1999–2006
Tipo
Probabilistic clustering / density estimation
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O Modelo de Mistura Gaussiana Bayesiana (Bayesian Gaussian Mixture Model) coloca distribuições a priori sobre todos os parâmetros da mistura e infere suas posteriores — tipicamente via Variational Bayes ou MCMC — em vez de ajustar estimativas de ponto fixas.

Isso resulta em quantificação de incerteza principiada, seleção automática do número efetivo de componentes e resistência ao *overfitting* em conjuntos de dados pequenos.

A intuição por trás do método

Um GMM padrão pergunta quantos clusters ajustar e então se compromete com esse número, otimizando médias e covariâncias fixas por EM. A versão Bayesiana, em vez disso, mantém distribuições de probabilidade sobre cada parâmetro: permanece incerta sobre a localização, forma de cada cluster e até mesmo se um cluster é necessário. Componentes que os dados não suportam são automaticamente encolhidos para peso zero via a priori, de modo que o modelo possa determinar sua própria complexidade efetiva sem seleção de modelo cruzada (*cross-validated*) entre muitos valores de K.

História

O tratamento Bayesiano de modelos de mistura foi formalizado através de *samplers* MCMC nos anos 1990. Attias (1999) introduziu a abordagem de Variational Bayes para GMMs, e o framework foi popularizado e sistematizado por Bishop (2006) em *Pattern Recognition and Machine Learning*, onde o Capítulo 10 apresenta a derivação completa. Extensões não paramétricas usando a priori de Processo Dirichlet, permitindo K verdadeiramente aberto, seguiram em Rasmussen (2000) e Blei & Jordan (2006).

Quando usar

Use quando precisar de clustering probabilístico suave (*probabilistic soft clustering*) ou estimação de densidade em dados multivariados contínuos e quiser evitar fixar o número de componentes K antecipadamente, ou quando precisar de estimativas de incerteza em torno das atribuições e parâmetros de cluster. Ideal para conjuntos de dados de tamanho pequeno a moderado (dezenas a dezenas de milhares de observações) onde os GMMs EM padrão sofrem *overfitting*. Não adequado para dados de dimensionalidade muito alta sem redução de dimensionalidade, para características exclusivamente categóricas ou ordinais, ou quando uma partição dura não probabilística é tudo o que é necessário e a velocidade é primordial.

Limitações e considerações

  • Variational Bayes encontra um ótimo local do ELBO, não a posterior global; os resultados podem depender da inicialização.
  • A escolha dos hiperparâmetros a priori (especialmente a concentração Dirichlet) afeta quais componentes sobrevivem e deve ser justificada.
  • Computacionalmente mais caro que GMM-EM padrão por iteração e mais difícil de implementar do zero.
  • Dados de alta dimensionalidade (muitas características) requerem parametrização cuidadosa da covariância ou redução de dimensionalidade a priori.
  • Interpretar as posteriores dos componentes requer familiaridade com conceitos de inferência variacional.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Poda automaticamente componentes não utilizados, reduzindo a necessidade de pré-especificar K através de buscas em grade repetidas.
  • Retorna distribuições posteriores completas sobre os parâmetros, permitindo quantificação de incerteza calibrada em atribuições de cluster.
  • Resistente ao *overfitting* em conjuntos de dados pequenos porque a a priori regulariza as covariâncias e pesos dos componentes.
  • Atribuições suaves o tornam adequado para *pipelines* probabilísticos *downstream* e redes de densidade de mistura (*mixture density networks*).
  • A implementação de Variational Bayes escala melhor que MCMC completo, mantendo os benefícios Bayesianos.

Aplicações

  • Diariazação de falantes e segmentação de áudio onde o número de falantes é desconhecido.
  • Detecção de anomalias identificando observações com baixa probabilidade atribuída sob todos os componentes aprendidos.
  • Segmentação de imagem e quantização de cores com associação suave de pixel a cluster.
  • Estimação de densidade para modelagem generativa e simulação de dados multivariados contínuos.
  • Agrupamento de perfis genômicos ou clínicos de pacientes quando o número real de subtipos é incerto.
  • Inicialização de modelos generativos mais complexos, como autoencoders variacionais.

Como funciona

Como funciona

1

Pris (conjugadas) são colocadas sobre as proporções de mistura (Dirichlet), médias dos componentes (Gaussiana) e matrizes de precisão (Wishart). O parâmetro de concentração Dirichlet controla a dispersão do peso da mistura entre os componentes: um valor pequeno empurra o peso para poucos clusters, penalizando efetivamente componentes desnecessários.

Fórmula
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)
2

O passo E variacional (E-step) computa responsabilidades suaves (*soft responsibilities*) r_nk — a probabilidade posterior aproximada de que a observação n pertença ao componente k — usando as expectativas atuais dos pesos de mistura logarítmicos e determinantes de precisão logarítmicos, em vez de estimativas de ponto, de modo que a incerteza do parâmetro se propague para as atribuições de cluster.

Fórmula
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]
3

Estatísticas suficientes para cada componente são acumuladas a partir das responsabilidades suaves: contagem efetiva N_k, média ponderada e matriz de dispersão ponderada. Estas substituem os equivalentes de contagem fixa do EM e impulsionam as atualizações posteriores subsequentes dos parâmetros.

Fórmula
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top
4

Os parâmetros naturais de cada posterior conjugada são atualizados adicionando as estatísticas suficientes aos hiperparâmetros a priori. A posterior Dirichlet encolhe componentes com N_k baixo para peso zero, implementando a poda automática de clusters não utilizados.

Fórmula
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
5

A convergência é monitorada pelo Evidence Lower BOund (ELBO), um limite inferior para o log da verossimilhança marginal. O ELBO é garantido como não decrescente a cada ciclo de EM variacional; a iteração continua até que a melhoria caia abaixo de uma tolerância.

Fórmula
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]

Erros comuns

  • Definir o número inicial de componentes K muito pequeno, impedindo o modelo de descobrir toda a estrutura real, mesmo que componentes não utilizados sejam podados.
  • Ignorar a sensibilidade à concentração da a priori Dirichlet sem executar uma breve varredura de hiperparâmetros.
  • Confiar em uma única inicialização aleatória; múltiplos reinícios com seleção do melhor ELBO são importantes.
  • Aplicar o modelo a dados discretos ou de tipo misto sem transformar as características para uma forma Gaussiana aproximadamente contínua.
  • Relatar apenas rótulos de cluster sem as responsabilidades suaves, descartando a saída probabilística chave do modelo.

Perguntas frequentes

Como isso difere de um GMM padrão ajustado por EM?

O EM padrão fornece estimativas de ponto (médias, covariâncias, pesos fixos) e requer a fixação de K antes do ajuste. O GMM Bayesiano infere posteriores completas sobre todos os parâmetros, poda automaticamente componentes vazios e propaga a incerteza do parâmetro para as predições.

Como escolho o número inicial de componentes K?

Defina K generosamente maior que o número esperado de clusters. A a priori Dirichlet encolherá a contagem efetiva: componentes que não são suportados pelos dados acumulam peso próximo de zero e são podados automaticamente. Uma heurística comum é começar com K = 2 × (clusters esperados).

Variational Bayes é sempre melhor que MCMC para este modelo?

Variational Bayes é mais rápido e determinístico, mas aproxima a posterior com uma distribuição fatorada que pode subestimar a incerteza. MCMC é assintoticamente exato, mas custoso. Para a maioria dos problemas práticos com dados moderados, Variational Bayes é a escolha pragmática.

Quais hiperparâmetros importam mais?

A concentração Dirichlet alpha_0 controla agressivamente a poda de componentes. Um valor pequeno (e.g., 0.01 a 1) favorece soluções esparsas; um valor grande espalha o peso mais uniformemente. Os graus de liberdade nu_0 e escala W_0 da Wishart controlam o quão restritas são as formas das covariâncias.

Quando devo usar um GMM de Processo Dirichlet em vez disso?

Use um GMM de Processo Dirichlet (mistura infinita) quando quiser um tratamento totalmente não paramétrico que não exija a especificação de um limite superior K. O *trade-off* é maior complexidade de implementação e inferência mais lenta.

Métodos relacionados

Fontes

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.

    ISBN: 978-0-387-31073-2
    Copiado.
  2. Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.

    Abrir referência da publicação
    Copiado.