Skip to content
Voltar aos resultados

Modelo de Mistura Gaussiana

Proposto por
Dempster, Laird & Rubin (EM algorithm)
Ano
1977
Tipo
Probabilistic (soft) clustering — mixture model

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Um Modelo de Mistura Gaussiana é um método de agrupamento probabilístico que modela os dados como uma mistura ponderada de várias distribuições Gaussianas, ajustado com o algoritmo Expectation–Maximization (EM) formalizado por Dempster, Laird & Rubin em 1977.

É uma generalização do K-means na qual cada cluster pode ter sua própria forma, tamanho e orientação.

A intuição por trás do método

Imagine que os dados foram produzidos ao desenhar pontos a partir de algumas nuvens sobrepostas em forma de sino, cada uma com seu próprio centro, dispersão e inclinação. Um Modelo de Mistura Gaussiana tenta fazer a engenharia reversa dessas nuvens ocultas: ele pergunta quantos sinos existem e onde eles se situam, e em vez de forçar cada ponto em um único cluster, ele dá a cada ponto uma probabilidade de pertencer a cada componente. Essa atribuição suave é o que permite capturar clusters esticados ou rotacionados que um método rígido e esférico como o K-means dividiria incorretamente.

História

O algoritmo Expectation–Maximization que impulsiona os Modelos de Mistura Gaussiana foi formalizado por Dempster, Laird & Rubin em seu artigo de 1977 sobre máxima verossimilhança a partir de dados incompletos, que enquadrou o agrupamento como estimação de parâmetros de uma mistura latente. A visão de modelo de mistura transforma o agrupamento em um problema de verossimilhança e fundamenta as ferramentas de agrupamento baseadas em modelo amplamente utilizadas hoje.

Quando usar

Use um Modelo de Mistura Gaussiana para agrupamento ou exploração de dados contínuos, aproximadamente em forma Gaussiana, quando os clusters podem se sobrepor, diferir em tamanho ou ser alongados em vez de esféricos, e você deseja associações probabilísticas suaves em vez de rótulos rígidos. Assume que os dados foram gerados por uma mistura de Gaussianas, funciona em variáveis contínuas e necessita de pelo menos cerca de 50 observações. O número de componentes pode ser escolhido com BIC ou AIC, e o pré-processamento PCA é aconselhado contra a maldição da dimensionalidade. Com menos de cerca de 50 observações, ou quando a suposição Gaussiana falha, o K-means é uma escolha mais robusta.

Limitações e considerações

  • Assume que os dados foram gerados por uma mistura de Gaussianas; os resultados sofrem quando essa suposição falha.
  • O EM pode convergir para um ótimo local, de modo que os resultados dependem da inicialização.
  • Matrizes de covariância podem se tornar singulares, especialmente em altas dimensões ou amostras pequenas.
  • Requer pelo menos cerca de 50 observações e se beneficia do pré-processamento PCA para evitar a maldição da dimensionalidade.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Associações de cluster suaves e probabilísticas em vez de atribuições rígidas forçadas.
  • Cada componente tem sua própria covariância, de modo que os clusters podem ser alongados, rotacionados ou de tamanhos diferentes.
  • Uma generalização verdadeira do K-means que relaxa a suposição de clusters esféricos e de tamanho igual.
  • A contagem de componentes pode ser escolhida objetivamente com critérios de informação como BIC ou AIC.

Aplicações

  • Agrupamento suave e probabilístico de dados contínuos onde os clusters se sobrepõem.
  • Análise exploratória de subpopulações com clusters de formas ou tamanhos diferentes.
  • Estimação de densidade representando dados como uma mistura ponderada de Gaussianas.
  • Uma alternativa mais flexível ao K-means quando clusters esféricos e de tamanho igual são irrealistas.

Como funciona

Como funciona

1

Os dados são tratados como provenientes de uma soma ponderada de K distribuições Gaussianas. Cada componente tem um peso de mistura, um vetor de média e uma matriz de covariância, de modo que um único componente pode ser alongado ou inclinado em vez de forçado a uma esfera. O objetivo é encontrar os pesos, as médias e as covariâncias que tornam os dados observados mais prováveis.

Fórmula
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)
2

Na etapa E (Expectation), o modelo calcula para cada observação a responsabilidade de cada componente — a probabilidade posterior de que o ponto foi gerado por aquela Gaussiana. Essas associações suaves substituem as atribuições de tudo ou nada do K-means e capturam a sobreposição entre os clusters.

Fórmula
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}
3

Na etapa M (Maximization), os parâmetros de cada componente são reestimados como estatísticas ponderadas pela responsabilidade: a média, a covariância e o peso de mistura são atualizados usando cada ponto em proporção à força com que ele pertence a esse componente. As etapas E e M alternam, aumentando a verossimilhança até que o ajuste convirja.

Fórmula
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}
4

O número de componentes não é fixo de antemão: valores candidatos são comparados usando critérios de informação como BIC ou AIC, que equilibram o ajuste com a complexidade. Como o EM pode convergir para um ótimo local e as matrizes de covariância podem se tornar singulares, a redução de dimensionalidade, como PCA, antecipadamente e várias reinicializações são recomendadas.

Erros comuns

  • Executar GMM em amostras abaixo de cerca de 50, onde o EM fica preso em ótimos locais e as covariâncias se tornam singulares.
  • Omitir PCA ou outra redução de dimensionalidade em dados de alta dimensão, convidando matrizes de covariância singulares.
  • Fixar o número de componentes visualmente em vez de comparar BIC/AIC entre candidatos.
  • Confiar em uma única execução do EM em vez de múltiplas reinicializações para escapar de ótimos locais ruins.
  • Aplicá-lo a dados claramente não Gaussianos onde o K-means seria mais robusto.

Perguntas frequentes

Como um Modelo de Mistura Gaussiana difere do K-means?

O K-means atribui cada ponto a exatamente um cluster esférico e de tamanho igual. Um Modelo de Mistura Gaussiana é sua generalização: cada componente tem sua própria covariância, de modo que os clusters podem ser alongados, rotacionados ou de tamanhos diferentes, e cada ponto recebe uma probabilidade de pertencer a cada componente em vez de um único rótulo rígido.

Como escolho o número de componentes?

Ajuste o modelo para vários números de componentes candidatos e compare-os com critérios de informação como BIC ou AIC, que ponderam a qualidade do ajuste contra a complexidade do modelo, e então escolha o número que otimiza o critério.

Por que meu GMM dá resultados diferentes a cada execução?

Ele é ajustado com EM, que pode convergir para um ótimo local dependendo da inicialização. Executar várias reinicializações e manter o melhor ajuste, e reduzir as dimensões com PCA primeiro, torna o resultado mais estável.

Quando devo preferir o K-means?

Quando a amostra é pequena (abaixo de cerca de 50) ou os dados claramente não são Gaussianos, o EM pode convergir para um ótimo local e as matrizes de covariância podem se tornar singulares; o K-means é a escolha mais robusta nesses casos.

Métodos relacionados

Fontes

  1. Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.

    Abrir referência DOI
    Copiado.