Saltar al contenido
Volver a los resultados

Modelo de Mezcla Gaussiana

Propuesto por
Dempster, Laird & Rubin (EM algorithm)
Año
1977
Tipo
Probabilistic (soft) clustering — mixture model

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Un Modelo de Mezcla Gaussiana (GMM, por sus siglas en inglés) es un método de agrupamiento probabilístico que modela los datos como una mezcla ponderada de varias distribuciones Gaussianas, ajustado con el algoritmo de Expectation–Maximization (EM) formalizado por Dempster, Laird y Rubin en 1977.

Es una generalización de K-means en la que cada clúster puede tener su propia forma, tamaño y orientación.

La intuición detrás del método

Imagine que los datos fueron producidos extrayendo puntos de unas pocas nubes superpuestas en forma de campana, cada una con su propio centro, dispersión e inclinación. Un Modelo de Mezcla Gaussiana intenta realizar ingeniería inversa de esas nubes ocultas: pregunta cuántas campanas hay y dónde se asientan, y en lugar de forzar cada punto en un solo clúster, da a cada punto una probabilidad de pertenecer a cada componente. Esta asignación suave es lo que le permite capturar clústeres estirados o rotados que un método duro y esférico como K-means dividiría incorrectamente.

Historia

El algoritmo Expectation–Maximization que impulsa los Modelos de Mezcla Gaussiana fue formalizado por Dempster, Laird y Rubin en su artículo de 1977 sobre máxima verosimilitud a partir de datos incompletos, que enmarcó el agrupamiento como la estimación de parámetros de una mezcla latente. La visión del modelo de mezcla convierte el agrupamiento en un problema de verosimilitud y sustenta las herramientas de agrupamiento basadas en modelos ampliamente utilizadas hoy en día.

Cuándo usarlo

Utilice un Modelo de Mezcla Gaussiana para agrupar o explorar datos continuos, aproximadamente con forma Gaussiana, cuando los clústeres puedan superponerse, diferir en tamaño o ser alargados en lugar de esféricos, y desee membresías probabilísticas suaves en lugar de etiquetas duras. Asume que los datos fueron generados por una mezcla de Gaussianas, funciona con variables continuas y necesita al menos unas 50 observaciones. El número de componentes se puede elegir con BIC o AIC, y se aconseja preprocesamiento PCA contra la maldición de la dimensionalidad. Con menos de unas 50 observaciones, o cuando la suposición Gaussiana falla, K-means es una opción más robusta.

Limitaciones y consideraciones

  • Asume que los datos fueron generados por una mezcla de Gaussianas; los resultados sufren cuando esa suposición falla.
  • EM puede converger a un óptimo local, por lo que los resultados dependen de la inicialización.
  • Las matrices de covarianza pueden volverse singulares, especialmente en altas dimensiones o muestras pequeñas.
  • Necesita al menos unas 50 observaciones y se beneficia del preprocesamiento PCA para evitar la maldición de la dimensionalidad.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Membresías de clúster suaves y probabilísticas en lugar de asignaciones duras forzadas.
  • Cada componente tiene su propia covarianza, por lo que los clústeres pueden ser alargados, rotados o de diferentes tamaños.
  • Una generalización verdadera de K-means que relaja la suposición de clústeres esféricos de igual tamaño.
  • El número de componentes se puede elegir objetivamente con criterios de información como BIC o AIC.

Aplicaciones

  • Agrupamiento suave y probabilístico de datos continuos donde los clústeres se superponen.
  • Análisis exploratorio de subpoblaciones con clústeres de forma o tamaño diferente.
  • Estimación de densidad representando datos como una mezcla ponderada de Gaussianas.
  • Una alternativa más flexible a K-means cuando los clústeres esféricos de igual tamaño no son realistas.

Cómo funciona

Cómo funciona

1

Los datos se tratan como si provinieran de una suma ponderada de K distribuciones Gaussianas. Cada componente tiene un peso de mezcla, un vector de media y una matriz de covarianza, por lo que un solo componente puede ser alargado o inclinado en lugar de forzado a una esfera. El objetivo es encontrar los pesos, las medias y las covarianzas que hagan que los datos observados sean lo más probables posible.

Fórmula
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)
2

En el paso E (Expectation), el modelo calcula para cada observación la responsabilidad de cada componente — la probabilidad posterior de que el punto fuera generado por esa Gaussiana. Estas membresías suaves reemplazan las asignaciones de todo o nada de K-means y capturan la superposición entre clústeres.

Fórmula
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}
3

En el paso M (Maximization), los parámetros de cada componente se reestiman como estadísticas ponderadas por la responsabilidad: la media, la covarianza y el peso de mezcla se actualizan utilizando cada punto en proporción a cuán fuertemente pertenece a ese componente. Los pasos E y M se alternan, aumentando la verosimilitud hasta que el ajuste converge.

Fórmula
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}
4

El número de componentes no se fija de antemano: se comparan valores candidatos utilizando criterios de información como BIC o AIC, que equilibran el ajuste con la complejidad. Dado que EM puede converger a un óptimo local y las matrices de covarianza pueden volverse singulares, se recomiendan la reducción de dimensionalidad como PCA de antemano y varios reinicios.

Errores comunes

  • Ejecutar GMM en muestras por debajo de unas 50, donde EM se atasca en óptimos locales y las covarianzas se vuelven singulares.
  • Omitir PCA u otra reducción de dimensionalidad en datos de alta dimensionalidad, invitando a matrices de covarianza singulares.
  • Fijar el número de componentes a ojo en lugar de comparar BIC/AIC entre candidatos.
  • Confiar en una sola ejecución de EM en lugar de múltiples reinicios para escapar de malos óptimos locales.
  • Aplicarlo a datos claramente no Gaussianos donde K-means sería más robusto.

Preguntas frecuentes

¿Cómo se diferencia un Modelo de Mezcla Gaussiana de K-means?

K-means asigna cada punto a exactamente un clúster esférico de igual tamaño. Un Modelo de Mezcla Gaussiana es su generalización: cada componente tiene su propia covarianza, por lo que los clústeres pueden ser alargados, rotados o de diferentes tamaños, y cada punto recibe una probabilidad de pertenecer a cada componente en lugar de una única etiqueta dura.

¿Cómo elijo el número de componentes?

Ajuste el modelo para varios recuentos de componentes candidatos y compárelos con criterios de información como BIC o AIC, que ponderan la bondad del ajuste frente a la complejidad del modelo, luego elija el recuento que optimiza el criterio.

¿Por qué mi GMM da resultados diferentes cada vez que se ejecuta?

Se ajusta con EM, que puede converger a un óptimo local dependiendo de la inicialización. Ejecutar varios reinicios y mantener el mejor ajuste, y reducir las dimensiones con PCA primero, hace que el resultado sea más estable.

¿Cuándo debería preferir K-means en su lugar?

Cuando la muestra es pequeña (por debajo de unas 50) o los datos claramente no son Gaussianos, EM puede converger a un óptimo local y las matrices de covarianza pueden volverse singulares; K-means es la opción más robusta en esos casos.

Métodos relacionados

Fuentes

  1. Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.

    Abrir referencia DOI
    Copiado.