Algoritmo EM
- Propuesto por
- Dempster, Laird & Rubin
- Año
- 1977
- Tipo
- Iterative optimization algorithm
- Familia
- Estimation
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El algoritmo de Expectation-Maximization (EM) es un procedimiento iterativo de optimización para encontrar estimaciones de máxima verosimilitud o máxima a posteriori de parámetros en modelos estadísticos con variables latentes o datos faltantes.
Introducido por Dempster, Laird y Rubin en su influyente artículo de 1977, EM alterna entre el cálculo de la log-verosimilitud esperada de los datos completos (paso E) y su maximización con respecto a los parámetros (paso M), garantizando una verosimilitud monótonamente no decreciente en cada iteración.
La intuición detrás del método
Imagine que intenta aprender las reglas de un juego observando a jugadores cuyas cartas no puede ver. En cada ronda, adivina qué cartas es probable que tengan dados lo que observa, y luego actualiza su modelo de las reglas asumiendo que esas suposiciones son correctas. EM hace exactamente esto: el paso E completa la información faltante de forma probabilística utilizando las estimaciones de parámetros actuales, y el paso M reajusta el modelo como si esos valores completados fueran observaciones reales.
Historia
El algoritmo fue formalmente unificado y nombrado por Arthur Dempster, Nan Laird y Donald Rubin en su artículo de 1977 en JRSS-B, que sigue siendo uno de los artículos de estadística más citados jamás publicados. El artículo generalizó procedimientos de casos especiales anteriores desarrollados independientemente para problemas específicos de datos faltantes. Las décadas siguientes produjeron numerosas extensiones, incluidos los algoritmos ECM, ECME, AECM y SEM, ampliando la aplicabilidad y acelerando la convergencia en muchos entornos prácticos.
Cuándo usarlo
Utilice el algoritmo EM cuando los datos contengan valores faltantes, estados ocultos o variables latentes y necesite estimaciones de máxima verosimilitud. Es muy adecuado para modelos de mezcla gaussiana, modelos ocultos de Markov, análisis factorial e imputación de datos faltantes. Las suposiciones clave incluyen que los datos faltantes están faltantes al azar (MAR) y que el modelo de datos completos es tratable. Las limitaciones incluyen la sensibilidad a la inicialización, la posible convergencia a máximos locales y la convergencia lenta cerca de puntos de silla. Las alternativas incluyen la optimización basada en gradientes con integración numérica, inferencia variacional o métodos MCMC.
Limitaciones y consideraciones
- Convergencia a un máximo local en lugar del máximo global cuando la superficie de verosimilitud es multimodal
- Puede exhibir una convergencia muy lenta (lineal) cuando la fracción de información faltante es grande
- Requiere que el analista especifique el modelo de datos completos y la distribución de las variables latentes
- El EM estándar no proporciona directamente la matriz de covarianza de los datos observados de las estimaciones; se necesita un paso suplementario (por ejemplo, el método de Louis o el algoritmo SEM) para los errores estándar
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aumento monótono garantizado en la verosimilitud de los datos observados en cada iteración, asegurando una convergencia estable
- Convierte un problema difícil de datos faltantes en una secuencia de optimizaciones tratables de datos completos
- Amplia aplicabilidad en modelos de familia exponencial, modelos de mezcla y marcos de variables latentes
- Las actualizaciones del paso M en forma cerrada están disponibles para muchos modelos estándar, lo que hace que la implementación sea eficiente
Aplicaciones
- Ajuste de modelos de mezcla gaussiana para agrupamiento y estimación de densidad
- Entrenamiento de modelos ocultos de Markov para reconocimiento de voz y análisis de secuencias biológicas
- Imputación múltiple y análisis de datos faltantes en investigación clínica y de ciencias sociales
- Estimación de parámetros en análisis factorial y análisis de clases latentes
- Segmentación y reconstrucción de imágenes en imágenes médicas
Cómo funciona
Cómo funciona
Antes de que comience la iteración, el analista selecciona valores iniciales para los parámetros desconocidos, denotados como theta-0. Estos pueden elegirse aleatoriamente, a partir de un ajuste simplificado o mediante conocimiento del dominio. La calidad de la inicialización puede afectar a qué máximo local converge el algoritmo, lo que hace que las reinicializaciones aleatorias múltiples sean una práctica común.
Fórmula
\text{Choose initial parameter estimates } \theta^{(0)}Dado la estimación de parámetro actual theta-t, el paso E calcula Q, el valor esperado de la log-verosimilitud de los datos completos sobre la distribución de las variables latentes no observadas Z, condicionada a los datos observados X. Esta expectativa reemplaza efectivamente las cantidades desconocidas con sus estimaciones probabilísticas sin comprometerse a un único valor imputado.
Fórmula
Q(\theta \mid \theta^{(t)}) = \mathbb{E}_{Z \mid X, \theta^{(t)}}[\log p(X, Z \mid \theta)]El paso M maximiza la función Q del paso E con respecto a theta, produciendo una estimación actualizada theta-(t+1). Dado que la log-verosimilitud de los datos completos a menudo es más simple de maximizar que la log-verosimilitud marginal de los datos observados, este paso es frecuentemente tratable incluso cuando la máxima verosimilitud directa no lo es.
Fórmula
\theta^{(t+1)} = \arg\max_{\theta} \, Q(\theta \mid \theta^{(t)})Los pasos E y M se repiten alternativamente. Después de cada ciclo completo, se evalúa la log-verosimilitud de los datos observados. La iteración se detiene cuando el cambio en la log-verosimilitud (o en el vector de parámetros) cae por debajo de una tolerancia definida por el usuario epsilon. Dempster et al. demostraron que cada ciclo no puede disminuir la verosimilitud de los datos observados, asegurando una convergencia estable.
Fórmula
\text{Repeat E- and M-steps until } |\ell(\theta^{(t+1)}) - \ell(\theta^{(t)})| < \epsilonErrores comunes
- Usar una única inicialización aleatoria corre el riesgo de terminar en un máximo local pobre; siempre ejecute múltiples reinicios y seleccione la solución con la mayor log-verosimilitud final
- Declarar la convergencia demasiado pronto monitoreando solo el cambio de parámetros en lugar de la log-verosimilitud de los datos observados puede producir estimaciones inexactas
- Aplicar EM cuando los datos están Faltantes No Al Azar (MNAR) sin ajuste del modelo puede introducir un sesgo sistemático en las estimaciones
- Ignorar el problema del cambio de etiquetas en modelos de mezcla conduce a asignaciones de componentes ininterpretables incluso después de una convergencia correcta
Preguntas frecuentes
¿El algoritmo EM siempre converge al máximo global?
No. EM solo garantiza encontrar un máximo local (o punto de silla) de la verosimilitud de los datos observados. Cuando la superficie de verosimilitud tiene múltiples modos, la solución final depende de la inicialización. Ejecutar el algoritmo desde varios puntos de partida diferentes y retener la solución con la mayor log-verosimilitud es el remedio práctico estándar.
¿En qué se diferencia EM de la optimización directa de máxima verosimilitud?
La MLE directa maximiza la log-verosimilitud de los datos observados, lo que puede implicar integrales intratables sobre variables latentes. EM lo evita maximizando iterativamente la log-verosimilitud esperada de los datos completos, que a menudo es analíticamente tratable. La contrapartida es que EM puede converger lentamente, mientras que los métodos basados en gradientes pueden ser más rápidos cuando los gradientes de la verosimilitud marginal están disponibles.
¿Cuándo debería preferir la imputación MICE sobre el algoritmo EM?
MICE (Múltiple Imputación por Ecuaciones Encadenadas) es preferible cuando los datos incluyen variables de tipos mixtos, relaciones no lineales o estructuras de interacción complejas que son difíciles de codificar en un único modelo paramétrico de datos completos. EM es más natural cuando existe un modelo conjunto bien especificado para todas las variables y la inferencia se dirige a los parámetros del modelo en lugar de a los conjuntos de datos imputados.
Métodos relacionados
Fuentes
Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–38.
Abrir referencia DOICopiado.