Saltar al contenido
Volver a los resultados

Cadenas de Markov Monte Carlo (MCMC) — Metropolis-Hastings y Muestreo de Gibbs

Propuesto por
Metropolis et al. (1953); Gibbs sampler formalised by Geman & Geman (1984)
Año
1953 (Metropolis-Hastings); 1984 (Gibbs)
Tipo
Simulation-based Bayesian inference / numerical integration

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Las Cadenas de Markov Monte Carlo (MCMC) son una familia de algoritmos de simulación que construyen una cadena de Markov cuya distribución estacionaria es la posterior objetivo, permitiendo la inferencia bayesiana y el cálculo de integrales de alta dimensionalidad que de otro modo serían analíticamente intratables.

Pioneras por Metropolis y colegas en 1953 y extendidas por Hastings en 1970, las MCMC sustentan la estadística bayesiana moderna. Las dos variantes más utilizadas son Metropolis-Hastings, que propone movimientos desde una distribución de propuesta general, y el muestreo de Gibbs, que extrae cada parámetro por turno de su distribución condicional completa.

La intuición detrás del método

Imagine que quiere conocer la forma de una cordillera oculta bajo la niebla. No puede verla toda a la vez, pero puede dar un paso en una dirección aleatoria y decidir si moverse o no basándose en si el terreno está más alto o más bajo. Caminando lo suficiente y registrando dónde ha estado, los lugares que ha visitado con más frecuencia trazan las cumbres —esa es la distribución posterior. Las MCMC hacen lo mismo en un espacio de parámetros de alta dimensionalidad: construyen una cadena de muestras que gradualmente se adentra en regiones de alta probabilidad, de modo que el histograma de los valores visitados se aproxima a la distribución objetivo sin necesidad de una expresión de forma cerrada para ella.

Historia

El algoritmo fundamental de Metropolis fue publicado en 1953 por Metropolis, Rosenbluth, Rosenbluth, Teller y Teller para simulación molecular. Hastings (1970) lo generalizó a distribuciones de propuesta asimétricas, produciendo el algoritmo Metropolis-Hastings. Geman y Geman (1984) introdujeron el muestreo de Gibbs en el contexto de la restauración de imágenes. El algoritmo se convirtió en una herramienta estadística convencional a principios de la década de 1990 después de que Gelfand y Smith (1990) demostraran su amplia aplicabilidad para la computación bayesiana, y Gelman y Rubin (1992) proporcionaran el diagnóstico de convergencia R̂. El desarrollo posterior del Muestreo de Markov de Monte Carlo Hamiltoniano por Duane et al. (1987) y su variante automática NUTS por Hoffman y Gelman (2014) extendieron las MCMC a problemas de alta dimensionalidad. Bayesian Data Analysis de Gelman et al. (2013) y el Handbook of Markov Chain Monte Carlo de Brooks et al. (2011) son las referencias completas estándar.

Cuándo usarlo

Las MCMC son la herramienta apropiada cuando se ha especificado un modelo bayesiano y la distribución posterior no puede calcularse analíticamente —lo cual es el caso común para modelos con más de un puñado de parámetros o con distribuciones a priori no conjugadas. También es el enfoque estándar para modelos de variables latentes, modelos jerárquicos y cualquier entorno donde la incertidumbre deba propagarse completamente a través de un pipeline complejo. No se necesitan suposiciones de distribución sobre los datos más allá de la especificación de la verosimilitud. El principal requisito práctico es un número suficiente de iteraciones para que la cadena converja: menos de aproximadamente 1 000 muestras posteriores al burn-in típicamente no proporcionarán una caracterización fiable de la posterior, y en entornos de alta dimensionalidad se necesitan muchas más. Cuando el espacio de parámetros es de muy alta dimensionalidad, el Muestreo de Markov de Monte Carlo Hamiltoniano (HMC) o el Muestreador No-U-Turn (NUTS) —extensiones automáticas de la idea MCMC— son sustancialmente más eficientes que el Metropolis-Hastings básico.

Limitaciones y consideraciones

  • La convergencia no está garantizada en tiempo finito; una cadena que parece haber convergido aún puede estar atrapada en una región local de la posterior.
  • La autocorrelación entre muestras sucesivas significa que el tamaño efectivo de la muestra es menor que el número bruto de iteraciones, lo que requiere ejecuciones más largas de las que necesitaría una muestra independiente equivalente.
  • En espacios de parámetros de alta dimensionalidad, Metropolis-Hastings de paseo aleatorio se mezcla pobremente; se necesita Muestreo de Markov de Monte Carlo Hamiltoniano o NUTS para una exploración eficiente.
  • La especificación del modelo requiere que el analista elija las distribuciones a priori de manera reflexiva, y las distribuciones a priori mal elegidas o las verosimilitudes mal especificadas pueden sesgar la posterior de maneras difíciles de detectar.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Permite la inferencia bayesiana exacta (asintóticamente) para modelos donde la posterior no tiene forma cerrada, cubriendo modelos jerárquicos, problemas de datos faltantes y verosimilitudes complejas.
  • Produce una muestra completa de la posterior conjunta, por lo que cualquier cantidad derivada, predicción o decisión puede calcularse con la incertidumbre debidamente propagada.
  • Se aplica a resultados continuos, binarios y de recuento y no impone suposiciones de distribución sobre los datos más allá de la verosimilitud especificada por el modelador.
  • La ejecución de múltiples cadenas paralelas hace que la verificación de la convergencia sea sistemática a través del diagnóstico R̂ de Gelman-Rubin.

Aplicaciones

  • Ajuste de modelos bayesianos jerárquicos en psicología, educación y medicina donde los datos están agrupados y se desea una agrupación parcial.
  • Estimación de parámetros de modelos compartimentales epidemiológicos (SIR, SEIR) a partir de recuentos de casos observados, incluida la cuantificación de la incertidumbre.
  • Modelado estructural bayesiano de ecuaciones y modelos de variables latentes en investigación de ciencias sociales.
  • Inferencia posterior para modelos de teoría de respuesta al ítem (IRT) en medición educativa.
  • Calibración de modelos de simulación complejos contra datos observados cuando la verosimilitud está disponible pero no es conjugada.
  • Modelado de riesgo financiero y fijación de precios de opciones bajo incertidumbre paramétrica bayesiana.

Cómo funciona

Cómo funciona

1

El analista define el modelo bayesiano: una función de verosimilitud que conecta los parámetros con los datos observados, y distribuciones a priori que codifican las creencias sobre cada parámetro antes de ver los datos. Juntas, estas definen la posterior no normalizada que las MCMC explorarán. La elección de las distribuciones a priori y la familia de verosimilitud determinan la estructura de la cadena y deben basarse en el conocimiento del tema.

2

Se eligen valores iniciales para todos los parámetros, y se establece el número de cadenas, la longitud del período de calentamiento (burn-in) y el número total de iteraciones posteriores al burn-in. La práctica estándar es ejecutar múltiples cadenas independientes —típicamente cuatro— desde diferentes puntos de partida, ya que permite evaluar la convergencia comparando cadenas en lugar de depender de una única trayectoria.

3

En cada iteración, el algoritmo propone un movimiento en el espacio de parámetros. Bajo Metropolis-Hastings, se extrae un candidato de una distribución de propuesta y se acepta con una probabilidad que depende de la relación de las densidades posteriores en las posiciones candidata y actual, asegurando que la distribución estacionaria de la cadena sea la posterior objetivo. Bajo el muestreo de Gibbs, cada parámetro se actualiza por turno extrayendo directamente de su distribución condicional completa, lo que evita la necesidad de un paso de aceptación explícito. Dado que las muestras consecutivas comparten información, la cadena exhibe autocorrelación; el adelgazamiento (thinning) —conservar solo cada k-ésima extracción— puede reducir esto a costa de menos muestras almacenadas.

4

Después de descartar el burn-in, se evalúa la convergencia. La estadística R̂ de Gelman-Rubin compara la varianza dentro de la cadena con la varianza entre cadenas a través de las múltiples cadenas; valores por debajo de 1.05 indican que las cadenas se han mezclado y han convergido a la misma distribución. También se inspeccionan los gráficos de trazas (la secuencia de valores muestreados a lo largo de las iteraciones) y el tamaño efectivo de la muestra. Si R̂ es grande o los gráficos de trazas muestran una mezcla pobre, el modelo, las distribuciones a priori o la configuración del muestreador deben revisarse antes de proceder a la inferencia.

5

La colección de muestras posteriores al burn-in forma una aproximación empírica a la posterior. Los estimadores puntuales (media o mediana posterior), los intervalos creíbles y las distribuciones predictivas posteriores se calculan directamente a partir de la muestra. Dado que las muestras son extracciones de la posterior conjunta, cualquier cantidad derivada —razones, diferencias, funciones no lineales de parámetros— puede estimarse aplicando la misma función a cada muestra y resumiendo la distribución resultante.

Errores comunes

  • Omitir o acortar el período de burn-in significa que la porción temprana no estacionaria de la cadena contamina las estimaciones posteriores —deseche siempre un calentamiento generoso.
  • Ejecutar una sola cadena hace imposible detectar si el muestreador ha convergido o está atrapado en una región; ejecute siempre al menos cuatro cadenas independientes.
  • Tratar un gran número bruto de iteraciones como prueba de convergencia sin calcular R̂ o inspeccionar los gráficos de trazas puede dar una falsa confianza —se requiere R̂ < 1.05, no solo muchas iteraciones.
  • Ignorar la autocorrelación e informar el tamaño efectivo de la muestra como si fuera el recuento bruto exagera la precisión; informe el tamaño efectivo de la muestra junto con los recuentos brutos.
  • Aplicar MCMC a un modelo con menos de aproximadamente 1 000 iteraciones posteriores al burn-in generalmente no producirá una posterior fiable; si el presupuesto computacional es tan ajustado, considere métodos bayesianos analíticos o un modelo conjugado.

Preguntas frecuentes

¿Cómo sé si mi cadena MCMC ha convergido?

El diagnóstico principal es la estadística R̂ de Gelman-Rubin, calculada ejecutando al menos cuatro cadenas independientes desde diferentes puntos de partida y comparando la varianza dentro de la cadena con la varianza entre cadenas. Los valores de R̂ por debajo de 1.05 para todos los parámetros son el umbral convencional. Los gráficos de trazas deben mostrar cadenas que se superponen y exploran la misma región; trazas en forma de embudo o a la deriva indican una mezcla pobre. También se debe verificar el tamaño efectivo de la muestra: un tamaño efectivo de muestra muy pequeño en relación con el recuento bruto indica alta autocorrelación y la necesidad de más iteraciones o un mejor muestreador.

¿Cuál es la diferencia entre Metropolis-Hastings y el muestreo de Gibbs?

Metropolis-Hastings propone un movimiento para todos los parámetros simultáneamente (o en bloques) desde una distribución de propuesta especificada por el usuario y acepta o rechaza la propuesta con una probabilidad que preserva la posterior objetivo como la distribución estacionaria. El muestreo de Gibbs, en cambio, actualiza cada parámetro uno a la vez extrayendo directamente de su distribución condicional completa —la distribución de ese parámetro dados todos los demás y los datos. El muestreo de Gibbs requiere que estas condicionales completas estén disponibles en forma cerrada, lo cual es el caso de muchos modelos conjugados; cuando están disponibles, Gibbs es muy eficiente porque cada propuesta es aceptada. Metropolis-Hastings es más ampliamente aplicable pero requiere ajustar la propuesta para lograr tasas de aceptación aceptables.

¿Cuándo debo usar Muestreo de Markov de Monte Carlo Hamiltoniano en lugar de Metropolis-Hastings?

El Muestreo de Markov de Monte Carlo Hamiltoniano (HMC) y su variante automática NUTS utilizan información de gradiente del log-posterior para proponer movimientos grandes e informados que, sin embargo, se aceptan con alta probabilidad. Esto los hace mucho más eficientes que Metropolis-Hastings de paseo aleatorio en espacios de parámetros de alta dimensionalidad, donde las propuestas aleatorias son casi siempre rechazadas. Como regla práctica, si su modelo tiene más de unos diez parámetros o si las cadenas de Metropolis-Hastings muestran una mezcla pobre y tamaños efectivos de muestra muy bajos, se recomienda cambiar a HMC o NUTS.

¿Cuántas iteraciones necesito?

No hay una respuesta universal, pero un punto de partida común es 1 000 iteraciones de calentamiento (burn-in) más 2 000 iteraciones de muestreo por cadena, en cuatro cadenas, lo que da 8 000 extracciones posteriores al burn-in. La adecuación de esto depende de la autocorrelación de la cadena y la complejidad de la posterior. La cadena es suficiente cuando R̂ < 1.05 para todos los parámetros y el tamaño efectivo de la muestra es lo suficientemente grande como para caracterizar las características posteriores de interés —típicamente al menos unos pocos cientos de muestras efectivas para las medias y unos pocos miles para los cuantiles de cola.

Métodos relacionados

Fuentes

  1. Gelman, A., Carlin, J.B., Stern, H.S., Dunson, D.B., Vehtari, A. & Rubin, D.B. (2013). Bayesian Data Analysis (3rd ed.). Chapman & Hall/CRC.

    Abrir referencia DOI
    Copiado.
  2. Brooks, S., Gelman, A., Jones, G.L. & Meng, X.-L. (Eds.) (2011). Handbook of Markov Chain Monte Carlo. Chapman & Hall/CRC.

    Abrir referencia DOI
    Copiado.