Chaîne de Markov Monte Carlo (MCMC) — Metropolis-Hastings et Échantillonnage de Gibbs
- Introduite par
- Metropolis et al. (1953); Gibbs sampler formalised by Geman & Geman (1984)
- Année
- 1953 (Metropolis-Hastings); 1984 (Gibbs)
- Type
- Simulation-based Bayesian inference / numerical integration
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La Chaîne de Markov Monte Carlo (MCMC) est une famille d'algorithmes de simulation qui construit une chaîne de Markov dont la distribution stationnaire est la distribution a posteriori cible, permettant l'inférence bayésienne et le calcul d'intégrales de haute dimension qui seraient autrement analytiquement intraitable.
Pionnière par Metropolis et ses collègues en 1953 et étendue par Hastings en 1970, la MCMC sous-tend les statistiques bayésiennes modernes. Les deux variantes les plus couramment utilisées sont Metropolis-Hastings, qui propose des déplacements à partir d'une distribution de proposition générale, et l'échantillonnage de Gibbs, qui tire chaque paramètre à tour de rôle de sa distribution conditionnelle complète.
L’intuition derrière la méthode
Imaginez que vous vouliez connaître la forme d'une chaîne de montagnes cachée sous le brouillard. Vous ne pouvez pas la voir en entier d'un coup, mais vous pouvez faire un pas dans une direction aléatoire et décider de bouger ou non en fonction de si le terrain est plus haut ou plus bas. En marchant assez longtemps et en enregistrant où vous êtes passé, les endroits que vous avez visités le plus souvent dessinent les sommets — c'est la distribution a posteriori. La MCMC fait la même chose dans un espace de paramètres de haute dimension : elle construit une chaîne d'échantillons qui dérive progressivement vers les régions de haute probabilité, de sorte que l'histogramme des valeurs visitées approxime la distribution cible sans jamais avoir besoin d'une expression analytique fermée.
Histoire
L'algorithme Metropolis fondamental a été publié en 1953 par Metropolis, Rosenbluth, Rosenbluth, Teller et Teller pour la simulation moléculaire. Hastings (1970) l'a généralisé aux distributions de proposition asymétriques, produisant l'algorithme Metropolis-Hastings. Geman et Geman (1984) ont introduit l'échantillonnage de Gibbs dans le contexte de la restauration d'images. L'algorithme est devenu un outil statistique grand public au début des années 1990 après que Gelfand et Smith (1990) aient démontré sa large applicabilité pour le calcul bayésien, et que Gelman et Rubin (1992) aient fourni le diagnostic de convergence R̂. Le développement ultérieur du Monte Carlo Hamiltonien par Duane et al. (1987) et sa variante automatique NUTS par Hoffman et Gelman (2014) ont étendu la MCMC aux problèmes de haute dimension. Bayesian Data Analysis de Gelman et al. (2013) et le Handbook of Markov Chain Monte Carlo (Brooks et al., 2011) sont les références complètes standard.
Quand l’utiliser
La MCMC est l'outil approprié lorsqu'un modèle bayésien a été spécifié et que la distribution a posteriori ne peut être calculée analytiquement — ce qui est le cas courant pour les modèles avec plus d'une poignée de paramètres ou avec des distributions a priori non conjuguées. C'est aussi l'approche standard pour les modèles à variables latentes, les modèles hiérarchiques, et tout cadre où l'incertitude doit être propagée entièrement à travers un pipeline complexe. Aucune hypothèse distributionnelle sur les données n'est nécessaire au-delà de la spécification de la vraisemblance. La principale exigence pratique est un nombre suffisant d'itérations pour que la chaîne converge : moins d'environ 1 000 échantillons post-pré-convergence ne fourniront généralement pas une caractérisation fiable de la distribution a posteriori, et dans les contextes de haute dimension, beaucoup plus sont nécessaires. Lorsque l'espace des paramètres est de très haute dimension, le Monte Carlo Hamiltonien (HMC) ou le NUTS (No-U-Turn Sampler) — extensions automatiques de l'idée MCMC — sont substantiellement plus efficaces que le Metropolis-Hastings de base.
Limites et points d’attention
- La convergence n'est pas garantie en temps fini ; une chaîne qui semble avoir convergé peut encore être bloquée dans une région locale de la distribution a posteriori.
- L'autocorrélation entre les échantillons successifs signifie que la taille effective de l'échantillon est inférieure au nombre brut d'itérations, nécessitant des exécutions plus longues qu'un échantillon indépendant équivalent n'en aurait besoin.
- Dans les espaces de paramètres de haute dimension, le Metropolis-Hastings à marche aléatoire mélange mal ; le Monte Carlo Hamiltonien ou le NUTS est nécessaire pour une exploration efficace.
- La spécification du modèle exige que l'analyste choisisse judicieusement les distributions a priori, et des distributions a priori mal choisies ou des vraisemblances mal spécifiées peuvent biaiser la distribution a posteriori de manière difficile à détecter.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Permet une inférence bayésienne exacte (asymptotiquement) pour les modèles où la distribution a posteriori n'a pas de forme fermée, couvrant les modèles hiérarchiques, les problèmes de données manquantes et les vraisemblances complexes.
- Produit un échantillon complet de la distribution a posteriori jointe, de sorte que toute quantité dérivée, prédiction ou décision peut être calculée avec une incertitude correctement propagée.
- S'applique aux résultats continus, binaires et de comptage et n'impose aucune hypothèse distributionnelle sur les données au-delà de la vraisemblance spécifiée par le modélisateur.
- L'exécution de plusieurs chaînes parallèles rend la vérification de la convergence systématique grâce au diagnostic R̂ de Gelman-Rubin.
Applications
- Ajustement de modèles bayésiens hiérarchiques en psychologie, éducation et médecine où les données sont groupées et un regroupement partiel est souhaité.
- Estimation des paramètres de modèles compartimentaux épidémiologiques (SIR, SEIR) à partir des comptes de cas observés, y compris la quantification de l'incertitude.
- Modélisation bayésienne d'équations structurelles et modèles à variables latentes en sciences sociales.
- Inférence a posteriori pour les modèles de théorie de la réponse à l'item (IRT) en mesure éducative.
- Calibration de modèles de simulation complexes par rapport aux données observées lorsque la vraisemblance est disponible mais non conjuguée.
- Modélisation du risque financier et tarification d'options sous incertitude paramétrique bayésienne.
Comment ça marche
Comment ça marche
L'analyste définit le modèle bayésien : une fonction de vraisemblance reliant les paramètres aux données observées, et des distributions a priori encodant les croyances sur chaque paramètre avant de voir les données. Ensemble, celles-ci définissent la distribution a posteriori non normalisée que la MCMC explorera. Le choix des distributions a priori et de la famille de vraisemblance détermine la structure de la chaîne et doit être fondé sur la connaissance du domaine.
Les valeurs initiales sont choisies pour tous les paramètres, et le nombre de chaînes, la durée de la période de pré-convergence (burn-in), et le nombre total d'itérations post-pré-convergence sont fixés. Lancer plusieurs chaînes indépendantes — typiquement quatre — à partir de points de départ différents est une pratique standard, car cela permet d'évaluer la convergence en comparant les chaînes plutôt qu'en se fiant à une seule trajectoire.
À chaque itération, l'algorithme propose un déplacement dans l'espace des paramètres. Sous Metropolis-Hastings, un candidat est tiré d'une distribution de proposition et accepté avec une probabilité qui dépend du rapport des densités a posteriori aux positions candidate et actuelle, assurant que la distribution stationnaire de la chaîne est la distribution a posteriori cible. Sous l'échantillonnage de Gibbs, chaque paramètre est mis à jour à tour de rôle en tirant directement de sa distribution conditionnelle complète, ce qui évite la nécessité d'une étape d'acceptation explicite. Comme les échantillons consécutifs partagent des informations, la chaîne présente de l'autocorrélation ; l'amincissement (thinning) — ne conserver qu'une seule valeur sur k — peut réduire cela au détriment d'un plus petit nombre d'échantillons stockés.
Après avoir écarté la période de pré-convergence, la convergence est évaluée. La statistique R̂ de Gelman-Rubin compare la variance intra-chaîne à la variance inter-chaînes sur les multiples chaînes ; des valeurs inférieures à 1.05 indiquent que les chaînes se sont mélangées et ont convergé vers la même distribution. Les tracés de séries temporelles (la séquence des valeurs échantillonnées au fil des itérations) et la taille effective de l'échantillon sont également inspectés. Si R̂ est élevé ou si les tracés de séries temporelles montrent un mauvais mélange, le modèle, les distributions a priori, ou les paramètres de l'échantillonneur doivent être révisés avant que l'inférence ne progresse.
La collection d'échantillons post-pré-convergence forme une approximation empirique de la distribution a posteriori. Les estimations ponctuelles (moyenne ou médiane a posteriori), les intervalles de crédibilité et les distributions prédictives a posteriori sont calculés directement à partir de l'échantillon. Comme les échantillons sont des tirages de la distribution a posteriori jointe, toute quantité dérivée — rapports, différences, fonctions non linéaires des paramètres — peut être estimée en appliquant la même fonction à chaque échantillon et en résumant la distribution résultante.
Pièges courants
- Sauter ou raccourcir la période de pré-convergence signifie que la partie initiale non stationnaire de la chaîne contamine les estimations a posteriori — écartez toujours une période de pré-convergence généreuse.
- Lancer une seule chaîne rend impossible de détecter si l'échantillonneur a convergé ou est piégé dans une région ; lancez toujours au moins quatre chaînes indépendantes.
- Traiter un grand nombre d'itérations brutes comme preuve de convergence sans calculer R̂ ou inspecter les tracés de séries temporelles peut donner une fausse confiance — R̂ < 1.05 est requis, pas seulement de nombreuses itérations.
- Ignorer l'autocorrélation et rapporter la taille effective de l'échantillon comme si c'était le nombre brut surestime la précision ; rapportez la taille effective de l'échantillon aux côtés des nombres bruts.
- Appliquer la MCMC à un modèle avec moins d'environ 1 000 itérations post-pré-convergence ne donnera généralement pas une distribution a posteriori fiable ; si le budget de calcul est aussi limité, envisagez des méthodes bayésiennes analytiques ou un modèle conjugué.
Questions fréquentes
Comment savoir si ma chaîne MCMC a convergé ?
Le diagnostic principal est la statistique R̂ de Gelman-Rubin, calculée en lançant au moins quatre chaînes indépendantes à partir de points de départ différents et en comparant la variance intra-chaîne à la variance inter-chaînes. Des valeurs de R̂ inférieures à 1.05 pour tous les paramètres constituent le seuil conventionnel. Les tracés de séries temporelles doivent montrer des chaînes qui se chevauchent et explorent la même région ; des tracés en forme d'entonnoir ou dérivants indiquent un mauvais mélange. La taille effective de l'échantillon doit également être vérifiée — une taille effective de l'échantillon très faible par rapport au nombre brut signale une autocorrélation élevée et la nécessité de plus d'itérations ou d'un meilleur échantillonneur.
Quelle est la différence entre Metropolis-Hastings et l'échantillonnage de Gibbs ?
Metropolis-Hastings propose un déplacement pour tous les paramètres simultanément (ou par blocs) à partir d'une distribution de proposition spécifiée par l'utilisateur et accepte ou rejette la proposition avec une probabilité qui maintient la distribution a posteriori cible comme distribution stationnaire. L'échantillonnage de Gibbs met plutôt à jour chaque paramètre un par un en tirant directement de sa distribution conditionnelle complète — la distribution de ce paramètre étant donné tous les autres et les données. L'échantillonnage de Gibbs nécessite que ces distributions conditionnelles complètes soient disponibles sous forme analytique fermée, ce qui est le cas pour de nombreux modèles conjugués ; lorsqu'elles sont disponibles, Gibbs est très efficace car chaque proposition est acceptée. Metropolis-Hastings est plus largement applicable mais nécessite un réglage de la proposition pour obtenir des taux d'acceptation acceptables.
Quand dois-je utiliser le Monte Carlo Hamiltonien au lieu de Metropolis-Hastings ?
Le Monte Carlo Hamiltonien (HMC) et sa variante automatique NUTS utilisent les informations de gradient du log-a posteriori pour proposer des déplacements importants et informés qui sont néanmoins acceptés avec une forte probabilité. Cela les rend beaucoup plus efficaces que le Metropolis-Hastings à marche aléatoire dans les espaces de paramètres de haute dimension, où les propositions aléatoires sont presque toujours rejetées. En règle pratique, si votre modèle a plus d'une dizaine de paramètres ou si les chaînes Metropolis-Hastings montrent un mauvais mélange et des tailles effectives d'échantillon très faibles, passer au HMC ou au NUTS est conseillé.
Combien d'itérations sont nécessaires ?
Il n'y a pas de réponse universelle, mais un point de départ courant est 1 000 itérations de pré-convergence (burn-in) plus 2 000 itérations d'échantillonnage par chaîne, sur quatre chaînes, donnant 8 000 tirages post-pré-convergence. L'adéquation de cela dépend de l'autocorrélation de la chaîne et de la complexité de la distribution a posteriori. La chaîne est suffisante lorsque R̂ < 1.05 pour tous les paramètres et que la taille effective de l'échantillon est suffisamment grande pour caractériser les caractéristiques a posteriori d'intérêt — typiquement au moins quelques centaines d'échantillons effectifs pour les moyennes et quelques milliers pour les quantiles des queues.
Méthodes associées
Sources
Gelman, A., Carlin, J.B., Stern, H.S., Dunson, D.B., Vehtari, A. & Rubin, D.B. (2013). Bayesian Data Analysis (3rd ed.). Chapman & Hall/CRC.
Ouvrir la référence DOICopié.Brooks, S., Gelman, A., Jones, G.L. & Meng, X.-L. (Eds.) (2011). Handbook of Markov Chain Monte Carlo. Chapman & Hall/CRC.
Ouvrir la référence DOICopié.