Markov Chain Monte Carlo (MCMC) — Metropolis-Hastings und Gibbs Sampling
- Eingeführt von
- Metropolis et al. (1953); Gibbs sampler formalised by Geman & Geman (1984)
- Jahr
- 1953 (Metropolis-Hastings); 1984 (Gibbs)
- Typ
- Simulation-based Bayesian inference / numerical integration
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Markov Chain Monte Carlo (MCMC) ist eine Familie von Simulationsalgorithmen, die eine Markov-Kette konstruiert, deren stationäre Verteilung die Ziel-Posteriori ist.
Dies ermöglicht Bayes'sche Inferenz und die Berechnung hochdimensionaler Integrale, die sonst analytisch unlösbar wären. MCMC, das 1953 von Metropolis und Kollegen eingeführt und 1970 von Hastings erweitert wurde, bildet die Grundlage der modernen Bayes'schen Statistik. Die beiden am weitesten verbreiteten Varianten sind Metropolis-Hastings, die Züge von einer allgemeinen Vorschlagsverteilung aus vorschlägt, und Gibbs Sampling, das jeden Parameter nacheinander aus seiner vollständigen bedingten Verteilung zieht.
Die Intuition hinter der Methode
Stellen Sie sich vor, Sie möchten die Form einer Bergkette kennen, die unter Nebel verborgen ist. Sie können sie nicht auf einmal sehen, aber Sie können einen Schritt in eine zufällige Richtung machen und entscheiden, ob Sie sich bewegen, je nachdem, ob der Boden höher oder niedriger ist. Wenn Sie lange genug gehen und aufzeichnen, wo Sie waren, zeichnen die Orte, die Sie am häufigsten besucht haben, die Gipfel nach – das ist die Posterior-Verteilung. MCMC macht dasselbe in einem hochdimensionalen Parameterraum: Es baut eine Kette von Stichproben auf, die allmählich in Regionen hoher Wahrscheinlichkeit wandert, sodass das Histogramm der besuchten Werte die Zielverteilung annähert, ohne jemals einen geschlossenen Ausdruck dafür zu benötigen.
Geschichte
Der grundlegende Metropolis-Algorithmus wurde 1953 von Metropolis, Rosenbluth, Rosenbluth, Teller und Teller für die Molekülsimulation veröffentlicht. Hastings (1970) verallgemeinerte ihn auf asymmetrische Vorschlagsverteilungen und schuf den Metropolis-Hastings-Algorithmus. Geman und Geman (1984) führten das Gibbs Sampling im Kontext der Bildrestaurierung ein. Der Algorithmus wurde in den frühen 1990er Jahren zu einem Mainstream-Statistikwerkzeug, nachdem Gelfand und Smith (1990) seine breite Anwendbarkeit für die Bayes'sche Berechnung demonstriert hatten und Gelman und Rubin (1992) die R̂-Konvergenzdiagnostik bereitstellten. Die anschließende Entwicklung von Hamiltonian Monte Carlo durch Duane et al. (1987) und seiner automatischen Variante NUTS durch Hoffman und Gelman (2014) erweiterte MCMC auf hochdimensionale Probleme. Gelman et al.'s Bayesian Data Analysis (2013) und das Handbook of Markov Chain Monte Carlo (Brooks et al., 2011) sind die maßgeblichen umfassenden Referenzen.
Wann wird sie eingesetzt?
MCMC ist das geeignete Werkzeug, wenn ein Bayes'sches Modell spezifiziert wurde und die Posterior-Verteilung nicht analytisch berechnet werden kann – was bei Modellen mit mehr als einer Handvoll Parametern oder mit nicht-konjugierten Priors der übliche Fall ist. Es ist auch der Standardansatz für Modelle mit latenten Variablen, hierarchische Modelle und jede Einstellung, bei der Unsicherheit vollständig durch eine komplexe Pipeline propagiert werden muss. Über die Likelihood-Spezifikation hinaus sind keine Verteilungsannahmen über die Daten erforderlich. Die wichtigste praktische Anforderung ist eine ausreichende Anzahl von Iterationen, damit die Kette konvergiert: Weniger als etwa 1.000 Stichproben nach dem Burn-in ergeben typischerweise keine zuverlässige Charakterisierung der Posterior-Verteilung, und in hochdimensionalen Umgebungen werden viele mehr benötigt. Wenn der Parameterraum sehr hochdimensional ist, sind Hamiltonian Monte Carlo (HMC) oder der No-U-Turn Sampler (NUTS) – automatische Erweiterungen der MCMC-Idee – wesentlich effizienter als grundlegendes Metropolis-Hastings.
Grenzen und Hinweise
- Konvergenz ist nicht in endlicher Zeit garantiert; eine Kette, die konvergiert zu haben scheint, kann immer noch in einer lokalen Region der Posterior-Verteilung stecken bleiben.
- Autokorrelation zwischen aufeinanderfolgenden Stichproben bedeutet, dass die effektive Stichprobengröße kleiner ist als die Rohanzahl der Iterationen, was längere Läufe erfordert als eine äquivalente unabhängige Stichprobe.
- In hochdimensionalen Parameteräumen mischt Random-Walk Metropolis-Hastings schlecht; Hamiltonian Monte Carlo oder NUTS ist für eine effiziente Exploration erforderlich.
- Die Modellspezifikation erfordert, dass der Analytiker Priors sorgfältig wählt, und schlecht gewählte Priors oder falsch spezifizierte Likelihoods können die Posterior-Verteilung auf schwer erkennbare Weise verzerren.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Ermöglicht exakte (asymptotische) Bayes'sche Inferenz für Modelle, bei denen die Posterior-Verteilung keine geschlossene Form hat, einschließlich hierarchischer Modelle, Probleme mit fehlenden Daten und komplexer Likelihoods.
- Erzeugt eine vollständige gemeinsame Posterior-Stichprobe, sodass jede abgeleitete Größe, Vorhersage oder Entscheidung mit ordnungsgemäß propagierter Unsicherheit berechnet werden kann.
- Anwendbar auf kontinuierliche, binäre und Zähl-Ergebnisse und erhebt keine Verteilungsannahmen über die Daten hinaus, die vom Modellierer spezifizierte Likelihood.
- Das Ausführen mehrerer paralleler Ketten macht die Konvergenzprüfung systematisch durch die Gelman-Rubin R̂-Diagnostik.
Anwendungen
- Anpassung hierarchischer Bayes'scher Modelle in Psychologie, Pädagogik und Medizin, wo Daten gruppiert sind und partielle Bündelung gewünscht wird.
- Schätzung von Parametern epidemiologischer Kompartimentmodelle (SIR, SEIR) aus beobachteten Fallzahlen, einschließlich Unsicherheitsquantifizierung.
- Bayes'sche Strukturgleichungsmodelle und Modelle mit latenten Variablen in der sozialwissenschaftlichen Forschung.
- Posterior-Inferenz für Item-Response-Theorie (IRT)-Modelle in der Bildungsmesstechnik.
- Kalibrierung komplexer Simulationsmodelle anhand beobachteter Daten, wenn die Likelihood verfügbar, aber nicht-konjugiert ist.
- Finanzrisikomodellierung und Optionspreisgestaltung unter Bayes'scher Parameterunsicherheit.
So funktioniert es
So funktioniert es
Der Analytiker definiert das Bayes'sche Modell: eine Likelihood-Funktion, die Parameter mit beobachteten Daten verbindet, und Prior-Verteilungen, die Überzeugungen über jeden Parameter vor dem Sehen der Daten kodieren. Zusammen definieren diese die unnormalisierte Posterior-Verteilung, die MCMC erkunden wird. Die Wahl der Priors und der Likelihood-Familie bestimmt die Struktur der Kette und muss auf Fachwissen basieren.
Anfangswerte werden für alle Parameter gewählt, und die Anzahl der Ketten, die Länge der Aufwärmphase (Burn-in) und die Gesamtzahl der Iterationen nach dem Burn-in werden festgelegt. Das Ausführen mehrerer unabhängiger Ketten – typischerweise vier – von verschiedenen Startpunkten ist gängige Praxis, da dies die Beurteilung der Konvergenz durch den Vergleich von Ketten ermöglicht, anstatt sich auf eine einzelne Trajektorie zu verlassen.
Bei jeder Iteration schlägt der Algorithmus eine Bewegung im Parameterraum vor. Unter Metropolis-Hastings wird ein Kandidat aus einer Vorschlagsverteilung gezogen und mit einer Wahrscheinlichkeit akzeptiert, die vom Verhältnis der Posterior-Dichten an den Kandidaten- und aktuellen Positionen abhängt, wodurch sichergestellt wird, dass die stationäre Verteilung der Kette die Ziel-Posteriori ist. Beim Gibbs Sampling wird jeder Parameter nacheinander aktualisiert, indem direkt aus seiner vollständigen bedingten Verteilung gezogen wird, was die Notwendigkeit eines expliziten Akzeptanzschritts vermeidet. Da aufeinanderfolgende Stichproben Informationen teilen, weist die Kette Autokorrelation auf; Thinning – das Beibehalten nur jedes k-ten Zugs – kann dies auf Kosten weniger gespeicherter Stichproben reduzieren.
Nachdem der Burn-in verworfen wurde, wird die Konvergenz beurteilt. Die Gelman-Rubin R̂-Statistik vergleicht die Varianz innerhalb der Kette mit der Varianz zwischen den Ketten über die mehreren Ketten hinweg; Werte unter 1,05 deuten darauf hin, dass die Ketten gemischt und zu derselben Verteilung konvergiert sind. Spurenplots (die Sequenz der Stichprobenwerte über die Iterationen) und die effektive Stichprobengröße werden ebenfalls inspiziert. Wenn R̂ groß ist oder Spurenplots schlechtes Mischen zeigen, müssen das Modell, die Priors oder die Sampler-Einstellungen überarbeitet werden, bevor die Inferenz fortgesetzt wird.
Die Sammlung von Stichproben nach dem Burn-in bildet eine empirische Annäherung an die Posterior-Verteilung. Punktschätzungen (Posterior-Mittelwert oder -Median), Glaubwürdigkeitsintervalle und Posterior-Prädiktivverteilungen werden direkt aus der Stichprobe berechnet. Da die Stichproben Ziehungen aus der gemeinsamen Posterior-Verteilung sind, kann jede abgeleitete Größe – Verhältnisse, Differenzen, nichtlineare Funktionen von Parametern – geschätzt werden, indem dieselbe Funktion auf jede Stichprobe angewendet und die resultierende Verteilung zusammengefasst wird.
Häufige Fallstricke
- Das Überspringen oder Verkürzen der Burn-in-Periode bedeutet, dass der frühe nicht-stationäre Teil der Kette die Posterior-Schätzungen kontaminiert – immer eine großzügige Aufwärmphase verwerfen.
- Das Ausführen nur einer einzigen Kette macht es unmöglich zu erkennen, ob der Sampler konvergiert ist oder in einer Region gefangen ist; immer mindestens vier unabhängige Ketten ausführen.
- Die Behandlung einer großen Roh-Iterationszahl als Beweis für Konvergenz ohne Berechnung von R̂ oder Inspektion von Spurenplots kann falsche Zuversicht geben – R̂ < 1,05 ist erforderlich, nicht nur viele Iterationen.
- Das Ignorieren von Autokorrelation und die Berichterstattung über die effektive Stichprobengröße, als ob es sich um die Rohanzahl handelte, übertreibt die Präzision; berichten Sie die effektive Stichprobengröße neben den Rohanzahlen.
- Die Anwendung von MCMC auf ein Modell mit weniger als etwa 1.000 Stichproben nach dem Burn-in liefert im Allgemeinen keine zuverlässige Posterior-Verteilung; wenn das Rechenbudget so knapp ist, ziehen Sie analytische Bayes'sche Methoden oder ein konjugiertes Modell in Betracht.
Häufig gestellte Fragen
Woher weiß ich, ob meine MCMC-Kette konvergiert ist?
Die primäre Diagnose ist die Gelman-Rubin R̂-Statistik, die durch Ausführen von mindestens vier unabhängigen Ketten von verschiedenen Startpunkten berechnet wird und die Varianz innerhalb der Kette mit der Varianz zwischen den Ketten vergleicht. R̂-Werte unter 1,05 für alle Parameter sind der konventionelle Schwellenwert. Spurenplots sollten zeigen, dass sich die Ketten überlappen und dieselbe Region erkunden; trichterförmige oder driftende Spuren deuten auf schlechtes Mischen hin. Die effektive Stichprobengröße sollte ebenfalls überprüft werden – eine sehr kleine effektive Stichprobengröße im Verhältnis zur Rohanzahl signalisiert hohe Autokorrelation und die Notwendigkeit weiterer Iterationen oder eines besseren Samplers.
Was ist der Unterschied zwischen Metropolis-Hastings und Gibbs Sampling?
Metropolis-Hastings schlägt einen Zug für alle Parameter gleichzeitig (oder in Blöcken) aus einer vom Benutzer spezifizierten Vorschlagsverteilung vor und akzeptiert oder verwirft den Vorschlag mit einer Wahrscheinlichkeit, die die Ziel-Posteriori als stationäre Verteilung beibehält. Gibbs Sampling aktualisiert stattdessen jeden Parameter einzeln, indem es direkt aus seiner vollständigen bedingten Verteilung zieht – der Verteilung dieses Parameters gegeben alle anderen und die Daten. Gibbs Sampling erfordert, dass diese vollständigen bedingten Verteilungen in geschlossener Form verfügbar sind, was bei vielen konjugierten Modellen der Fall ist; wenn sie verfügbar sind, ist Gibbs sehr effizient, da jeder Vorschlag akzeptiert wird. Metropolis-Hastings ist breiter anwendbar, erfordert aber die Abstimmung des Vorschlags, um akzeptable Akzeptanzraten zu erzielen.
Wann sollte ich Hamiltonian Monte Carlo anstelle von Metropolis-Hastings verwenden?
Hamiltonian Monte Carlo (HMC) und seine automatische Variante NUTS verwenden Gradienteninformationen aus der Log-Posteriori, um große, informierte Züge vorzuschlagen, die dennoch mit hoher Wahrscheinlichkeit akzeptiert werden. Dies macht sie in hochdimensionalen Parameteräumen, wo zufällige Vorschläge fast immer abgelehnt werden, weitaus effizienter als Random-Walk Metropolis-Hastings. Als praktische Regel gilt: Wenn Ihr Modell mehr als etwa zehn Parameter hat oder wenn Metropolis-Hastings-Ketten schlechtes Mischen und sehr niedrige effektive Stichprobengrößen zeigen, ist ein Wechsel zu HMC oder NUTS ratsam.
Wie viele Iterationen brauche ich?
Es gibt keine universelle Antwort, aber ein üblicher Ausgangspunkt sind 1.000 Aufwärm- (Burn-in-) Iterationen plus 2.000 Stichproben-Iterationen pro Kette, über vier Ketten, was 8.000 Ziehungen nach dem Burn-in ergibt. Die Angemessenheit hängt von der Autokorrelation der Kette und der Komplexität der Posterior-Verteilung ab. Die Kette ist ausreichend, wenn R̂ < 1,05 für alle Parameter gilt und die effektive Stichprobengröße ausreicht, um die interessierenden Posterior-Merkmale zu charakterisieren – typischerweise mindestens einige hundert effektive Stichproben für Mittelwerte und einige tausend für Schwanzquantile.
Verwandte Methoden
Quellen
Gelman, A., Carlin, J.B., Stern, H.S., Dunson, D.B., Vehtari, A. & Rubin, D.B. (2013). Bayesian Data Analysis (3rd ed.). Chapman & Hall/CRC.
DOI-Referenz öffnenKopiert.Brooks, S., Gelman, A., Jones, G.L. & Meng, X.-L. (Eds.) (2011). Handbook of Markov Chain Monte Carlo. Chapman & Hall/CRC.
DOI-Referenz öffnenKopiert.