マルコフモデル — 確率的状態遷移モデリング
- 提唱者
- Andrei Markov
- 年
- 1906
- 種類
- Probabilistic state-transition model
- 系統
- Simulation / optimization
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
マルコフモデルは、システムを有限個の状態集合として表現し、各時間ステップで一方の状態から他方の状態へ遷移する確率を指定する。履歴全体ではなく現在の状態のみを捉えることで、健康経済学、工学信頼性、オペレーションズリサーチ、社会科学モデリングにおける複雑な動的プロセスの実行可能な分析を可能にする。
手法の背後にある直感
患者が健康、病気、または死亡のいずれかの状態にあると想像してみよう。マルコフモデルによれば、明日病気になる確率は、患者の全医療履歴ではなく、今日の健康状態にのみ依存する。この記憶のない性質により、現実的なダイナミクスを捉えつつ、数学的な扱いが容易になる。各ステップで、遷移確率行列が人口の状態分布を支配し、分析者は、システムは長期的にはどこに着地するのか、そしてそこへどれくらいの速さで到達するのか、といった問いを立てることができる。
歴史学
アンドレイ・マルコフは、1906年のプーシキン詩の文字遷移の研究で、従属確率変数のための大数の法則を証明し、従属確率系列の数学的枠組みを導入した。離散時間マルコフ連鎖の形式は、1930年代にコルモゴロフらによって拡張された。1970年代以降、マルコフモデルはオペレーションズリサーチ、待ち行列理論で標準となり、1980年代からは健康経済モデリングで、応用確率論における基礎的なツールとしての役割を確立した。
使うべき場面
プロセスが少数の明確な状態間の遷移として記述できる場合;記憶のない仮説が正当化できる場合 — 将来の遷移は現在の状態のみに依存する;長期的なまたは期待値の要約(定常状態の割合、期待費用、期待質調整生存年数)が必要な場合、マルコフモデルを使用する。これは特に健康技術評価(HTA)および信頼性工学において標準的である。履歴が将来の遷移に強く影響する場合(高階連鎖または半マルコフモデルを使用)、問題の複雑さとともに状態数が爆発する場合(シミュレーションを検討)、信頼性の高い遷移確率推定のためのデータが入手できない場合、またはプロセスが自然な離散化なしに連続状態空間を含む場合には使用しない。
限界と注意点
- 記憶のない(マルコフ)仮定は実際にはしばしば破られる — 指数分布に従わない在留時間は、半マルコフまたは位相型拡張を必要とする。
- 状態空間の爆発:履歴または異質性を表現するために詳細を追加すると、状態の数が倍増し、モデルの複雑さとデータ要件が急速に増加する。
- 遷移確率はデータから推定されなければならない;データが少ないと、モデルの結論を支配する可能性のある広い不確実性区間につながる。
- 均質性仮定:標準的なマルコフ連鎖は、時間を通じて遷移確率が一定であると仮定するが、これは高齢化コホートまたは進化するシステムでは非現実的である可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 透明性と監査可能性:遷移行列はモデルを完全に指定し、検査、検証、および非技術的利害関係者への伝達が可能である。
- 解析的に扱いやすい:定常分布、平均通過時間、および吸収確率に対して閉形式解が存在する。
- 規制の文脈、特に健康技術評価(NICE、CADTHガイドラインはマルコフコホートモデルを認識)で広く受け入れられている。
- 柔軟な時間的範囲:同じモデルで短期的な過渡解析と長期的な定常状態クエリの両方をサポートする。
- 制御またはポリシー最適化が必要な場合に、マルコフ決定プロセス(MDP)に容易に拡張できる。
応用
- 健康技術評価:疾患進行のモデリングと、質調整生存年数(QALY)および増分費用効果比(ICER)の計算。
- 信頼性工学:多成分システムの故障率、保守スケジュール、および平均故障間隔の計算。
- 自然言語処理:言語モデル、品詞タグ付け、およびnグラム遷移確率に基づくテキスト生成。
- 金融および保険数理:信用格付け移行モデルおよび保険金請求頻度分析。
- 生態学:個体群生存可能性分析および生息地適性遷移モデリング。
- オペレーションズマネジメント:在庫管理および購入状態遷移行列を使用した顧客生涯価値推定。
使い方
使い方
システムが占める可能性のある、相互に排他的かつ集合的に網羅的なすべての状態を列挙する。状態は、任意の時点でメンバーシップが曖昧さなく決定できるように、十分に正確に定義されなければならない。例えば、疾患の段階、在庫レベル、または運用モードなどである。
状態iから状態jへの1ステップ遷移確率p_ijを与える遷移確率行列Pを構築する。各行の合計は1でなければならない。確率は経験的データ(コホート研究、履歴記録)または専門家の意見聴取から推定され、不確実性範囲とともに報告されるべきである。
数式
P = [p_{ij}], \quad p_{ij} = P(X_{t+1}=j \mid X_t=i), \quad \sum_j p_{ij} = 1次の状態が現在の状態のみに依存し、以前の履歴に依存しないことを確認する。このマルコフ(記憶のない)仮定は、モデルの主要な要件である。履歴が重要であれば、高階マルコフ連鎖または半マルコフ拡張を検討する。
数式
P(X_{t+1}=j \mid X_0,\ldots,X_t) = P(X_{t+1}=j \mid X_t)初期状態分布ベクトルπ^(0)から開始し、P^tを掛けて時刻tにおける分布を得る。これはコホートまたはシステムがステップごとにどのように進化するかを示し、各状態での期待滞在時間(在留時間として知られる)の計算を可能にする。
数式
\pi^{(t)} = \pi^{(0)} P^tエルゴード連鎖の場合、確率の合計が1であるという制約の下で、定常分布方程式πP = πを解く。定常状態ベクトルπは、システムが各状態に費やす時間の長期的な割合を表し、費用対効果および信頼性分析の主要な出力となる。
数式
\pi P = \pi, \quad \sum_i \pi_i = 1
よくある落とし穴
- 臨床的に明確な段階を単一の状態に圧縮してモデルを単純化すると、費用または結果の重要な違いがマスクされる可能性がある — 常に状態定義を臨床的または領域専門家の判断に対して検証すること。
- パラメータの不確実性を無視すること:確率的感度分析(PSA)なしで点推定結果のみを報告すると、信頼性が過大評価される;常に不確実性を遷移行列全体に伝播させること。
- 状態遷移の速度に対してサイクル長が粗すぎると、半サイクル補正の問題が生じ、累積推定値が偏る。
- 吸収状態(例:死亡)と過渡状態を混同すると、モデルが無限の期待費用または時間を生成する可能性がある;すべての過渡状態から少なくとも1つの吸収状態に到達可能であることを確認すること。
よくある質問
マルコフモデルにはいくつの状態が必要ですか?
臨床的または運用上意味のある区別を維持するのに必要な最小限の状態数を使用する。状態数が多いほど現実味は増すが、データ要件と検証負担が増加する。実用的な開始点として3〜8の状態が考えられる;15〜20を超える場合は、個々のシミュレーションアプローチがしばしば好まれるようになる。
データが時間とともに遷移確率が変化することを示唆している場合はどうすればよいですか?
時間均質マルコフ連鎖は、遷移確率が一定であると仮定する。確率が時間または年齢とともに変化する場合は、時間非均質連鎖(サイクルごとに異なるP行列)、半マルコフモデル(在留時間依存遷移)、または個々レベルのミクロシミュレーションを使用する。
パラメータの不確実性をどのように扱いますか?
観測されたカウントを使用して、遷移行列の各行にディリクレ分布を適合させ、確率的感度分析(PSA)でこれらの分布からサンプリングする。点推定値ではなく、費用対効果受容曲線または信頼区間として結果を報告する。
マルコフモデルとマルコフ決定プロセスの違いは何ですか?
マルコフモデルはシステムをパッシブに記述する — 遷移は固定確率によって支配される。マルコフ決定プロセス(MDP)は、アクションと報酬を追加することでこれを拡張し、時間を通じた意思決定またはポリシーの最適化を可能にする。
コホートマルコフモデルと個々レベルのミクロシミュレーションのどちらを使用すべきですか?
コホートモデルは状態間の割合を追跡し、計算コストが低く透明性が高い;マルコフ仮定が成り立つ場合や異質性が限定的な場合に好ましい。ミクロシミュレーションは個々の履歴を追跡し、記憶効果、個々のばらつき、または個人間の相互作用が重要である場合に適しているが、計算およびデータ要件は増大する。
関連する手法
参考文献
Norris, J. R. (1997). Markov Chains. Cambridge University Press, Cambridge.
ISBN:9780521633963コピーしました。Markov chain. Wikipedia.
出版物の文献を開くコピーしました。