EMアルゴリズム
- 提唱者
- Dempster, Laird & Rubin
- 年
- 1977
- 種類
- Iterative optimization algorithm
- 系統
- Estimation
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
期待値最大化(EM)アルゴリズムは、潜在変数または欠損データを持つ統計モデルにおいて、パラメータの最尤推定値または最大事後確率推定値を見つけるための反復最適化手順です。Dempster、Laird、Rubinが1977年の画期的な論文で導入したEMアルゴリズムは、完全データ対数尤度の期待値を計算する(Eステップ)ことと、その期待値をパラメータに関して最大化する(Mステップ)ことを交互に行い、各反復で単調非減少の尤度を保証します。
手法の背後にある直感
見えないカードを持つプレイヤーを観察することでゲームのルールを学ぼうとする状況を想像してください。各ラウンドで、観察された情報に基づいてプレイヤーが持っている可能性のあるカードを推測し、その推測が正しいと仮定してルールのモデルを更新します。EMアルゴリズムはまさにこれを行います。Eステップは現在のパラメータ推定値を使用して欠損情報を確率的に補完し、Mステップは補完された値が実際の観測値であるかのようにモデルを再適合させます。
歴史学
このアルゴリズムは、Arthur Dempster、Nan Laird、Donald Rubinによって1977年のJRSS-B論文で正式に統一され、命名されました。この論文は、これまで発表された統計学の論文の中で最も引用されているものの一つです。この論文は、特定の欠損データ問題のために独立して開発された以前の特殊なケースの手順を一般化しました。その後の数十年で、ECM、ECME、AECM、SEMアルゴリズムなど、数多くの拡張が生まれ、多くの実用的な設定で適用可能性が広がり、収束が加速されました。
使うべき場面
データに欠損値、隠れた状態、または潜在変数が含まれており、最尤推定値が必要な場合は、EMアルゴリズムを使用します。ガウス混合モデル、隠れマルコフモデル、因子分析、欠損データ補完によく適しています。主な仮定には、欠損データがランダムに欠損している(MAR)こと、および完全データモデルが扱いやすいことが含まれます。制限事項には、初期化への感度、局所最大値への収束の可能性、鞍点付近での収束の遅さなどがあります。代替手段には、数値積分を伴う勾配ベースの最適化、変分推論、またはMCMC法が含まれます。
限界と注意点
- 尤度曲面が多峰性の場合、大域的最適解ではなく局所的最適解に収束する可能性がある
- 欠損情報の割合が大きい場合、非常に遅い(線形)収束を示すことがある
- 分析者が完全データモデルと潜在変数の分布を指定する必要がある
- 標準EMアルゴリズムは、推定値の観測データ共分散行列を直接提供しない。標準誤差を得るには、補足的なステップ(例:Louisの方法またはSEMアルゴリズム)が必要となる
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 各反復で観測データ尤度の単調増加が保証され、安定した収束を確保
- 困難な欠損データ問題を、扱いやすい完全データ最適化のシーケンスに変換
- 指数型分布族モデル、混合モデル、潜在変数フレームワーク全体に広く適用可能
- 多くの標準モデルで閉形式のMステップ更新が利用可能であり、実装が効率的
応用
- クラスタリングと密度推定のためのガウス混合モデルの適合
- 音声認識と生物学的配列解析のための隠れマルコフモデルの学習
- 臨床および社会科学研究における多重代入と欠損データ分析
- 因子分析と潜在クラス分析におけるパラメータ推定
- 医用画像処理における画像セグメンテーションと再構成
使い方
使い方
反復が始まる前に、分析者は未知のパラメータ(theta-0と表記)の初期値を選択します。これらはランダムに、簡略化された適合から、またはドメイン知識によって選択できます。初期化の質は、アルゴリズムが収束する局所最大値に影響を与える可能性があるため、複数のランダムな再起動が一般的な慣行です。
数式
\text{Choose initial parameter estimates } \theta^{(0)}現在のパラメータ推定値theta-tが与えられた場合、Eステップは、観測データXを条件とする、観測されていない潜在変数Zの分布に対する完全データ対数尤度の期待値Qを計算します。この期待値は、単一の補完値にコミットすることなく、未知の量を確率的推定値で効果的に置き換えます。
数式
Q(\theta \mid \theta^{(t)}) = \mathbb{E}_{Z \mid X, \theta^{(t)}}[\log p(X, Z \mid \theta)]Mステップは、Eステップで得られたQ関数をthetaに関して最大化し、更新された推定値theta-(t+1)を生成します。完全データ対数尤度は、周辺観測データ尤度よりも最大化が容易であることが多いため、このステップは直接的な最尤推定が困難な場合でも、しばしば扱いやすくなります。
数式
\theta^{(t+1)} = \arg\max_{\theta} \, Q(\theta \mid \theta^{(t)})EステップとMステップは交互に繰り返されます。各完全サイクル後、観測データ対数尤度が評価されます。対数尤度(またはパラメータベクトル)の変化がユーザー定義の許容誤差epsilonを下回ると、反復は停止します。Dempsterらは、各サイクルで観測データ尤度が減少することはないことを証明しており、安定した収束を保証しています。
数式
\text{Repeat E- and M-steps until } |\ell(\theta^{(t+1)}) - \ell(\theta^{(t)})| < \epsilonよくある落とし穴
- 単一のランダムな初期化を使用すると、不適切な局所最大値で終了するリスクがある。常に複数の再起動を実行し、最終的な対数尤度が最も高い解を選択する
- パラメータの変化のみを監視し、観測データ対数尤度を監視しないことで、収束を早めに宣言すると不正確な推定値が生じる可能性がある
- モデル調整なしでデータがランダムに欠損していない(MNAR)場合にEMを適用すると、推定値に系統的なバイアスが導入される可能性がある
- 混合モデルにおけるラベルスイッチング問題を無視すると、正しい収束後でも解釈不能な成分割り当てにつながる
よくある質問
EMアルゴリズムは常に大域的最適解に収束しますか?
いいえ。EMアルゴリズムは、観測データ尤度の局所最大値(または鞍点)を見つけることのみが保証されています。尤度曲面が複数のモードを持つ場合、最終的な解は初期化に依存します。いくつかの異なる開始点からアルゴリズムを実行し、最も高い対数尤度を持つ解を保持することが、標準的な実用的な対処法です。
EMアルゴリズムは直接的な最尤最適化とどう異なりますか?
直接的な最尤推定(MLE)は、観測データ対数尤度を最大化しますが、これには潜在変数に関する扱いが困難な積分が含まれる場合があります。EMアルゴリズムは、期待される完全データ対数尤度を反復的に最大化することでこれを回避します。これはしばしば解析的に扱いやすいものです。トレードオフとして、EMアルゴリズムは収束が遅い場合がありますが、周辺尤度の勾配が利用可能な場合は、勾配ベースの方法の方が速い場合があります。
EMアルゴリズムよりもMICE補完を優先すべきなのはどのような場合ですか?
MICE(Multiple Imputation by Chained Equations)は、データに混合型の変数、非線形関係、または単一のパラメトリック完全データモデルにエンコードするのが難しい複雑な相互作用構造が含まれる場合に推奨されます。EMアルゴリズムは、すべての変数に対して適切に指定された結合モデルが存在し、推論が補完されたデータセットではなくモデルパラメータを対象とする場合に、より自然です。
関連する手法
参考文献
Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–38.
DOI 文献を開くコピーしました。