ガウス混合モデル
- 提唱者
- Dempster, Laird & Rubin (EM algorithm)
- 年
- 1977
- 種類
- Probabilistic (soft) clustering — mixture model
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
ガウス混合モデルは、データをいくつかのガウス分布の重み付き混合としてモデル化する確率的クラスタリング手法であり、1977年にDempster、Laird & Rubinによって定式化されたExpectation–Maximizationアルゴリズムを用いて適合されます。これは、各クラスターが独自の形状、サイズ、向きを持つことができるK-meansの一般化です。
手法の背後にある直感
データが、それぞれ独自の中心、広がり、傾きを持つ、いくつかの重なり合う釣鐘状の雲から点を抽出することによって生成されたと想像してください。ガウス混合モデルは、これらの隠れた雲をリバースエンジニアリングしようとします。つまり、いくつの釣鐘があり、それらがどこに位置しているかを問い、すべての点を単一のクラスターに強制するのではなく、各点に各成分に属する確率を与えます。このソフトな割り当てにより、K-meansのようなハードで球状の手法では誤って分割されてしまうような、引き伸ばされた、または回転したクラスターを捉えることができます。
歴史学
ガウス混合モデルの基盤となるExpectation–Maximizationアルゴリズムは、Dempster、Laird & Rubinが1977年の不完全データからの最尤推定に関する論文で定式化しました。この論文では、クラスタリングを潜在混合のパラメーター推定として位置づけました。混合モデルの視点は、クラスタリングを尤度問題に変え、今日広く使用されているモデルベースのクラスタリングツールの基礎となっています。
使うべき場面
クラスターが重なり合ったり、サイズが異なったり、球状ではなく細長くなったりする可能性があり、ハードなラベルではなくソフトな確率的メンバーシップが必要な場合に、連続的で大まかにガウス形状のデータをクラスタリングまたは探索するためにガウス混合モデルを使用します。データがガウス分布の混合によって生成されたと仮定し、連続変数で機能し、少なくとも約50の観測値が必要です。成分の数はBICまたはAICで選択でき、次元の呪いを避けるためにPCA前処理が推奨されます。約50未満の観測値の場合、またはガウス仮定が失敗する場合は、K-meansの方がより堅牢な選択肢です。
限界と注意点
- データがガウス分布の混合によって生成されたと仮定します。この仮定が失敗すると結果は悪化します。
- EMは局所最適解に収束する可能性があり、結果は初期化に依存します。
- 特に高次元または小サンプルでは、共分散行列が特異になる可能性があります。
- 少なくとも約50の観測値が必要であり、次元の呪いを避けるためにPCA前処理が有効です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 強制的なハードな割り当てではなく、ソフトで確率的なクラスターメンバーシップ。
- 各成分は独自の共分散を持つため、クラスターは細長くなったり、回転したり、サイズが異なったりする可能性があります。
- 球状で等サイズのクラスターという仮定を緩和した、K-meansの真の一般化。
- BICやAICなどの情報量基準を用いて、成分数を客観的に選択できます。
応用
- クラスターが重なり合う連続データのソフトな確率的クラスタリング。
- 形状やサイズが異なるクラスターを持つサブポピュレーションの探索的分析。
- データをガウス分布の重み付き混合として表現することによる密度推定。
- 球状で等サイズのクラスターが非現実的な場合のK-meansに対するより柔軟な代替手段。
使い方
使い方
データは、K個のガウス分布の重み付き和から得られるものとして扱われます。各成分は混合重み、平均ベクトル、共分散行列を持つため、単一の成分は球体に強制されるのではなく、細長くなったり傾いたりすることができます。目標は、観測されたデータが最も起こりうるような重み、平均、共分散を見つけることです。
数式
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)Eステップでは、モデルは各観測値について、各成分の責任、つまりその点がそのガウス分布によって生成された事後確率を計算します。これらのソフトなメンバーシップは、K-meansの全か無かの割り当てに代わり、クラスター間の重なりを捉えます。
数式
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}Mステップでは、各成分のパラメーターが責任で重み付けされた統計量として再推定されます。平均、共分散、および混合重みは、各点がその成分にどれだけ強く属しているかに比例して、すべての点を使用して更新されます。EステップとMステップは交互に繰り返され、適合が収束するまで尤度を増加させます。
数式
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}成分の数は事前に固定されていません。候補となる値は、適合度と複雑さのバランスをとるBICやAICなどの情報量基準を使用して比較されます。EMは局所最適解に陥る可能性があり、共分散行列が特異になる可能性があるため、事前にPCAなどの次元削減を行い、複数回再起動することが推奨されます。
よくある落とし穴
- 約50未満のサンプルでGMMを実行すると、EMが局所最適解に陥り、共分散が特異になる。
- 高次元データでPCAやその他の次元削減をスキップすると、特異な共分散行列を招く。
- 候補間でBIC/AICを比較する代わりに、目視で成分数を固定する。
- 劣悪な局所最適解から脱却するために、複数回の再起動ではなく、単一のEM実行に依存する。
- K-meansの方がより堅牢であるような、明らかに非ガウスデータに適用する。
よくある質問
ガウス混合モデルはK-meansとどう違うのですか?
K-meansは各点を正確に1つの球状で等サイズのクラスターに割り当てます。ガウス混合モデルはその一般化であり、各成分は独自の共分散を持つため、クラスターは細長くなったり、回転したり、サイズが異なったりすることができ、各点は単一のハードなラベルではなく、各成分に属する確率を受け取ります。
成分の数はどのように選択すればよいですか?
いくつかの候補となる成分数でモデルを適合させ、適合度とモデルの複雑さのバランスをとるBICやAICなどの情報量基準で比較し、基準を最適化する数を選択します。
GMMの実行ごとに結果が異なるのはなぜですか?
初期化に依存して局所最適解に収束する可能性があるEMで適合されるためです。複数回再起動して最良の適合を保持し、最初にPCAで次元を削減することで、結果がより安定します。
K-meansを代わりに選択すべきなのはいつですか?
サンプルが小さい場合(約50未満)やデータが明らかにガウス分布でない場合、EMは局所最適解に落ち着き、共分散行列が特異になる可能性があります。これらのケースではK-meansの方がより堅牢な選択肢です。
関連する手法
参考文献
Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.
DOI 文献を開くコピーしました。