Skip to content
検索結果に戻る

ベイズ混合ガウスモデル

提唱者
Attias, H.; Bishop, C. M.
年
1999–2006
種類
Probabilistic clustering / density estimation
系統
Machine learning

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

ベイズ混合ガウスモデル(Bayesian Gaussian Mixture Model)は、混合パラメータすべてに事前分布を置き、それらの事後分布を推論する(通常は変分ベイズまたはMCMCを用いる)ことで、固定された点推定値ではなく、原理に基づいた不確実性の定量化、実効的な成分数の自動選択、および小さなデータセットに対する過学習への耐性を実現する。

手法の背後にある直感

標準的なGMMは、いくつのクラスタを適合させるかを問い、その数を確定してから、EMアルゴリズムを用いて固定された平均と共分散を最適化する。ベイズ版では、代わりに全てのパラメータ確率分布を保持する。すなわち、各クラスタの位置、形状、さらにはクラスタが必要かどうかにさえ不確実性を保つ。データによって支持されない成分は、事前分布を通じて自動的にゼロの重みに収縮されるため、モデルは交差検証による多数のK値に対するモデル選択なしに、自身で実効的な複雑性を決定できる。

歴史学

混合モデルのベイズ的扱いは、1990年代にMCMCサンプラーを通じて形式化された。Attias(1999)はGMMへの変分ベイズアプローチを導入し、このフレームワークはBishop(2006)の『Pattern Recognition and Machine Learning』で普及・体系化され、第10章に完全な導出が示されている。ディリクレ過程事前分布を用いたノンパラメトリック拡張により、真にオープンエンドなKが可能になり、Rasmussen(2000)やBlei & Jordan(2006)で発表された。

使うべき場面

確率的なソフトクラスタリングまたは連続多変量データに対する密度推定が必要で、成分数Kを事前に固定することを避けたい場合、またはクラスタ割り当てとパラメータの周りの不確実性推定が必要な場合に、これを使用する。標準的なEM GMMが過学習するような、小〜中規模のデータセット(数十から数万の観測値)に理想的である。次元削減なしの高次元データ、カテゴリカルまたは順序データのみの特徴、または確率的でないハードパーティションのみが必要で速度が最優先される場合には適さない。

限界と注意点

  • 変分ベイズはELBOの局所最適解を見つけるが、全体的な事後分布ではない。結果は初期化に依存する可能性がある。
  • 事前ハイパーパラメータの選択(特にディリクレ集中度)は、どの成分が生き残るかに影響を与え、正当化される必要がある。
  • 標準的なEM-GMMよりも反復あたりの計算コストが高く、ゼロから実装するのが難しい。
  • 高次元データ(多くの特徴量)は、注意深い共分散パラメータ化または事前次元削減を必要とする。
  • 成分の事後分布の解釈には、変分推論の概念に精通している必要がある。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 繰り返しグリッドサーチでKを事前に指定する必要性を減らし、未使用の成分を自動的に枝刈りする。
  • パラメータ全体に対する事後分布を返すため、クラスタ割り当てに関する校正された不確実性定量化が可能になる。
  • 事前分布が成分の共分散と重みを正則化するため、小規模データセットでの過学習に強い。
  • ソフトな割り当ては、下流の確率的パイプラインや混合密度ネットワークに適している。
  • 変分ベイズ実装は、ベイズ的利点を維持しながら、完全なMCMCよりもスケーラビリティが高い。

応用

  • 話者ダイアライゼーションや話者数が不明な音声セグメンテーション。
  • 学習された全成分の下で低い確率が割り当てられた観測値を特定することによる異常検知。
  • ソフトなピクセルからクラスタへのメンバーシップを用いた画像セグメンテーションと色量子化。
  • 連続多変量データの生成モデリングとシミュレーションのための密度推定。
  • 真のサブタイプの数が不確かな場合の、ゲノムまたは臨床患者プロファイルのクラスタリング。
  • 変分オートエンコーダーなどの、より複雑な生成モデルの初期化。

使い方

使い方

1

混合比率(ディリクレ分布)、成分の平均(ガウス分布)、および精度行列(ウィシャート分布)に対して共役事前分布が置かれる。ディリクレ分布の集中度パラメータは、混合重みが成分間でどのように分散するかを制御する。小さい値は重みを少数のクラスタに押し付け、不要な成分を効果的に罰する。

数式
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)
2

変分Eステップでは、対数混合重みと対数精度行列の行列式の現在の期待値を用いて、ソフトな責任(soft responsibilities)r_nk、すなわち観測値nが成分kに属する近似事後確率を計算する。これにより、パラメータの不確実性がクラスタ割り当てに伝播する。

数式
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]
3

各成分の十分統計量は、ソフトな責任から集計される。すなわち、実効カウントN_k、重み付き平均、および重み付き散布行列である。これらは、ハードカウントのEM等価物を置き換え、後続のパラメータ事後更新を駆動する。

数式
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top
4

各共役事後分布の自然パラメータは、事前ハイパーパラメータに十分統計量を加えることで更新される。ディリクレ事後分布は、低いN_kを持つ成分をゼロの重みに収縮させ、未使用クラスタの自動的な枝刈りを実装する。

数式
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
5

収束は、対数周辺尤度(log marginal likelihood)の下限であるエビデンス下限(Evidence Lower BOund, ELBO)によって監視される。ELBOは、各変分EMサイクルで非減少することが保証されており、改善が許容値以下になるまで反復が継続される。

数式
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]

よくある落とし穴

  • 初期成分数Kを小さすぎると、未使用成分が枝刈りされても、モデルがすべての真の構造を発見できなくなる可能性がある。
  • ハイパーパラメータスイープを短時間実行せずに、ディリクレ事前集中度への感度を無視すること。
  • 単一のランダム初期化を信頼すること。複数の再起動と最良ELBO選択が重要である。
  • 特徴量を近似的に連続ガウス形式に変換せずに、離散的または混合型のデータにモデルを適用すること。
  • ソフトな責任(クラスタ割り当ての確率)を報告せず、モデルの主要な確率的出力を破棄すること。

よくある質問

標準的なEM適合GMMとどう違うのですか?

標準EMは点推定値(固定された平均、共分散、重み)を与え、適合前にKを固定する必要がある。ベイズGMMは全パラメータに対する事後分布全体を推論し、空の成分を自動的に枝刈りし、パラメータの不確実性を予測に伝播させる。

初期成分数Kをどう選べばよいですか?

予想されるクラスタ数よりも十分に大きいKを設定する。ディリクレ事前分布が実効カウントを収縮させる。データによって支持されない成分はゼロに近い重みに集まり、自動的に枝刈りされる。一般的な経験則として、K = 2 ×(予想クラスタ数)から始める。

このモデルでは、常にMCMCよりも変分ベイズの方が良いのですか?

変分ベイズは高速で決定的だが、事後分布を因子化された分布で近似するため、不確実性を過小評価する可能性がある。MCMCは漸近的に正確だがコストが高い。中規模データに対するほとんどの実用的な問題では、変分ベイズが現実的な選択肢である。

どのハイパーパラメータが最も重要ですか?

ディリクレ集中度α₀は、成分がどれだけ積極的に枝刈りされるかを制御する。小さい値(例:0.01〜1)はスパースな解を好み、大きい値は重みをより均等に広げる。ウィシャート分布の自由度ν₀とスケールW₀は、共分散の形状がどれだけ制約されるかを制御する。

代わりにディリクレ過程GMMを使うべきなのはいつですか?

ディリクレ過程(無限混合)GMMは、上限Kを全く指定する必要のない、完全なノンパラメトリック処理を望む場合に使う。トレードオフは、実装の複雑さが増し、推論が遅くなることである。

関連する手法

参考文献

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.

    ISBN:978-0-387-31073-2
    コピーしました。
  2. Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.

    出版物の文献を開く
    コピーしました。