半教師ありガウス混合モデル
- 提唱者
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- 年
- 2000
- 種類
- Generative semi-supervised classifier
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
半教師ありガウス混合モデル(SS-GMM)は、期待値最大化(EM)アルゴリズムを用いて、ラベル付きデータとラベルなしデータの両方にガウス混合を適合させる生成確率的分類器である。ラベル付きデータ点は成分割り当てを制約し、ラベルなしデータ点は密度推定を改善することで、アノテーションが少ない場合に効果的な学習を可能にする。
手法の背後にある直感
少数のラベル付き例と多数のラベルなし例があると想像してほしい。純粋な教師ありモデルはラベルなしデータを完全に無視し、純粋なクラスタリングはラベルを無視する。SS-GMMは、データをガウスクラスタの混合としてモデル化し、ラベル付き点を正しい成分に固定し、ラベルなし点が成分間で確率的に浮遊することを許可する。EMイテレーションは、データ全体をより良く記述するようにガウス分布を継続的に微調整するため、希少なラベルは共有された密度構造を通じてラベルなし多数派に伝播する。
歴史学
SS-GMMは、1990年代後半のより広範な半教師あり学習の文献から出現した。Nigamら(2000)は、EMをナイーブベイズ生成モデル(対角GMMの特殊ケース)に適用してテキスト分類におけるアプローチを実証し、ラベルなし文書からの測定可能な利得を示した。一般的なフレームワークは、Chapelle、Scholkopf、Zien(2006)による影響力のあるMIT Pressの書籍で統合され、SS-GMMは、識別的およびグラフベースの代替手段と並んで、半教師あり分類の代表的な生成アプローチとして確立された。
使うべき場面
ラベル付き例は少ないがラベルなしデータが豊富にあり、かつ基底となるクラス条件付き分布が近似的にガウス分布であるか、または変換によってそうできる場合にSS-GMMを使用する。これは、低次元から中程度の次元の連続特徴空間(次元削減なしで約20〜50特徴まで)に適している。特徴が強く非ガウス的またはカテゴリカルである場合、ラベル付きサンプルに対してクラス数が大きい場合、クラスタ構造がクラス境界と一致しない場合(クラスタ仮説違反)、または半教師ありSVMやラベル伝播のような識別モデルがデータ形状により良く適合する場合、これの使用は避けるべきである。
限界と注意点
- ガウス分布仮説が強く違反されると、モデル適合度が低下する――非線形変換やカーネル法が必要になる場合がある。
- EMは局所最適解に収束する;結果は初期化に敏感であり、複数の再起動が必要である。
- (次元の呪いによる)高次元データは、正則化や次元削減なしでは共分散推定を信頼できないものにする。
- クラスタ仮説が成り立たない場合(クラスタがクラス境界と一致しない場合)、ラベルなしデータがむしろ精度を低下させる可能性がある。
- 非常に大規模なラベルなしデータセットに対して、確率的またはミニバッチEMバリアントなしでは、スケーリングが悪い。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ラベルが高価または希少な場合のパラメータ推定を改善するためにラベルなしデータを活用する。
- 校正された不確実性定量化を可能にする、原理的な確率的クラス事後確率を提供する。
- よく理解されたEM収束保証を持つ、数学的に透明な生成モデル。
- 1対残(one-vs-rest)分解なしで、多クラス問題を自然に処理できる。
- クラスごとの複数のガウス分布を用いて、クラス内の多峰性分布を捉えることができるように拡張可能である。
応用
- テキストのわずかな割合しか手動でラベル付けできない場合の、テキストおよび文書分類。
- 専門家によるアノテーションが高価でラベルなしスキャンが豊富にある場合の、医療画像解析。
- 部分的なクラスラベルを持つ遺伝子発現クラスタリングなどの、バイオインフォマティクスタスク。
- スパースなグラウンドトゥルースを持つIoT展開における、センサーおよび時系列データ分類。
- 豊富なラベルなしデータから正常クラスの密度をモデル化することによる、半教師あり異常検知。
- ディープラーニングが主流になる前の、自然言語処理特徴学習。
使い方
使い方
混合パラメータ(成分の平均、共分散、混合重み)を、ラベル付きサブセットのみ(例:クラス条件付き平均)から初期化するか、または利用可能な全データに対するk-meansによって初期化する。成分数Kは通常、既知のクラス数に等しく設定されるが、クラスごとに複数の成分も可能である。
各ラベルなし点について、現在のパラメータを与えたときに、点iが成分kに属する事後確率であるソフト責任(soft responsibilities)を計算する。ラベル付き点にはハード割り当て(hard assignments)が与えられる――正しいクラス成分に対する責任は1に設定され、それ以外は0となり、EMフレームワークを壊すことなく教師あり学習を強制する。
数式
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}ラベル付き点に対するハード割り当て制約は、教師なしGMMとの主な違いである。これは成分の同一性をクラスの意味論に結びつけ、ラベルスイッチング問題(label-switching problem)を防ぎ、ラベルなしデータから学習されたクラスタ構造が既知のクラスに関して解釈可能であることを保証する。
ラベル付き点とラベルなし点の両方からの責任重み付き統計量を組み合わせて、すべての混合パラメータを更新する。ラベルなし点はすべての成分に小数カウントを寄与するため、ラベル付きデータが少ない領域でのパラメータ推定を効果的に平滑化し、安定させる。
数式
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}観測データ対数尤度(ラベル付き点とラベルなし点の合計)がわずかな許容誤差を超えて増加しなくなるまで、EステップとMステップを繰り返す。EMは局所最適解に収束し、最終解は初期化に依存するため、収束には注意深く監視し、複数のランダムな再起動を推奨する。
収束したパラメータを与えられたときに、事後確率が最も高い成分を見つけることで、新しい点を分類する。予測クラスは、その成分に関連付けられたラベルである。成分間の事後確率は、校正された信頼度スコアとしても機能する。
数式
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)よくある落とし穴
- 単一のEM初期化を実行し、最初の収束解を受け入れる――常に複数の再起動を使用すること。
- クラス数に等しいKを設定し、クラス内の多峰性を考慮しないこと、これにより密度の捕捉が悪くなる。
- 次元削減または共分散行列の正則化(例:対角または共有共分散)を行わずに、高次元でモデルを適用すること。
- ラベルなしデータは常に役立つと仮定すること――クラスタ仮説と多様体仮説が違反された場合、ラベルなしデータは精度を低下させる可能性がある。
- ラベル付き対ラベルなしの寄与の重み付けを怠ること;一般的な修正策は、ラムダ(lambda)係数でラベル付き点の寄与を重み付けすることである。
よくある質問
SS-GMMは、完全に教師なしのGMMとどのように異なりますか?
教師なしGMMは、クラスラベルの知識なしにクラスタ構造を見つけ、ラベルスイッチングに悩まされる――クラスタインデックスは意味的な意味を持たない。SS-GMMは、各Eステップ中にラベル付き点を正しい成分に固定し、クラスタの同一性をクラスの意味論に結びつけ、ラベルなし点が密度推定を洗練させることを可能にする。
ラベルなしデータが精度を低下させる場合はどうなりますか?
これは「クラスタ仮説違反」問題である:クラス境界が自然な密度クラスタと一致しない場合、ラベルなしデータはモデルを誤った方向に導く。診断ステップには、データを2D(PCA/t-SNE)で可視化する、ラベル付き点に対する重みラムダを増やす、または半教師ありSVMのような識別的な半教師あり手法に切り替えることが含まれる。
クラスごとにいくつのガウス成分を使用すべきですか?
クラスごとに1つの成分から始める。クラスが明らかに多峰性の構造を持つ場合(例:2つのサブポピュレーション)、そのクラスに2つ以上の成分を許可する。過学習することなくモデル次数を比較するために、BICまたはラベル付きサブセットでのホールドアウト尤度を使用する。
完全、対角、または共有共分散行列を使用すべきですか?
完全共分散は最も柔軟だが、成分ごとに多くのサンプルが必要である。対角共分散(特徴は独立していると仮定)は、中〜高次元では最も安全なデフォルトである。共有共分散(すべての成分が1つの行列を共有する)は、パラメータをさらに削減し、クラスの広がりが似ている場合に適している。
ラベル付き対ラベルなしの寄与に対する重みはありますか?
はい。一般的な拡張では、ラベルなし点の数が通常はるかに多いことを補償するために、ラベル付き対数尤度に係数ラムダ(λ > 1)を乗算する。これがないと、ラベルなし多数派がパラメータ更新を支配し、教師信号を洗い流してしまう可能性がある。
関連する手法
参考文献
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN:978-0-262-03358-9コピーしました。Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.
DOI 文献を開くコピーしました。