アクティブラーニング・ガウス混合モデル
- 提唱者
- Settles, B. (active learning framework); Dempster, Laird & Rubin (GMM via EM, 1977)
- 年
- 2000s (combination)
- 種類
- Active learning for probabilistic clustering / density estimation
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アクティブラーニング・ガウス混合モデル(Active Learning Gaussian Mixture Model)は、反復的なクエリ戦略とガウス混合モデル(GMM)学習器を組み合わせたアルゴリズムである。このアルゴリズムは、最も情報量の多いラベルなしデータ点(通常は予測不確実性が最も高いもの)を選択し、それをオラクル(正解ラベルを付与する者)に提示してラベル付けさせ、増え続けるラベル付きデータセットを用いてEMアルゴリズムによりGMMを再学習させる。結果として、はるかに少ないラベル付きデータ例で、完全なデータと同等の品質を持つ密度モデルが得られる。
手法の背後にある直感
データのラベル付けはコストがかかる。全てのデータに単純にGMMを適用して学習させれば良好な性能は得られるが、多くのラベル付きデータ例を必要とする。アクティブラーニングは、「どのラベルなしデータ点を今ラベル付けすれば、混合成分に関する不確実性を最も減少させられるか?」と問うことでこの問題を解決する。データ点のうち、成分間の決定境界付近にあるものや、サンプリングが疎な領域にあるものが最も情報量が多い。そのような価値の高いデータ点のみを問い合わせ、各ラベルが得られるたびにGMMを再学習させることで、ラベル付け予算のごく一部で良好な性能を達成できる。これは、医療画像処理や希少イベント検出など、専門家によるアノテーションが高価なタスクに適している。
歴史学
期待値最大化(EM)アルゴリズムによるガウス混合モデルは、1977年にDempster、Laird、Rubinによって形式化された。体系的なフレームワークとしての能動学習は、2000年代にSettlesによって明確にされ、広く引用されている2012年の合成講義で集大成された。GMMとの能動的クエリの組み合わせは、アノテーション予算が限られている密度推定および半教師ありクラスタリングの応用を動機として、2000年代および2010年代の機械学習文献に登場した。
使うべき場面
ラベル付けコストが非常に高い、または時間がかかる場合に、豊富なラベルなし連続データがある場合に、確率的密度モデルまたはクラスタリングモデルを望む際に、アクティブラーニングGMMを使用する。これは、ソフトクラスタメンバーシップ、クラスの重複、および不確実性定量化の必要性(異常検出、医療診断、科学的分類など)を持つタスクに適している。ラベルがすでに豊富で安価な場合、成分数Kが非常に不確かで外部から検証できない場合、データが高次元で次元削減が行われていない場合(GMMの共分散推定が悪化する)、または主な目的が密度推定ではなく識別である場合には使用しない。
限界と注意点
- 成分数Kの選択には、ドメイン知識またはBIC/AICなどのモデル選択基準が必要である。
- GMMの共分散推定は、次元削減なしでは高次元特徴空間で急速に劣化する。
- 初期ラベル付きシードが、意味のあるモデルをブートストラップするには小さすぎると、アクティブラーニングの利得が減少する。
- 逐次的なクエリはフィードバックループを作成し、初期モデルが誤って指定されている場合、ラベル付きプールを偏らせる可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 最も不確実な例のみをターゲットにすることで、ラベル付けコストを劇的に削減する。
- ハードラベルだけでなく、ソフトな確率的クラスタ割り当てと完全な密度モデルを提供する。
- GMM事後確率からの不確実性推定値が、クエリ基準として直接機能し、パイプラインの一貫性を保つ。
- EMのウォームスタートにより、中程度のサイズのデータセットでもラウンドごとの再学習が高速になる。
- 中程度の次元の連続データでうまく機能し、重複するグループを自然に処理する。
応用
- 専門家による組織領域のアノテーションが高価な、医療画像セグメンテーション。
- 不確実性誘導型ラベル付けを用いたセンサーストリームにおける希少イベント検出。
- 限られた正解ラベルを持つ科学データクラスタリング(例:銀河の形態、タンパク質ファミリー)。
- 反復的な専門家フィードバックを用いた産業品質管理における異常スコアリング。
- 音素レベルのアノテーションに時間のかかる、音声およびオーディオモデリング。
使い方
使い方
まず、選択された成分数Kを持つ初期GMMを、利用可能なラベル付きデータに適合させるか、少数のランダムなシードセットから初期化する。EMアルゴリズムにより、混合重み、成分の平均、および共分散行列が得られ、これらが初期密度推定値を定義する。
ラベルなしデータ点ごとに、アルゴリズムは情報量スコアを計算する。一般的には、K個の成分に関する予測エントロピー H(y|x,θ) や、上位2つの成分の事後確率の差(マージン)が用いられる。最も高いスコアを持つデータ点が、次のクエリとして選択される。
数式
x^* = \arg\max_{x \in U}\, H(y \mid x, \theta)選択されたデータ点は、人間による専門家または自動化されたオラクルに提示され、クラスタまたはクラスのラベルが付与される。このラベルはラベル付きプールに追加され、データ点はラベルなしプールから削除される。
更新されたラベル付きプールを用いて、EMアルゴリズムによりGMMが再学習される。各ラウンドで追加されるデータ点は1つまたは少数のバッチであるため、以前のパラメータからウォームスタートすることで、再学習は効率的に行われる。
注釈予算が枯渇するか、不確実性スコアが閾値を下回るか、またはモデルのホールドアウト性能が改善しなくなるまで、クエリは継続される。最終的なGMMは、密度推定、クラスタリング、または分類に使用される。
よくある落とし穴
- アクティブに選択されたラベル付きセットを、標準的な推論のための独立同分布(i.i.d.)サンプルとして扱うこと。これは設計上、偏ったサンプルである。
- BICまたはクロスバリデーションされた対数尤度を確認せずにKを早期に固定すると、誤って指定された成分につながる。
- アクティブ選択の適応的利点を無効にする、各ラウンドで非常に大きなバッチでクエリを実行すること。
- 小さなラベル付きプールでの共分散正則化(例:小さな対角項の追加)を無視すること。これにより、退行的なEM更新が発生する。
- ホールドアウトされたラベルなしセットではなく、ラベル付きプールのみで評価すること。これにより、見かけの性能が誇張される。
よくある質問
ガウス成分数Kをどのように選択しますか?
利用可能なラベル付きデータに異なるKを持つGMMを適合させ、BICまたはAICスコアを比較する。ラベル付きデータが少ない場合は、ホールドアウトされたラベルなしサブセットでのクロスバリデーション対数尤度がより信頼できる。予想されるクラスタ数またはクラス数に関するドメイン知識が最も信頼できるガイドとなる。
ラウンドごとに複数のデータ点をクエリできますか?
はい。バッチモードのアクティブラーニングは、各ラウンドで最も不確実な上位B個のデータ点を選択する。バッチサイズが大きいと、並列アノテーションが可能になるが、単一クエリ更新の適応的利点は減少する。実務では5〜20のバッチサイズが一般的である。
ラベルなしデータが高次元の場合はどうなりますか?
GMMを適合させる前に、PCAまたはオートエンコーダーを適用して次元を削減する。GMMにおける共分散推定は、ラベル付き観測数の相対的な特徴量の数が増加すると急速に劣化し、完全な共分散行列はほぼ特異になる。
これは半教師ありGMMとどう異なりますか?
半教師ありGMMは、各EMステップでラベル付きデータとラベルなしデータの両方を使用し、ラベルなしデータの密度構造を利用する。アクティブラーニングGMMは、次にどのラベルなしデータ点をラベル付けするかを決定することに焦点を当て、通常はそれらをラベル付きプールにのみ保持する。これら2つのアプローチは組み合わせることができる。適合のために半教師ありEMを使用し、ラベル付けするものを決定するためにアクティブクエリを使用する。
GMMを用いたアクティブラーニングは異常検出に適していますか?
はい、ただし注意が必要です。主に正常なデータで学習された初期GMMは、尤度が低いデータ点を異常としてフラグを立てることができる。それらのデータ点の積極的なクエリにより、オラクルは異常を確認または拒否でき、正常および異常な密度領域間の境界を徐々に洗練させることができる。
関連する手法
参考文献
Zhu, X., Ghahramani, Z., & Lafferty, J. (2003). Semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the 20th International Conference on Machine Learning (ICML), 912–919.
出版物の文献を開くコピーしました。Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool Publishers.
DOI 文献を開くコピーしました。