半教師ありナイーブベイズ
- 提唱者
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- 年
- 2000
- 種類
- Semi-supervised generative classifier
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
半教師ありナイーブベイズは、少数のラベル付きデータセットと大量のラベルなしデータセットを共に活用するために、古典的なナイーブベイズ生成モデルを拡張したものである。期待値最大化(Expectation-Maximization; EM)アルゴリズムを用いることで、ラベルなしデータに対するソフトなクラス割り当てを反復的に推定し、クラスおよび特徴のパラメータを再推定することで、ラベル付きデータが少ない場合に分類器の性能を大幅に向上させる。
手法の背後にある直感
古典的なナイーブベイズでは、クラス確率と特徴尤度を推定するためにラベル付きデータが必要である。ラベル付けは高コストだが生データは豊富にある場合、データ中の情報の大部分が活用されないままになる。半教師ありナイーブベイズは、ラベルなしデータインスタンスの未知のラベルを隠れ変数として扱うことでこの問題を解決する。これは、現在のモデルに基づいてそれらのラベルを推測するステップ(Eステップ)と、それらの推測を用いてモデルを洗練させるステップ(Mステップ)を交互に行う。数回の反復を経て、モデルはラベル付きデータのみでは達成できない、はるかに正確なパラメータ推定へと自己ブートストラップする。
歴史学
Nigam、McCallum、Thrun、Mitchell(2000)は、テキスト分類のために半教師ありナイーブベイズを普及させ、多項ナイーブベイズモデルを用いたEMが、少数のラベル付き記事にラベルなしニュースグループ記事を補完した場合、ベンチマークデータセットのエラー率を半分にできることを示した。このアプローチは、混合モデルのためのEMに関する初期の研究に基づき、半教師あり学習の文献における標準的な例となり、Chapelleら(2006)で広く議論された。
使うべき場面
ラベル付きデータインスタンスが数十から数百個しかないが、同じ分布からの大量のラベルなしデータが利用可能な場合に理想的である。これは、テキスト分類、スパムフィルタリング、および生物医学文書のカテゴリ分類でよく見られる状況である。特徴量はクラスを与えられた場合に条件付き独立である(またはそれに近い)べきであり、ボウル・オブ・ワーズ(bag-of-words)やカウントベースの表現が自然に適合する。ラベルなしデータがラベル付きセットとは異なる分布から来ている場合(共変量シフト)、EMの更新が逆に性能を低下させる可能性があるため、避けるべきである。そのような場合、λ重み付けパラメータを調整する必要がある。また、条件付き独立性の仮定が著しく違反されており、ラベルの希少性に関係なく識別モデルが強く好まれる場合にも避けるべきである。
限界と注意点
- ナイーブベイズの条件付き独立性の仮定を継承している。相関のある特徴はパラメータ推定値を劣化させる。
- EMは初期化に依存する局所最適値に収束する。複数のランダムな再起動が必要になる場合がある。
- ラベルなしデータがシフトした分布から来ている場合、注意深くダウンウェイトしない限り、精度を低下させる可能性がある(負の転移)。
- 小規模な特徴セットで特徴間の相関が強い場合、識別的な半教師あり手法(例:トランスダクティブSVM、ラベル伝播)よりも競争力が劣る。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- そうでなければ破棄されるラベルなしデータを効率的に活用し、しばしば必要とされるラベル付きデータの量を劇的に削減する。
- 計算が高速である。各EM反復はデータサイズに対して線形であり、大規模なテキストコーパスに適している。
- 確立された確率的フレームワークであり、収束保証(尤度の局所最適値への)がよく理解されている。
- 下流のランキングや閾値処理を可能にする、調整された事後確率を生成する。
- 実装と拡張が容易である。λ重み付けは、ラベルなしデータの影響を制御するための実用的な調整ノブを提供する。
応用
- 限られたラベル付きトレーニングデータでのテキストおよび文書分類。
- ラベル付きスパムが少ないがラベルなしメールが豊富な場合のスパムおよびフィッシング検出。
- 少数のラベル付きレビューからブートストラップされた感情分析。
- 少数の専門家によってラベル付けされたサブセットを用いた生物医学文献のカテゴリ分類(例:PubMed記事のトリアージ)。
- 少数の手動でラベル付けされたシードと大規模なクロールされたコーパスを使用したWebページトピック分類。
- 履歴チケットのごく一部のみに確認済みのカテゴリラベルが付いている場合の、電子メールまたはチケットのルーティング。
使い方
使い方
ラベル付きデータのみを使用して、初期のナイーブベイズモデルを訓練する。これにより、クラス事前確率 P(y) と条件付き特徴尤度 P(x_j | y) の最初の推定値が得られる。通常、未知の特徴値に対処するためにラプラススムージングが適用される。この結果得られたモデルは、最終的な分類器ではなく、EMループの出発点となる。
現在のモデルをすべてのラベルなしデータインスタンスに適用し、ソフト(確率的)なクラスメンバーシップ重みを計算する。各ラベルなし文書またはインスタンスは、事後確率 P(y | x, theta) に比例して、すべてのクラスに部分的に割り当てられる。これらの部分的なカウントは、ラベル付きデータからのハードカウントを補完する。
数式
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}モデルパラメータ(クラス事前確率と特徴尤度)すべてを、ラベル付きデータからのハードカウントとEステップで蓄積された部分的なカウントをプールして再推定する。ラベルなしデータは、推定されたクラス重みに比例して寄与するため、情報量の多いラベルなしデータは意味のある形でパラメータをシフトさせる。
すべてのデータ(ラベル付きおよびラベルなし)の対数尤度が収束するか、最大反復回数に達するまで、EステップとMステップを繰り返す。重みハイパーパラメータであるλ(ラムダ)は、ラベルなし分布がラベル付き分布と異なる場合に、ラベルなしデータの寄与をダウンウェイトすることで、負の転移を防ぐことができる。
収束後、学習済みパラメータの下で事後確率が最も高いクラスを割り当てるという標準的なナイーブベイズ規則を使用して、新しいインスタンスを分類する。実行時の推論は、通常のナイーブベイズと同様に高速で、閉形式で計算可能であり、大規模な文書コレクションに適している。
数式
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)よくある落とし穴
- ラベル付きとラベルなしのデータプール間の分布の不一致を無視すること。常に両方のサンプルが同じタスクとドメインから抽出されていることを確認する。
- ラベルなしデータの品質が不確かな場合にλチューニングを省略すること。λ=1をデフォルトにするとパフォーマンスが低下する可能性がある。
- トレーニングラベル付きセットのみで評価し、ホールドアウトテストセットを使用しないこと。これにより、見かけ上の精度が誇張される。
- EM収束を保証された最適性とみなすこと。常にラベル付きのみのベースラインおよび単純な自己学習ベースラインと比較すること。
- Eステップ中に未知の特徴値に対してゼロ確率のクラッシュを引き起こすラプラススムージングを忘れること。
よくある質問
良い開始モデルを得るために、いくつのラベル付きインスタンスが必要ですか?
ラプラススムージングが適用されている場合、多数の特徴を持つテキストではクラスあたり10〜50個で十分な場合があります。より多くのラベル付きインスタンスは常に役立ちますが、半教師ありアプローチは、特に数百個未満のラベル付きインスタンスがある場合に輝きます。
λパラメータとは何ですか?どのようにチューニングしますか?
λは、Mステップ中にラベルなしインスタンスがラベル付きインスタンスに対してどれだけ重みを受けるかを制御します(λ=1は同等に扱い、λ=0は無視します)。ラベル付きセットでのクロスバリデーションを通じてチューニングし、{0.1、0.3、0.5、1.0}の値から始めます。分布の不一致が疑われる場合はλを減らします。
EMは常にラベル付きのみのナイーブベイズよりも改善されますか?
いいえ。ラベルなしデータが異なる分布から来ている場合、EMはパラメータを誤った方向に移動させ、エラーを増加させる可能性があります。展開する前に、常にラベル付きのみのベースラインと比較してください。
これは自己学習(self-training)とどう異なりますか?
自己学習は、信頼度閾値を超えるラベルなしインスタンスにハードラベルを割り当て、再学習します。EMによる半教師ありナイーブベイズは、各反復ですべてのラベルなしインスタンスにソフトな部分ラベルを割り当てます。これは統計的に、より原理的であり、自己学習で発生する可能性のある信頼度の高いエラーの連鎖を回避します。
非テキストの表形式データに適していますか?
はい。連続特徴の場合、多項尤度をクラスごとのガウス(または他のパラメトリック)尤度に置き換えます。EMループ構造は同一であり、Mステップのパラメータ計算式のみが変更されます。
関連する手法
参考文献
Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.
DOI 文献を開くコピーしました。Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN:978-0-262-03358-9コピーしました。