オンラインナイーブベイズ
- 提唱者
- Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
- 年
- 2000s
- 種類
- Probabilistic classifier (online/incremental)
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
Online Naive Bayesは、古典的なNaive Bayes分類器の逐次的な適応であり、1度に1つの観測値(または1つのミニバッチ)でクラス条件付き統計を更新するため、データストリーム、メモリに保持できない非常に大きなデータセット、および新しいラベル付き例が到着するにつれてモデルが継続的に適応する必要がある設定に適しています。
手法の背後にある直感
古典的なNaive Bayesは、すべてのトレーニングデータを一度に読み込み、クラス事前確率と特徴尤度を計算してから、パラメータを固定します。Online Naive Bayesは代わりに、各新しい例で逐次的に更新される、実行中のカウントまたは十分統計量(平均、分散、特徴頻度)を維持します。Naive Bayesの条件付き独立性の仮定は、尤度が特徴ごとの項に分解されることを意味するため、各特徴の統計量は独立かつ安価に更新でき、モデルは確率的予測メカニズムを犠牲にすることなく、ストリーム上での1パス学習に自然に適しています。
歴史学
Naive Bayesは18世紀にさかのぼるベイズ統計学にルーツがありますが、テキスト分類器としての使用は1990年代(例:McCallum & Nigam, 1998)に普及しました。オンライン/逐次変数は、2000年代初頭にデータストリームマイニングコミュニティで体系的な注目を集めました。特に、DomingosとHultenによる高速データストリームマイニングに関する研究(KDD 2000)を通じてです。現在では、ストリーム処理ツールキットの標準コンポーネントであり、scikit-learnではpartial_fit APIを通じて直接利用できます。
使うべき場面
データがストリームとして到着する場合、または一度にメモリにロードするには大きすぎる場合、高速でメモリ効率の良い逐次更新が必要な場合、またはモデルが新しい例に継続的に適応する必要がある場合(例:ライブフィードのテキスト分類、スパムフィルタリング、IoTパイプラインでのイベント分類)にOnline Naive Bayesを使用してください。また、ストリーミング設定における高次元疎テキストデータ(バッグオブワーズ、TF-IDF)の強力なベースラインでもあります。条件付き独立性の仮定が著しく違反されており、バッチモードでより表現力の高いモデルをトレーニングするのに十分なデータがある場合、特徴が高度に相関しており相互作用のキャプチャが重要な場合、またはクラス分布が著しく不均衡で修正がない場合は使用しないでください。
限界と注意点
- ナイーブな条件付き独立性の仮定は、正確に満たされることはめったになく、特徴が強く相関している場合は精度を損なう可能性があります。
- 特徴の相互作用を学習できません。各特徴は事後確率に独立して寄与します。
- 概念ドリフトは、デフォルトモデルがすべての履歴証拠を蓄積するため、明示的な忘却メカニズム(例:スライディングウィンドウ、減衰係数)を必要とします。
- ガウスNaive Bayesは、クラスごとの単峰性でほぼガウス分布の特徴分布を仮定しますが、これは当てはまらない場合があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 1度に1つの例を処理し、特徴あたりO(1)の更新コストで、ストリーミングデータに対して非常に高速でメモリ効率が良いです。
- 自然に確率的:ハードラベルだけでなく、キャリブレーションされたクラス事後確率を出力します。
- 速度ペナルティなしで、非常に高次元の特徴空間(例:テキスト)にスケールします。
- 履歴データを保存する必要はありません。モデルは十分統計量によって完全に定義されます。
- 実装と理解が容易です。条件付き独立性の仮定は、実際には予想よりもうまく機能することがよくあります。
応用
- 電子メールまたはメッセージストリームでのリアルタイムスパムおよびフィッシング検出。
- ライブニュースフィードまたはソーシャルメディアでの逐次テキスト分類。
- データが継続的に到着するIoTシステムでのセンサーイベント分類。
- 高次元バッグオブワーズまたはTF-IDF特徴空間のベースライン分類器。
- ストリーミング顧客レビューまたはソーシャル投稿でのオンライン感情分析。
- メモリに収まらないほど大きい分類タスクで、高速な確率モデルが許容できる場合。
使い方
使い方
クラス事前確率 P(C_k) = N_k / N は、起動時に利用可能なラベル付きデータから初期化されるか(または一様に設定されます)。特徴ごとの十分統計量(カテゴリ特徴量のカウント、ガウス特徴量の実行時平均と分散)も同様に初期化されます。
数式
P(C_k) = N_k / N
新しいラベル付き例 (x, y) が到着すると、クラスカウント N_y が1つインクリメントされ、クラス y の下での各特徴 x_i の十分統計量が更新されます。ベルヌーイまたは多項式特徴量のカウントはインクリメントされ、ガウス特徴量の実行時平均と分散はWelfordのオンラインアルゴリズムを使用して更新されます。古い例を再訪する必要はありません。
予測時(または各更新後)、特徴ごとの尤度 P(x_i | C_k) は現在の十分統計量から計算されます。ガウスNaive Bayesの場合はガウスPDFが評価され、多項式またはベルヌーイ変数の場合は平滑化された頻度比が使用されます。
数式
P(x_i | C_k)
各クラスの事後確率 P(C_k | x) は、クラス事前確率とすべての特徴ごとの尤度の積として計算され、事後確率が最も高いクラスが返されます。実際には対数を使用するため、これは合計になり、数値アンダーフローを回避します。
数式
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)よくある落とし穴
- 多項式/ベルヌーイ変数のラプラス(アドワン)平滑化を適用し忘れること。これにより、未知の特徴値に対してゼロ確率の問題が発生します。
- 概念ドリフトの無視:忘却またはウィンドウ戦略がない場合、モデルは非定常ストリームでゆっくりと時代遅れになります。
- カウントデータ(例:単語カウント)にガウスNaive Bayesを使用すること(多項式Naive Bayesの代わりに)。
- モデル確率をチェックせずに完全にキャリブレーションされていると見なすこと。アイソトニック回帰またはプラットスケーリングが必要になる場合があります。
- クラスの不均衡が存在する場合に精度のみを評価すること。クラスごとに適合率、再現率、F1を使用してください。
よくある質問
Online Naive Bayesは概念ドリフトをどのように処理しますか?
デフォルトではすべての証拠を蓄積するため、ドリフトへの適応は遅いです。より速く反応するには、スライディングウィンドウ(最近の例のみをカウント)、指数関数的忘却(古い観測値の重みを少なくする)、またはドリフトが検出されたときに十分統計量をリセットします。
どのバリアントを使用すべきですか?ガウス、多項式、またはベルヌーイ?
テキスト(カウントまたはバイナリ特徴ベクトル)には多項式またはベルヌーイNaive Bayesを、各クラス内でほぼ正規分布している連続特徴量にはガウスNaive Bayesを使用してください。オンライン更新ロジックはわずかに異なりますが、すべてのバリアントが逐次更新をサポートしています。
Online Naive Bayesは、より複雑なオンラインモデルと競合しますか?
高次元疎テキストでは、計算コストが低いことを除けば、オンラインロジスティック回帰またはオンラインSVMと競合することがよくあります。密な低次元または高度に相関した特徴セットでは、オンラインロジスティック回帰または勾配ブースティングが通常それを上回ります。
オンライン分類器をどのように評価すべきですか?
逐次(テスト後トレーニング)評価を使用します。モデルを更新する前に各例を予測し、次に更新します。これにより、個別のホールドアウトセットなしでストリーミングパフォーマンスの偏りのない推定値が得られます。
Online Naive Bayesをバッチトレーニング済みモデルから初期化できますか?
はい。初期データセットでバッチNaive Bayesモデルをトレーニングして、良好な開始十分統計量を取得し、次に逐次更新に切り替えます。このウォームスタートアプローチは、ランダムに初期化されたモデルのコールドスタートの不正確さを回避します。