ナイーブベイズ
- 提唱者
- Mitchell, T. M. (textbook treatment)
- 年
- 1997
- 種類
- Probabilistic classifier (Bayes' theorem with conditional independence)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
ナイーブベイズは、クラスが与えられた場合に特徴量が条件付き独立であると仮定しながらベイズの定理を適用する、高速な確率的分類器です。この手法は、トム・ミッチェルの1997年の教科書『機械学習』で標準的な機械学習手法として扱われています。この単純化された(「ナイーブな」)仮定にもかかわらず、学習は迅速で、しばしば驚くほど正確です。
手法の背後にある直感
特徴量間の複雑な相互作用を学習する代わりに、ナイーブベイズはより単純な問いを投げかけます。各クラスが与えられた場合、各特徴量の値は単独でどれくらいあり得るか?次に、これらの特徴量ごとの尤度をクラスの事前確率と掛け合わせ、最も確率の高いクラスを選択します。特徴量が相互作用しないと仮定することで、数学は自明になり、学習は非常に高速になります。そして実際には、独立性の仮定が厳密に真実でなくても、結果として得られる分類器はクラスをうまくランク付けします。
歴史学
ナイーブベイズ分類器は、古典的なベイズ決定理論から発展し、特にスパムフィルタリングのようなテキスト分類タスクにおいて、応用機械学習の定番となりました。この手法は、トム・ミッチェルの1997年の『機械学習』で標準的な教科書的扱いを受けており、分類器にその名前を与えるベイズ定理の定式化と条件付き独立性の仮定を提示しています。
使うべき場面
カテゴリカル、バイナリ、連続、またはテキスト特徴量があり、少なくとも約30の観測がある場合に、高速分類に適しています。特に強力で安価なベースラインとして役立ちます。分布全体に対する仮定は少ないですが、各バリアントには独自の尤度仮定(例:ガウスバリアントのクラス内正規性)があり、クラスの不均衡に敏感です。特徴量が強く相関している場合や、キャリブレーションされた効果推定値が必要な場合は、ロジスティック回帰を優先してください。
限界と注意点
- 条件付き独立性の仮定はめったに成り立たないため、ランキングが良い場合でも、確率推定値は適切にキャリブレーションされていない可能性があります。
- クラスの不均衡に敏感です。事前確率を調整するか、データをリサンプリングする必要があります。
- ガウスナイーブベイズは、クラス内正規性の仮定が違反された場合に性能が低下します。
- クラスごとの確率推定値が信頼できない非常に小さなサンプルでは信頼性が低いです。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 大規模または高次元のデータ(テキストなど)でも、学習と予測が非常に高速です。
- 単純で低コストなベースラインとしてうまく機能し、ナイーブな仮定にもかかわらずしばしば驚くほどうまく機能します。
- その異なるバリアントを通じて、カテゴリカル、バイナリ、連続、およびテキスト特徴量を扱います。
- パラメータを推定するために比較的少ない学習データしか必要としません。
応用
- スパムフィルタリングや文書分類などのテキスト分類。
- より複雑なモデルを試す前の、高速なベースライン分類。
- カテゴリカル、バイナリ、連続、またはカウント特徴量での分類。
- 学習速度が重要な高次元問題。
使い方
使い方
ベイズの定理によれば、観測された特徴量が与えられたクラスの確率は、クラスの事前確率に、そのクラスの下での特徴量の尤度を掛けたものに比例します。「ナイーブな」ステップは、クラスが与えられた場合に特徴量が条件付き独立であると仮定することであり、したがって同時尤度は特徴量ごとの尤度の単純な積に分解されます。この仮定は実際にはめったに正確に成り立ちませんが、分類器の性能は驚くほど強力になることがあります。
数式
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)学習データから、モデルはクラスの事前確率(各クラスの一般的な度合い)と特徴量ごとの尤度を推定します。尤度の形式はバリアントに依存します。ガウスナイーブベイズは、連続特徴量が各クラス内で正規分布していると仮定しますが、多項ナイーブベイズはテキスト分類における単語頻度カウントに適しており、負の値は受け付けません。各クラスは個別に推定されるため、クラスごとに十分な観測数が必要です。全体で少なくとも約30が必要です。
新しい観測に対して、モデルは事前確率と、各候補クラスの特徴量ごとの尤度の積を組み合わせて、最も高い結果確率を持つクラスを割り当てます。クラスは独立してスコアリングされるため、不均衡なデータセットは結果に偏りを与える可能性があるため、事前確率は調整するか、データをリサンプリングする必要があります。
数式
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)よくある落とし穴
- ランキングとしてではなく、生の出力確率を適切にキャリブレーションされたものとして信頼すること。
- 事前確率を調整したりデータをリサンプリングしたりする代わりに、クラスの不均衡を無視すること。
- 多項ナイーブベイズに負の値を入力すること。これは受け付けません。
- 明らかに正規分布ではない連続特徴量に、確認せずにガウスナイーブベイズを適用すること。
- クラスあたりの観測数が少なすぎるデータセット(全体で約30未満)で実行すること。
よくある質問
なぜ「ナイーブ」と呼ばれるのですか?
クラスが与えられた場合に特徴量が条件付き独立であると仮定しているからです。つまり、1つの特徴量を知ることが、クラス内では別の特徴量について何も教えてくれないということです。これは文字通り真実であることはめったにありませんが、この単純化によりモデルの推定が容易になり、実行が高速になり、分類器はしばしばクラスを正確にランク付けします。
どのバリアントを使用すべきですか?
ガウスナイーブベイズは、各クラス内で正規分布していると仮定される連続特徴量用です。多項ナイーブベイズは、テキスト分類のようなカウントまたは単語頻度データに適しており、負の値は受け付けません。特徴量の種類に合わせてバリアントを選択してください。
予測された確率を信頼できますか?
予測されたクラスをランキングとして注意して使用してください。独立性の仮定は通常違反されるため、生の確率は0または1に偏る傾向があり、選択されたクラスが正しい場合でも、しばしば適切にキャリブレーションされていません。
どのくらいのデータが必要ですか?
データ効率は良いですが、クラスの事前確率と特徴量ごとの尤度を確実に推定できるように、クラスごとに十分な観測数(全体で約30以上)が必要です。それ以下の場合、ロジスティック回帰の方が安全な選択肢です。
関連する手法
参考文献
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
ISBN:978-0070428072コピーしました。