朴素贝叶斯 (Naive Bayes) 是一种快速的概率分类器,它应用贝叶斯定理,同时假设特征在给定类别时是条件独立的——这是一种在 Tom Mitchell 1997 年的教科书《机器学习》(Machine Learning) 中得到标准机器学习处理的方法。尽管有这种简化的(“朴素的”)假设,它训练速度快,而且通常出奇地准确。
- 提出者
- Mitchell, T. M. (textbook treatment)
- 年份
- 1997
- 类型
- Probabilistic classifier (Bayes' theorem with conditional independence)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
朴素贝叶斯不学习特征之间的复杂交互,而是问一个更简单的问题:给定每个类别,每个特征值本身的可能性有多大?然后,它将这些每个特征的似然度与类别的基本率相乘,并选择概率最高的类别。假装特征不相互作用使得数学计算变得微不足道,训练也极其快速——实际上,即使独立性假设不严格成立,得到的分类器仍然能很好地对类别进行排序。
方法背后的直觉
根据贝叶斯定理,给定观测到的特征的类别的概率与该类别的先验概率乘以这些特征在该类别下的似然度成正比。“朴素”步骤是假设特征在给定类别时是条件独立的,因此联合似然度分解为每个特征似然度的简单乘积。在实践中,这种假设很少严格成立,但分类器的性能可能出奇地强大。
历史学
文本分类,如垃圾邮件过滤和文档分类。
何时使用
训练和预测速度极快,即使在大规模或高维数据(如文本)上也是如此。
局限与注意事项
- 对类别不平衡敏感:必须调整先验概率或重采样数据。
- 当类内正态性假设被违反时,高斯朴素贝叶斯性能会下降。
- 在样本量非常小的情况下不可靠,此时每个类别的概率估计不值得信赖。
- 信任原始输出概率作为校准值,而不是将其视为排名。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 作为简单、低成本的基线效果很好,并且尽管有朴素的假设,通常表现出人意料地好。
- 通过不同的变体处理分类、二元、连续或文本特征。
- 需要相对较少量的训练数据来估计其参数。
- 条件独立性假设很少成立,因此即使排名良好,概率估计也可能校准不佳。
应用
- 在尝试更复杂的模型之前,作为快速基线分类。
- 具有分类、二元、连续或计数特征的分类。
- 高维问题,其中训练速度很重要。
- 为什么称为“朴素”?
使用方式
使用方式
从训练数据中,模型估计类别先验(每个类别的常见程度)和每个特征的似然度。似然度的形式取决于变体:高斯朴素贝叶斯 (Gaussian Naive Bayes) 假设连续特征在每个类别内呈正态分布,而多项式朴素贝叶斯 (Multinomial Naive Bayes) 适用于文本分类中的词频计数,并且不接受负值。由于每个类别是单独估计的,因此每个类别应该有足够的观测值——总体上至少约 30 个。
公式
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)对于新的观测值,模型将先验与每个候选类别的每个特征似然度的乘积结合起来,并分配具有最高结果概率的类别。由于类别是独立评分的,不平衡的数据集可能会使结果产生偏差,因此应调整先验概率或对数据进行重采样。
适用于具有分类、二元、连续或文本特征且至少有约 30 个观测值的快速分类,尤其适合作为强大、廉价的基线。它对整体分布的假设较少,但每个变体都有其自身的似然度假设(例如,高斯变体的类内正态性),并且对类别不平衡敏感。当特征高度相关或需要校准效应估计时,首选逻辑回归。
公式
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)常见陷阱
- 忽略类别不平衡,而不是调整先验概率或重采样。
- 将负值输入多项式朴素贝叶斯,它不接受负值。
- 将高斯朴素贝叶斯应用于明显非正态的连续特征而不进行检查。
- 在每个类别观测值太少(总体低于约 30 个)的数据集上运行。
- 朴素贝叶斯分类器源于经典的贝叶斯决策理论,并成为应用机器学习的基石,尤其是在文本分类任务(如垃圾邮件过滤)中。该方法在 Tom Mitchell 1997 年的《机器学习》一书中得到了标准的教科书式处理,其中介绍了贝叶斯定理公式和赋予分类器名称的条件独立性假设。
常见问题
因为它假设特征在给定类别时是条件独立的——也就是说,知道一个特征在类别内不会告诉你关于另一个特征的任何信息。这很少是字面上的真实情况,但这种简化使得模型易于估计且运行速度快,并且分类器通常仍然能准确地对类别进行排名。
应该使用哪个变体?
高斯朴素贝叶斯适用于假定在每个类别内呈正态分布的连续特征。多项式朴素贝叶斯适用于计数或词频数据,如文本分类,并且不接受负值。根据你的特征类型选择合适的变体。
可以信任预测的概率吗?
谨慎地使用预测的类别作为排名。由于独立性假设通常被违反,原始概率往往被推向 0 或 1,并且经常校准不佳,即使选择的类别是正确的。
需要多少数据?
它在数据方面很经济,但你仍然需要每个类别有足够的观测值——总体上至少约 30 个——以便能够可靠地估计类别先验和每个特征的似然度。低于此值,逻辑回归是更安全的选择。
直接在 MethodMind 中对你自己的数据集运行朴素贝叶斯——加载你的特征和类别标签,选择与你的数据匹配的变体,并获得类别预测以及估计的概率。
相关方法
参考文献
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
ISBN:978-0070428072已复制。