Skip to content
Voltar aos resultados

Naive Bayes

Proposto por
Mitchell, T. M. (textbook treatment)
Ano
1997
Tipo
Probabilistic classifier (Bayes' theorem with conditional independence)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Naive Bayes é um classificador probabilístico rápido que aplica o teorema de Bayes, assumindo que as características são condicionalmente independentes dada a classe — um método que recebeu seu tratamento padrão em aprendizado de máquina no livro de Tom Mitchell de 1997, Machine Learning.

Apesar dessa suposição simplificadora ('ingênua'), ele é rápido de treinar e frequentemente surpreendentemente preciso.

A intuição por trás do método

Em vez de aprender interações complexas entre características, Naive Bayes faz uma pergunta mais simples: dada cada classe, qual a probabilidade de cada valor de característica isoladamente? Ele então multiplica essas probabilidades por característica com a taxa base da classe e escolhe a classe que resulta como mais provável. Fingir que as características não interagem torna a matemática trivial e o treinamento extremamente rápido — e, na prática, o classificador resultante ainda classifica bem as classes, mesmo quando a suposição de independência não é estritamente verdadeira.

História

Os classificadores Naive Bayes surgem da teoria clássica de decisão Bayesiana e se tornaram um pilar do aprendizado de máquina aplicado, especialmente para tarefas de classificação de texto, como filtragem de spam. O método recebe seu tratamento padrão em livro didático em 'Machine Learning' de Tom Mitchell (1997), que apresenta a formulação do teorema de Bayes e a suposição de independência condicional que dão nome ao classificador.

Quando usar

Adequado para classificação rápida quando você tem características categóricas, binárias, contínuas ou de texto e pelo menos cerca de 30 observações, especialmente como uma linha de base forte e de baixo custo. É leve em suposições sobre a distribuição em geral, mas cada variante carrega sua própria suposição de verossimilhança (por exemplo, normalidade intra-classe para a variante Gaussiana), e é sensível ao desbalanceamento de classes. Quando as características são fortemente correlacionadas ou você precisa de estimativas de efeito calibradas, prefira regressão logística.

Limitações e considerações

  • A suposição de independência condicional raramente se mantém, portanto, as estimativas de probabilidade podem ser mal calibradas, mesmo quando a classificação é boa.
  • Sensível ao desbalanceamento de classes: as probabilidades a priori devem ser ajustadas ou os dados reamostrados.
  • Naive Bayes Gaussiano degrada quando a suposição de normalidade intra-classe é violada.
  • Não confiável com amostras muito pequenas, onde as estimativas de probabilidade por classe não são confiáveis.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Extremamente rápido para treinar e prever, mesmo em dados grandes ou de alta dimensão, como texto.
  • Funciona bem como uma linha de base simples e de baixo custo e muitas vezes tem um desempenho surpreendentemente bom, apesar de sua suposição ingênua.
  • Lida com características categóricas, binárias, contínuas e de texto através de suas diferentes variantes.
  • Precisa de relativamente poucos dados de treinamento para estimar seus parâmetros.

Aplicações

  • Classificação de texto, como filtragem de spam e categorização de documentos.
  • Classificação de linha de base rápida antes de tentar modelos mais complexos.
  • Classificação com características categóricas, binárias, contínuas ou de contagem.
  • Problemas de alta dimensão onde a velocidade de treinamento é importante.

Como funciona

Como funciona

1

Pelo teorema de Bayes, a probabilidade de uma classe dadas as características observadas é proporcional à probabilidade a priori da classe multiplicada pela verossimilhança dessas características sob essa classe. O passo 'ingênuo' é assumir que as características são condicionalmente independentes dada a classe, de modo que a verossimilhança conjunta se fatoriza em um produto simples de verossimilhanças por característica. Essa suposição raramente se mantém exatamente na prática, mas o desempenho do classificador pode ser surpreendentemente forte.

Fórmula
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)
2

A partir dos dados de treinamento, o modelo estima as probabilidades a priori das classes (quão comum é cada classe) e as verossimilhanças por característica. A forma da verossimilhança depende da variante: Naive Bayes Gaussiano assume que características contínuas são normalmente distribuídas dentro de cada classe, enquanto Naive Bayes Multinomial é adequado para contagens de frequência de termos na classificação de texto e não aceita valores negativos. Como cada classe é estimada separadamente, deve haver observações suficientes por classe — pelo menos cerca de 30 no total.

3

Para uma nova observação, o modelo combina a probabilidade a priori com o produto das verossimilhanças por característica para cada classe candidata e atribui a classe com a maior probabilidade resultante. Como as classes são pontuadas independentemente, um conjunto de dados desbalanceado pode enviesar o resultado, portanto, as probabilidades a priori devem ser ajustadas ou os dados reamostrados.

Fórmula
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)

Erros comuns

  • Confiar nas probabilidades de saída brutas como calibradas, em vez de tratá-las como um ranking.
  • Ignorar o desbalanceamento de classes em vez de ajustar as probabilidades a priori ou reamostrar.
  • Alimentar valores negativos no Naive Bayes Multinomial, que ele não aceita.
  • Aplicar Naive Bayes Gaussiano a características contínuas claramente não normais sem verificar.
  • Executar em um conjunto de dados com poucas observações por classe (abaixo de ~30 no total).

Perguntas frequentes

Por que é chamado de 'ingênuo'?

Porque assume que as características são condicionalmente independentes dada a classe — ou seja, que saber uma característica não diz nada sobre outra dentro de uma classe. Isso raramente é literalmente verdade, mas a simplificação torna o modelo trivial de estimar e rápido de executar, e o classificador muitas vezes ainda classifica as classes com precisão.

Qual variante devo usar?

Naive Bayes Gaussiano é para características contínuas assumidas como normalmente distribuídas dentro de cada classe. Naive Bayes Multinomial é adequado para dados de contagem ou frequência de termos, como na classificação de texto, e não aceita valores negativos. Combine a variante com o seu tipo de característica.

Posso confiar nas probabilidades previstas?

Use a classe prevista com cuidado como um ranking. Como a suposição de independência geralmente é violada, as probabilidades brutas tendem a ser empurradas para 0 ou 1 e são frequentemente mal calibradas, mesmo quando a classe escolhida está correta.

Quanta informação ele precisa?

É econômico com dados, mas você ainda precisa de observações suficientes por classe — pelo menos aproximadamente 30 no total — para que as probabilidades a priori das classes e as verossimilhanças por característica possam ser estimadas de forma confiável. Abaixo disso, a regressão logística é uma escolha mais segura.

Métodos relacionados

Fontes

  1. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.

    ISBN: 978-0070428072
    Copiado.