Skip to content
Voltar aos resultados

Naive Bayes Online

Proposto por
Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
Ano
2000s
Tipo
Probabilistic classifier (online/incremental)
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Naive Bayes Online é uma adaptação incremental do classificador clássico Naive Bayes que atualiza suas estatísticas de classe condicional uma observação (ou um mini-lote) de cada vez, tornando-o bem adequado para fluxos de dados, conjuntos de dados muito grandes que não podem ser mantidos em memória e cenários onde o modelo deve se adaptar continuamente à medida que novos exemplos rotulados chegam.

A intuição por trás do método

O Naive Bayes Clássico lê todos os dados de treinamento de uma vez, calcula as probabilidades a priori de classe e as verossimilhanças de atributos, e então congela seus parâmetros. O Naive Bayes Online, em vez disso, mantém contagens correntes ou estatísticas suficientes (médias, variâncias, frequências de atributos) que são atualizadas incrementalmente com cada novo exemplo. Como a suposição de independência condicional do Naive Bayes significa que a verossimilhança se fatoriza em termos por atributo, as estatísticas de cada atributo podem ser atualizadas de forma independente e barata, tornando o modelo naturalmente adequado para aprendizado em uma única passagem sobre fluxos sem sacrificar o mecanismo de predição probabilística.

História

O Naive Bayes tem raízes na estatística Bayesiana desde o século XVIII, mas seu uso como classificador de texto foi popularizado nos anos 1990 (por exemplo, McCallum & Nigam, 1998). A variante online/incremental ganhou atenção sistemática com a comunidade de mineração de fluxos de dados no início dos anos 2000, notavelmente através do trabalho de Domingos e Hulten sobre mineração de fluxos de dados de alta velocidade (KDD 2000). É agora um componente padrão de toolkits de processamento de fluxo e é exposto diretamente no scikit-learn através da API partial_fit.

Quando usar

Use Naive Bayes Online quando os dados chegam como um fluxo ou são muito grandes para serem carregados na memória de uma vez, quando atualizações incrementais rápidas e de baixa memória são necessárias, ou quando o modelo deve se adaptar continuamente a novos exemplos (por exemplo, classificação de texto de feeds ao vivo, filtragem de spam ou classificação de eventos em pipelines de IoT). É também uma forte linha de base para dados de texto esparsos de alta dimensionalidade (bag-of-words, TF-IDF) em cenários de streaming. Não o use quando a suposição de independência condicional for severamente violada e houver dados suficientes para treinar um modelo mais expressivo em modo batch, quando os atributos forem altamente correlacionados e capturar interações for crítico, ou quando as distribuições de classe forem extremamente desbalanceadas sem correção.

Limitações e considerações

  • A suposição ingênua de independência condicional raramente é satisfeita exatamente e pode prejudicar a precisão quando os atributos são fortemente correlacionados.
  • Não consegue aprender interações entre atributos; cada atributo contribui independentemente para a probabilidade a posteriori.
  • O concept drift exige mecanismos explícitos de esquecimento (por exemplo, janelas deslizantes, fatores de decaimento), pois o modelo padrão acumula todas as evidências históricas.
  • O Naive Bayes Gaussiano assume distribuições de atributos por classe unimodais e aproximadamente Gaussianas, o que pode não ser verdade.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Processa um exemplo por vez com custo de atualização O(1) por atributo, tornando-o extremamente rápido e eficiente em memória para dados de streaming.
  • Naturalmente probabilístico: produz probabilidades a posteriori de classe calibradas, não apenas rótulos rígidos.
  • Escala para espaços de atributos de altíssima dimensionalidade (por exemplo, texto) sem penalidade significativa de velocidade.
  • Não há necessidade de armazenar dados históricos; o modelo é definido inteiramente por suas estatísticas suficientes.
  • Simples de implementar e raciocinar; a suposição de independência condicional muitas vezes funciona melhor do que o esperado na prática.

Aplicações

  • Detecção em tempo real de spam e phishing em fluxos de e-mail ou mensagens.
  • Classificação incremental de texto sobre feeds de notícias ao vivo ou mídias sociais.
  • Classificação de eventos de sensores em sistemas IoT onde os dados chegam continuamente.
  • Classificador de linha de base para espaços de atributos bag-of-words ou TF-IDF de alta dimensionalidade.
  • Análise de sentimento online sobre fluxos de avaliações de clientes ou posts sociais.
  • Qualquer tarefa de classificação muito grande para caber na memória onde um modelo probabilístico rápido é aceitável.

Como funciona

Como funciona

1

As probabilidades a priori de classe P(C_k) = N_k / N são inicializadas a partir de quaisquer dados rotulados disponíveis no início (ou definidas como uniformes). As estatísticas suficientes por atributo — contagens para atributos categóricos, média corrente e variância para atributos Gaussianos — são inicializadas de forma semelhante.

Fórmula
P(C_k) = N_k / N
2

Quando um novo exemplo rotulado (x, y) chega, a contagem da classe N_y é incrementada em um e as estatísticas suficientes para cada atributo x_i sob a classe y são atualizadas: contagens são incrementadas para atributos Bernoulli ou Multinomial, e média corrente e variância são atualizadas usando o algoritmo online de Welford para atributos Gaussianos. Nenhum exemplo antigo precisa ser revisitado.

3

No momento da predição (ou após cada atualização), as verossimilhanças por atributo P(x_i | C_k) são calculadas a partir das estatísticas suficientes atuais. Para o Naive Bayes Gaussiano, a PDF Gaussiana é avaliada; para variantes Multinomial ou Bernoulli, razões de frequência suavizadas são usadas.

Fórmula
P(x_i | C_k)
4

A probabilidade a posteriori para cada classe é calculada como o produto da probabilidade a priori da classe e de todas as verossimilhanças por atributo, e então a classe com a maior probabilidade a posteriori é retornada. Como logaritmos são usados na prática, isso se torna uma soma e evita o underflow numérico.

Fórmula
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)

Erros comuns

  • Esquecer de aplicar suavização de Laplace (add-one) para variantes Multinomial/Bernoulli, o que causa problemas de probabilidade zero para valores de atributos não vistos.
  • Ignorar o concept drift: sem uma estratégia de esquecimento ou janelamento, o modelo se torna lentamente obsoleto em fluxos não estacionários.
  • Usar Naive Bayes Gaussiano para dados de contagem (por exemplo, contagens de palavras) em vez de Naive Bayes Multinomial.
  • Tratar as probabilidades do modelo como perfeitamente calibradas sem verificação; regressão isotônica ou escalonamento de Platt podem ser necessários.
  • Avaliar apenas pela acurácia quando o desbalanceamento de classe está presente; use precisão, recall e F1 por classe.

Perguntas frequentes

Como o Naive Bayes Online lida com o concept drift?

Por padrão, ele acumula todas as evidências, portanto, adapta-se lentamente ao drift. Para reagir mais rapidamente, aplique uma janela deslizante (contando apenas exemplos recentes), esquecimento exponencial (ponderando menos as observações mais antigas) ou reinicie as estatísticas suficientes quando o drift for detectado.

Qual variante devo usar — Gaussiana, Multinomial ou Bernoulli?

Use Naive Bayes Multinomial ou Bernoulli para texto (vetores de atributos de contagem ou binários) e Naive Bayes Gaussiano para atributos contínuos que são aproximadamente distribuídos normalmente dentro de cada classe. A lógica de atualização online difere ligeiramente, mas todas as variantes suportam atualizações incrementais.

O Naive Bayes Online é competitivo com modelos online mais complexos?

Em texto esparso de alta dimensionalidade, ele é frequentemente competitivo com regressão logística online ou SVM online, com menor custo computacional. Em conjuntos de atributos densos, de baixa dimensionalidade ou altamente correlacionados, regressão logística online ou gradient boosting geralmente o superam.

Como devo avaliar um classificador online?

Use avaliação prequencial (testar-then-treinar): preveja cada exemplo antes de atualizar o modelo, e então atualize. Isso fornece uma estimativa não enviesada do desempenho em streaming sem um conjunto de validação separado.

Posso inicializar o Naive Bayes Online a partir de um modelo treinado em batch?

Sim. Treine um modelo Naive Bayes em batch em um conjunto de dados inicial para obter boas estatísticas suficientes de partida, e então mude para atualizações incrementais. Essa abordagem de aquecimento (warm-start) evita a imprecisão de um modelo inicializado aleatoriamente (cold-start).

Métodos relacionados

Fontes

  1. Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.

    Abrir referência DOI
    Copiado.
  2. Online machine learning. Wikipedia.

    Abrir referência da publicação
    Copiado.