Naive Bayes Semi-supervisionado
- Proposto por
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- Ano
- 2000
- Tipo
- Semi-supervised generative classifier
- Família
- Machine learning
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Naive Bayes Semi-supervisionado estende o modelo generativo clássico Naive Bayes para explorar grandes conjuntos de dados não rotulados juntamente com um pequeno conjunto rotulado.
Usando Expectation-Maximization, ele infere iterativamente atribuições de classe suaves para exemplos não rotulados e reestima os parâmetros de classe e de características, produzindo classificadores substancialmente melhores quando os exemplos rotulados são escassos.
A intuição por trás do método
O Naive Bayes clássico necessita de exemplos rotulados para estimar probabilidades de classe e verossimilhanças de características. Quando os rótulos são caros, mas os dados brutos são abundantes, a maior parte da informação nos dados não é utilizada. O Naive Bayes Semi-supervisionado corrige isso tratando os rótulos desconhecidos de exemplos não rotulados como variáveis latentes: ele alterna entre adivinhar esses rótulos dado o modelo atual (passo E) e refinar o modelo usando essas suposições (passo M). Ao longo de várias iterações, o modelo se auto-aprimora para uma estimativa de parâmetro muito mais precisa do que os dados rotulados sozinhos suportariam.
História
Nigam, McCallum, Thrun e Mitchell (2000) popularizaram o Naive Bayes Semi-supervisionado para classificação de texto, demonstrando que o EM com um modelo multinomial Naive Bayes poderia reduzir pela metade as taxas de erro em conjuntos de dados de referência quando artigos de notícias não rotulados complementavam um pequeno conjunto rotulado. A abordagem baseou-se em trabalhos anteriores de EM para modelos de mistura e tornou-se um exemplo canônico na literatura de aprendizado semi-supervisionado, amplamente discutido em Chapelle et al. (2006).
Quando usar
Ideal quando o número de exemplos rotulados varia de dezenas a poucas centenas, mas grandes quantidades de dados não rotulados da mesma distribuição estão disponíveis — uma situação comum em classificação de texto, filtragem de spam e categorização de documentos biomédicos. As características devem ser condicionalmente independentes dada a classe (ou aproximadamente), tornando representações de saco de palavras e baseadas em contagem adequadas. Evitar quando os dados não rotulados provêm de uma distribuição diferente do conjunto rotulado (desvio de covariável), pois as atualizações EM podem prejudicar em vez de ajudar; o parâmetro de ponderação lambda deve ser ajustado nesses casos. Evitar também quando a suposição de independência condicional é severamente violada e um modelo discriminativo seria fortemente preferido, independentemente da escassez de rótulos.
Limitações e considerações
- Herda a suposição de independência condicional do Naive Bayes; características correlacionadas degradam as estimativas de parâmetros.
- O EM converge para um ótimo local que depende da inicialização; múltiplas reinicializações aleatórias podem ser necessárias.
- Dados não rotulados de uma distribuição deslocada podem degradar a precisão (transferência negativa) a menos que sejam cuidadosamente ponderados para baixo.
- Menos competitivo do que métodos semi-supervisionados discriminativos (por exemplo, SVM transdutivo, propagação de rótulos) em conjuntos de características pequenos com fortes correlações de características.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aproveita eficientemente dados não rotulados que de outra forma seriam descartados, muitas vezes reduzindo dramaticamente os dados rotulados necessários.
- Computacionalmente rápido: cada iteração EM é linear em relação ao tamanho dos dados, tornando-o adequado para grandes corpora de texto.
- Estrutura probabilística principiada com garantias de convergência bem compreendidas (para um ótimo local da verossimilhança).
- Produz probabilidades posteriores calibradas, permitindo ranqueamento e limiarização downstream.
- Simples de implementar e estender — a ponderação lambda fornece um controle prático para influenciar os dados não rotulados.
Aplicações
- Classificação de texto e documentos com dados de treinamento rotulados limitados.
- Detecção de spam e phishing onde spam rotulado é escasso, mas e-mails não rotulados são abundantes.
- Análise de sentimento inicializada a partir de um punhado de avaliações rotuladas.
- Categorização de literatura biomédica (por exemplo, triagem de artigos PubMed) com pequenos subconjuntos rotulados por especialistas.
- Classificação de tópicos de páginas da web usando um pequeno conjunto inicial rotulado manualmente e grandes corpora rastreados.
- Roteamento de e-mails ou tickets onde apenas uma fração dos tickets históricos tem rótulos de categoria confirmados.
Como funciona
Como funciona
Treinar um modelo inicial Naive Bayes usando apenas os exemplos rotulados. Isso fornece as primeiras estimativas de prioris de classe P(y) e verossimilhanças condicionais de características P(x_j | y) — tipicamente com suavização de Laplace para lidar com valores de características não vistos. O modelo resultante é um ponto de partida para o loop EM, em vez de um classificador final.
Aplicar o modelo atual a cada exemplo não rotulado para calcular pesos suaves (probabilísticos) de pertencimento à classe. Cada documento ou instância não rotulada é atribuída fracionalmente a todas as classes em proporção à probabilidade posterior P(y | x, theta). Essas contagens fracionais complementam as contagens exatas dos dados rotulados.
Fórmula
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}Reestimar todos os parâmetros do modelo — prioris de classe e verossimilhanças de características — combinando as contagens exatas dos exemplos rotulados com as contagens fracionais acumuladas no passo E. Exemplos não rotulados contribuem na proporção de seus pesos de classe inferidos, de modo que dados não rotulados informativos deslocam os parâmetros de forma significativa.
Repetir o passo E e o passo M até que a log-verossimilhança de todos os dados (rotulados mais não rotulados) convirja ou um número máximo de iterações seja atingido. Um hiperparâmetro de peso lambda pode reduzir o peso da contribuição não rotulada se a distribuição não rotulada diferir da rotulada, protegendo contra transferência negativa.
Uma vez que a convergência é alcançada, classificar novos exemplos usando a regra padrão Naive Bayes: atribuir a classe com a maior probabilidade posterior sob os parâmetros aprendidos. A inferência em tempo de execução é idêntica ao Naive Bayes comum — rápida, de forma fechada e adequada para grandes coleções de documentos.
Fórmula
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)Erros comuns
- Ignorar a incompatibilidade de distribuição entre os conjuntos rotulado e não rotulado — sempre verificar se ambas as amostras são extraídas da mesma tarefa e domínio.
- Omitir o ajuste de lambda quando a qualidade dos dados não rotulados é incerta; usar lambda=1 por padrão pode prejudicar o desempenho.
- Avaliar apenas no conjunto rotulado de treinamento sem um conjunto de teste separado, inflando a precisão aparente.
- Tratar a convergência do EM como otimalidade garantida — sempre comparar com uma linha de base apenas com dados rotulados e uma linha de base simples de auto-treinamento.
- Esquecer a suavização de Laplace, que causa falhas de probabilidade zero para valores de características não vistos durante o passo E.
Perguntas frequentes
Quantos exemplos rotulados preciso para obter um bom modelo inicial?
Apenas 10-50 por classe podem ser suficientes para texto com muitas características, desde que a suavização de Laplace seja aplicada. Mais exemplos rotulados sempre ajudam, mas a abordagem semi-supervisionada brilha especificamente quando você tem menos de algumas centenas de instâncias rotuladas.
Qual é o parâmetro lambda e como ajustá-lo?
Lambda controla quanto peso os exemplos não rotulados recebem em relação aos rotulados durante o passo M (lambda=1 trata-os igualmente; lambda=0 os ignora). Ajuste-o por validação cruzada no conjunto rotulado, começando com valores em {0.1, 0.3, 0.5, 1.0}. Reduza lambda quando suspeitar de incompatibilidade de distribuição.
O EM sempre melhorará um Naive Bayes apenas com dados rotulados?
Não. Se os dados não rotulados vierem de uma distribuição diferente, o EM pode mover os parâmetros na direção errada e aumentar o erro. Sempre compare com a linha de base apenas com dados rotulados antes de implantar o modelo semi-supervisionado.
Como isso difere do auto-treinamento com Naive Bayes?
O auto-treinamento atribui rótulos exatos a exemplos não rotulados acima de um limite de confiança, e então retreina. O Naive Bayes Semi-supervisionado via EM atribui rótulos fracionais suaves a todos os exemplos não rotulados em cada iteração, o que é estatisticamente mais principiado e evita a cascata de erros confiantes que podem ocorrer no auto-treinamento.
Isso é adequado para dados tabulares não textuais?
Sim. Para características contínuas, substitua a verossimilhança multinomial por verossimilhanças Gaussianas (ou outras paramétricas) por classe. A estrutura do loop EM é idêntica; apenas as fórmulas de parâmetros do passo M mudam.
Métodos relacionados
Fontes
Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.
Abrir referência DOICopiado.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Copiado.