Skip to content
Voltar aos resultados

Modelo Gaussiano de Mistura Semi-supervisionado

Proposto por
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
Ano
2000
Tipo
Generative semi-supervised classifier
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O Modelo Gaussiano de Mistura Semi-supervisionado (SS-GMM) é um classificador probabilístico generativo que ajusta uma mistura Gaussiana a dados rotulados e não rotulados usando o algoritmo de Expectation-Maximization.

Pontos rotulados restringem as atribuições de componentes, enquanto pontos não rotulados melhoram as estimativas de densidade, permitindo aprendizado eficaz quando as anotações são escassas.

A intuição por trás do método

Imagine que você tem alguns exemplos rotulados e muitos não rotulados. Um modelo puramente supervisionado ignora completamente os dados não rotulados; um clustering puro ignora seus rótulos. O SS-GMM encontra um equilíbrio: ele modela os dados como uma mistura de clusters Gaussianos, fixa os pontos rotulados ao seu componente correto e permite que os pontos não rotulados flutuem probabilisticamente entre os componentes. As iterações do EM continuam ajustando as Gaussianas para descrever melhor toda a nuvem de dados, de modo que os rótulos escassos se propaguem para a maioria não rotulada através da estrutura de densidade compartilhada.

História

Modelos GMM semi-supervisionados surgiram da literatura mais ampla de aprendizado semi-supervisionado do final dos anos 1990. Nigam et al. (2000) demonstraram a abordagem para classificação de texto usando EM em um modelo generativo Naive Bayes (um caso especial de GMM diagonal), mostrando ganhos mensuráveis de documentos não rotulados. O framework geral foi consolidado no influente volume da MIT Press por Chapelle, Scholkopf e Zien (2006), que estabeleceu o SS-GMM como uma abordagem generativa canônica para classificação semi-supervisionada, ao lado de alternativas discriminativas e baseadas em grafos.

Quando usar

Use SS-GMM quando exemplos rotulados são escassos, mas dados não rotulados são abundantes e quando as distribuições condicionais de classe subjacentes são aproximadamente Gaussianas ou podem ser transformadas para tal. É bem adequado para espaços de características contínuas de dimensionalidade baixa a moderada (até aproximadamente 20–50 características sem redução de dimensionalidade). Evite-o quando as características são altamente não Gaussianas ou categóricas, quando o número de classes é grande em relação às amostras rotuladas, quando a estrutura de cluster não se alinha com as fronteiras de classe (suposição de cluster violada), ou quando um modelo discriminativo como um SVM semi-supervisionado ou propagação de rótulos se ajusta melhor à geometria dos dados.

Limitações e considerações

  • O ajuste do modelo degrada quando a suposição Gaussiana é fortemente violada — transformações não lineares ou métodos de kernel podem ser necessários.
  • O EM converge para um ótimo local; os resultados são sensíveis à inicialização e múltiplos reinícios são necessários.
  • Dados de alta dimensionalidade (maldição da dimensionalidade) tornam a estimação de covariância não confiável sem regularização ou redução de dimensionalidade.
  • Dados não rotulados podem prejudicar em vez de ajudar se a suposição de cluster não se mantiver (clusters não se alinham com as fronteiras de classe).
  • Escala mal para conjuntos de dados não rotulados muito grandes sem variantes estocásticas ou de mini-batch do EM.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Aproveita dados não rotulados para melhorar a estimativa de parâmetros quando rótulos são caros ou raros.
  • Fornece posteriores de classe probabilísticos e principados, permitindo quantificação de incerteza calibrada.
  • Modelo generativo matematicamente transparente com garantias de convergência do EM bem compreendidas.
  • Naturalmente lida com problemas multiclase sem decomposição um-contra-todos.
  • Pode ser estendido com múltiplas Gaussianas por classe para capturar distribuições multimodais dentro da classe.

Aplicações

  • Classificação de texto e documentos quando apenas uma pequena fração de textos pode ser rotulada manualmente.
  • Análise de imagens médicas onde a anotação de especialistas é cara e varreduras não rotuladas são abundantes.
  • Tarefas de bioinformática, como clustering de expressão gênica com rótulos de classe parciais.
  • Classificação de dados de sensores e séries temporais em implantações de IoT com ground-truth esparso.
  • Detecção de anomalias semi-supervisionada, modelando a densidade da classe normal a partir de dados não rotulados abundantes.
  • Aprendizado de características em processamento de linguagem natural antes que o deep learning se tornasse dominante.

Como funciona

Como funciona

1

Inicialize os parâmetros da mistura — médias dos componentes, covariâncias e pesos de mistura — a partir do subconjunto rotulado (por exemplo, médias condicionais de classe) ou via k-means em todos os dados disponíveis. O número de componentes K é tipicamente definido igual ao número de classes conhecidas, embora múltiplos componentes por classe sejam possíveis.

2

Para cada ponto não rotulado, compute responsabilidades suaves: a probabilidade posterior de que o ponto i pertença ao componente k, dados os parâmetros atuais. Pontos rotulados recebem atribuições rígidas — sua responsabilidade para o componente de classe correto é definida como um e zero para os outros — reforçando a supervisão sem quebrar o framework do EM.

Fórmula
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}
3

A restrição de atribuição rígida em pontos rotulados é a principal diferença em relação ao GMM não supervisionado. Ela ancora a identidade do componente à semântica da classe, prevenindo o conhecido problema de troca de rótulos e garantindo que a estrutura de cluster aprendida a partir de dados não rotulados seja interpretável em termos de classes conhecidas.

4

Atualize todos os parâmetros da mistura usando as estatísticas combinadas ponderadas pela responsabilidade de pontos rotulados e não rotulados. Como os pontos não rotulados contribuem com contagens fracionárias para cada componente, eles efetivamente suavizam e estabilizam as estimativas de parâmetros em regiões onde os dados rotulados são esparsos.

Fórmula
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}
5

Repita os passos E e M até que a log-verossimilhança dos dados observados (somada sobre pontos rotulados e não rotulados) pare de aumentar além de uma pequena tolerância. Monitore a convergência cuidadosamente: múltiplos reinícios aleatórios são aconselháveis, pois o EM converge para um ótimo local e a solução final depende da inicialização.

6

Classifique um novo ponto encontrando o componente com a maior probabilidade posterior, dados os parâmetros convergidos. A classe prevista é o rótulo associado a esse componente. As probabilidades posteriores entre os componentes também servem como pontuações de confiança calibradas.

Fórmula
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)

Erros comuns

  • Executar uma única inicialização do EM e aceitar a primeira solução convergida — sempre use múltiplos reinícios.
  • Definir K igual ao número de classes sem considerar a multimodalidade dentro da classe, levando a uma captura de densidade pobre.
  • Aplicar o modelo em altas dimensões sem primeiro reduzir a dimensionalidade ou regularizar as matrizes de covariância (por exemplo, covariância diagonal ou compartilhada).
  • Assumir que dados não rotulados sempre ajudam — se as suposições de cluster e manifold forem violadas, dados não rotulados podem degradar a precisão.
  • Negligenciar ponderar adequadamente o termo de log-verossimilhança rotulada; uma correção comum é aumentar as contribuições dos pontos rotulados por um fator lambda.

Perguntas frequentes

Como o SS-GMM difere de um GMM totalmente não supervisionado?

Um GMM não supervisionado encontra estrutura de cluster sem conhecimento de rótulos de classe e sofre de troca de rótulos — os índices de cluster não carregam significado semântico. O SS-GMM fixa pontos rotulados aos seus componentes corretos durante cada passo E, ancorando a identidade do cluster à semântica da classe e permitindo que pontos não rotulados refinem as estimativas de densidade.

E se os dados não rotulados parecerem prejudicar minha precisão?

Este é o problema de 'violação da suposição de cluster': se as fronteiras de classe não se alinham com os clusters de densidade naturais, os dados não rotulados guiam o modelo na direção errada. Passos de diagnóstico incluem visualizar os dados em 2D (PCA/t-SNE), aumentar o peso lambda nos pontos rotulados, ou mudar para um método semi-supervisionado discriminativo como um SVM semi-supervisionado.

Quantos componentes Gaussianos devo usar por classe?

Comece com um componente por classe. Se uma classe tem estrutura claramente multimodal (por exemplo, duas subpopulações), permita dois ou mais componentes para essa classe. Use BIC ou verossimilhança em conjunto (held-out) no subconjunto rotulado para comparar ordens de modelo sem sobreajuste.

Devo usar matrizes de covariância completas, diagonais ou compartilhadas?

Covariância completa é a mais flexível, mas necessita de muitas amostras por componente. Covariância diagonal (características assumidas independentes) é o padrão mais seguro em dimensões moderadas a altas. Covariância compartilhada (todos os componentes compartilham uma matriz) reduz ainda mais os parâmetros e é adequada quando as classes têm dispersão semelhante.

Existe um peso para as contribuições rotuladas vs. não rotuladas?

Sim. Uma extensão comum multiplica a log-verossimilhança rotulada por um fator lambda > 1 para compensar o número tipicamente muito maior de pontos não rotulados. Sem isso, a maioria não rotulada pode dominar as atualizações de parâmetros e apagar o sinal de supervisão.

Métodos relacionados

Fontes

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Copiado.
  2. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.

    Abrir referência DOI
    Copiado.