Skip to content
Voltar aos resultados

Modelo de Tópicos NMF

Proposto por
Lee, D. D. & Seung, H. S.
Ano
1999
Tipo
Matrix factorization / unsupervised topic model
Família
Deep learning / NLP / CV

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A Fatoração de Matrizes Não Negativas (NMF) é um método de decomposição de matrizes não supervisionado que descobre tópicos latentes em um corpus de texto, fatorando uma matriz documento-termo em duas matrizes não negativas — uma codificando pesos tópico-palavra, a outra pesos documento-tópico.

A restrição de não negatividade gera representações aditivas e baseadas em partes que tendem a produzir tópicos limpos e interpretáveis.

A intuição por trás do método

Imagine seu corpus como uma grande planilha onde as linhas são documentos e as colunas são palavras. A NMF pergunta: posso reexpressar esta planilha como uma combinação de um pequeno número de padrões de palavras arquetípicos (tópicos)? Como todos os valores devem ser não negativos, o modelo não pode cancelar um padrão contra outro — ele é forçado a encontrar blocos de construção aditivos. Cada documento é então descrito como uma mistura desses padrões. O resultado é frequentemente mais diretamente legível do que modelos de tópicos probabilísticos, pois as palavras de maior peso por tópico raramente se sobrepõem fortemente.

História

A Fatoração de Matrizes Não Negativas foi introduzida por Daniel D. Lee e H. Sebastian Seung em um artigo marcante na Nature em 1999, demonstrando que a NMF de dados de imagem produz representações localizadas e baseadas em partes — ao contrário de PCA ou VQ. Seu artigo de 2001 na NIPS forneceu as regras de atualização multiplicativa agora padrão. A NMF foi rapidamente adotada para análise de texto como uma alternativa de modelagem de tópicos ao LDA, oferecendo treinamento mais simples e clusters de palavras frequentemente mais nítidos. Continua sendo uma linha de base padrão em pesquisa de PNL e recuperação de informação.

Quando usar

Use NMF quando precisar de tópicos nítidos e baseados em partes de um corpus de texto, especialmente quando desejar tópicos com baixa sobreposição de palavras e rotulagem clara. Funciona bem em matrizes TF-IDF derivadas de documentos curtos a médios, como resumos, artigos de notícias ou respostas de pesquisas. É particularmente adequado quando a interpretabilidade é uma preocupação primária e quando o corpus é de tamanho moderado (milhares a centenas de milhares de documentos). Evite NMF quando tiver documentos muito curtos (menos de ~20 tokens cada), quando um modelo gerador probabilístico for necessário para inferência downstream, ou quando o corpus for extremamente grande e esparso — nesses casos, LDA ou modelos de tópicos neurais podem ser mais apropriados.

Limitações e considerações

  • O número de tópicos k deve ser definido pelo usuário; não há um mecanismo embutido para inferi-lo a partir dos dados.
  • NMF não é um modelo probabilístico gerador, portanto, as associações documento-tópico não são probabilidades adequadas e não podem ser usadas diretamente em pipelines probabilísticos.
  • Os resultados dependem da inicialização e podem variar entre execuções, a menos que uma semente fixa e inicialização NNDSVD sejam usadas.
  • Documentos muito curtos (menos de ~20 tokens) geram linhas esparsas em V que são difíceis de fatorar significativamente.
  • NMF não modela correlações de tópicos ou covariáveis em nível de documento como os modelos de tópicos estruturais fazem.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • A restrição de não negatividade produz representações aditivas e baseadas em partes que são frequentemente mais interpretáveis do que o LDA.
  • Os tópicos tendem a ter menor sobreposição de palavras inter-tópicos, tornando a rotulagem manual mais fácil.
  • Atualizações determinísticas (com uma semente fixa) tornam os resultados mais reprodutíveis do que o LDA baseado em amostragem.
  • A entrada TF-IDF desvaloriza palavras comuns naturalmente, reduzindo a necessidade de uma lista exaustiva de stop words.
  • Implementação direta em bibliotecas padrão (scikit-learn) com poucos hiperparâmetros necessários.
  • Escala razoavelmente para corpora de dezenas de milhares de documentos sem hardware especializado.

Aplicações

  • Descoberta de tópicos e análise temática em literatura científica, corpora de notícias e respostas abertas de pesquisas.
  • Agrupamento de documentos e rotulagem automática de conteúdo para grandes repositórios de documentos.
  • Sistemas de recomendação que usam vetores documento-tópico como características de itens.
  • Decomposição de sinais em bioinformática (expressão gênica) e separação de fontes de áudio, onde a NMF se originou.
  • Modelo de tópicos de linha de base contra o qual modelos neurais ou probabilísticos são comparados.
  • Redução de dimensionalidade de matrizes documento-termo esparsas antes da classificação downstream.

Como funciona

Como funciona

1

O corpus é convertido em uma matriz documento-termo V de dimensão n-documentos por m-vocabulário. Cada célula contém tipicamente uma pontuação TF ou TF-IDF — contagens brutas não negativas ou seu equivalente ponderado. Pré-processamento (minúsculas, remoção de stop words, stemming opcional) e poda de vocabulário (frequência mínima de documento, frequência máxima de documento) são aplicados primeiro para reduzir o ruído.

2

V é aproximada como o produto de duas matrizes não negativas: W (n por k, pesos documento-tópico) e H (k por m, pesos tópico-palavra), onde k é o número escolhido de tópicos. Ambas as matrizes são inicializadas — comumente com uma semente SVD não negativa (NNDSVD) ou valores não negativos aleatórios — e então refinadas iterativamente para minimizar uma perda de reconstrução, como a norma de Frobenius ou a divergência KL de V para WH.

Fórmula
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}
3

As regras de atualização multiplicativa de Lee-Seung iteram W e H simultaneamente. Cada atualização multiplica o valor atual por uma razão que é garantida como positiva, preservando a não negatividade durante todo o processo. As iterações continuam até que a perda de reconstrução caia abaixo de uma tolerância ou um número máximo de iterações seja atingido.

Fórmula
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}
4

Após cada iteração, o algoritmo verifica se a mudança na perda de reconstrução é menor que uma tolerância definida (comumente 1e-4). Se for, a convergência é declarada. Implementações práticas também limitam as iterações (por exemplo, 200) para evitar computação descontrolada em vocabulários grandes.

5

Uma vez convergido, cada linha de H é um tópico: as colunas com os pesos mais altos são as palavras definidoras desse tópico. Cada linha de W é a associação suave de um documento entre os tópicos. Os tópicos são tipicamente rotulados por suas 5 a 10 palavras principais. Métricas de coerência (por exemplo, NPMI) podem ser usadas para selecionar o melhor número de tópicos k.

Erros comuns

  • Escolher k arbitrariamente sem avaliar métricas de coerência em uma faixa de valores.
  • Usar matrizes de contagem bruta em vez de TF-IDF, o que faz com que palavras de alta frequência dominem todos os tópicos.
  • Pular a poda de vocabulário (frequência mínima/máxima de documento), deixando termos ruidosos ou ultra-raros que inflacionam a matriz e obscurecem os tópicos.
  • Tratar os pesos documento-tópico como probabilidades sem normalizá-los por linha.
  • Ignorar o efeito das escolhas de pré-processamento (stemming vs. lematização, listas de stop words) na qualidade do tópico.

Perguntas frequentes

Como escolho o número de tópicos k?

Execute a NMF para uma faixa de valores de k (por exemplo, de 5 a 30) e avalie a coerência dos tópicos (pontuação NPMI ou C_V) em uma amostra de vocabulário reservada. Plote a coerência versus k e procure por um pico ou um cotovelo. O conhecimento do domínio sobre a estrutura temática esperada do corpus também é um guia útil.

A NMF é melhor que o LDA?

Nenhum é universalmente melhor. A NMF frequentemente produz tópicos com menor sobreposição de palavras inter-tópicos e é mais rápida de treinar, mas não é um modelo probabilístico gerador. O LDA fornece distribuições documento-tópico que são probabilidades adequadas e suporta avaliação de perplexidade de dados reservados. A escolha depende se a interpretabilidade ou a inferência probabilística é a prioridade.

A NMF requer remoção de stop words?

O uso de entrada TF-IDF reduz a influência de palavras comuns automaticamente, mas a remoção explícita de stop words e a poda de frequência mínima de documento ainda melhoram os resultados ao eliminar tokens muito raros ou de todo o corpus que adicionam ruído sem contribuir para tópicos coerentes.

Quão reprodutíveis são os resultados da NMF?

Com uma semente aleatória fixa e inicialização NNDSVD, os resultados da NMF são altamente reprodutíveis. Sem uma semente fixa, execuções diferentes podem produzir ordenações de tópicos diferentes ou distribuições de palavras ligeiramente diferentes. Sempre defina uma semente e relate-a ao publicar.

A NMF pode lidar com corpora multilíngues?

Sim, mas a matriz documento-termo deve tratar o vocabulário de cada idioma separadamente, ou o corpus deve ser traduzido para um idioma comum primeiro. Modelos de tópicos multilíngues (por exemplo, LDA polilingual ou abordagens baseadas em BERT multilíngue) são projetados especificamente para configurações interlinguísticas e podem superar a NMF simples nesses casos.

Métodos relacionados

Fontes

  1. Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.

    Abrir referência DOI
    Copiado.
  2. Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.

    Abrir referência da publicação
    Copiado.