Skip to content
Voltar aos resultados

Modelagem de Tópicos por Fatoração de Matriz Não-Negativa (NMF)

Proposto por
Lee & Seung
Ano
1999
Tipo
Matrix-factorization topic model

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A modelagem de tópicos por NMF utiliza a Fatoração de Matriz Não-Negativa — a decomposição baseada em partes introduzida por Lee e Seung (1999) — para extrair distribuições documento-tópico de um corpus.

Ao fatorar uma matriz documento-termo em duas matrizes não-negativas, ela recupera um pequeno conjunto de tópicos e tende a produzir tópicos mais interpretáveis que o LDA.

A intuição por trás do método

Um corpus pode ser representado como uma grande tabela onde cada linha é um documento e cada coluna é um termo. A NMF assume que essa tabela é o produto de duas tabelas não-negativas menores: uma que indica o quanto cada documento pertence a cada tópico, e outra que indica quais termos compõem cada tópico. Como nada é permitido ser negativo, os tópicos só podem se somar — eles não podem se cancelar mutuamente — de modo que cada tópico acaba parecendo um conjunto coerente de palavras coocorrentes que um leitor pode nomear.

História

A NMF foi introduzida por Lee e Seung (1999), que mostraram que aprender uma representação aditiva e baseada em partes de objetos produz componentes interpretáveis. A técnica foi posteriormente adaptada para texto como um modelo de tópicos, e Arora et al. (2013) forneceram um algoritmo prático para modelagem de tópicos com garantias comprováveis, fortalecendo sua base teórica.

Quando usar

Use a modelagem de tópicos por NMF para explorar ou descrever um corpus de texto quando você tiver documentos suficientes (cerca de 50 ou mais) e puder decidir o número de tópicos k com antecedência. Ela espera dados textuais representados como uma matriz documento-termo, com vetorização TF-IDF preferida. É uma boa opção quando tópicos interpretáveis e nomeáveis são mais importantes que um modelo totalmente probabilístico.

Limitações e considerações

  • O número de tópicos k deve ser escolhido com antecedência em vez de aprendido a partir dos dados.
  • Requer um número suficiente de documentos (cerca de 50 ou mais) para recuperar tópicos estáveis.
  • Ao contrário de um modelo probabilístico, não fornece uma conta generativa ou incerteza principiada sobre os tópicos.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Produz tópicos mais interpretáveis que o LDA graças à sua fatoração aditiva e baseada em partes.
  • Funciona naturalmente em matrizes documento-termo TF-IDF, a representação padrão para texto.
  • Conceitualmente simples: uma única fatoração de matriz com uma clara divisão documento-tópico e tópico-termo.

Aplicações

  • Descobrir e nomear os temas principais em uma coleção de documentos.
  • Resumir grandes corpora por seus tópicos dominantes para análise exploratória.
  • Rotular documentos com distribuições de tópicos para descrição e busca subsequentes.
  • Comparar a estrutura de tópicos entre subconjuntos de um corpus.

Como funciona

Como funciona

1

O corpus é transformado em uma matriz documento-termo na qual cada documento se torna uma linha de pontuações ponderadas de termos. A vetorização TF-IDF é preferida, pois reduz o peso de palavras ubíquas e enfatiza os termos que realmente distinguem os documentos — fornecendo à fatoração um sinal mais limpo para trabalhar.

2

A matriz documento-termo é aproximada como o produto de duas matrizes não-negativas: uma matriz documento-tópico e uma matriz tópico-termo. O número escolhido de tópicos k fixa a dimensão interna desse produto, e a fatoração é ajustada de modo que a reconstrução permaneça próxima da matriz original, mantendo cada entrada não-negativa.

3

Cada tópico é lido a partir da matriz tópico-termo inspecionando os termos de maior peso em sua coluna. Como todos os pesos são não-negativos e se somam, esses termos principais formam um tema legível que pode ser rotulado — essa estrutura aditiva e baseada em partes é o que torna os tópicos da NMF mais fáceis de interpretar que os do LDA.

4

Cada documento é descrito por sua linha na matriz documento-tópico, que fornece a força de cada tópico naquele documento. Essas distribuições podem ser usadas para resumir o corpus, rotular documentos com seus tópicos dominantes, ou alimentar análises descritivas e exploratórias subsequentes.

Erros comuns

  • Definir k incorretamente — poucos tópicos fundem temas distintos, muitos os fragmentam em ruído.
  • Ignorar a ponderação TF-IDF permite que palavras funcionais frequentes dominem e obscureçam os tópicos.
  • Executar em poucos documentos resulta em tópicos instáveis que mudam de um ajuste para o próximo.
  • Tratar as colunas de tópicos como exatas em vez de aproximadas — a NMF apenas reconstrói aproximadamente a matriz original.

Perguntas frequentes

Como a modelagem de tópicos por NMF difere do LDA?

Ambos extraem distribuições documento-tópico, mas a NMF é uma fatoração de matriz que força todos os componentes a serem não-negativos e aditivos, enquanto o LDA é um modelo generativo probabilístico. A estrutura aditiva e baseada em partes da NMF tende a tornar seus tópicos mais interpretáveis que os do LDA.

Como escolho o número de tópicos k?

k deve ser definido antes do ajuste, pois a NMF não o aprende a partir dos dados. Escolha-o com base no conhecimento do domínio e comparando a interpretabilidade e coerência dos tópicos em vários valores de k.

Por que o TF-IDF é preferido em relação às contagens brutas?

O TF-IDF reduz o peso de palavras que aparecem em todos os lugares e enfatiza termos que distinguem documentos, fornecendo à fatoração um sinal mais limpo e produzindo tópicos mais nítidos e nomeáveis.

Quantos documentos são necessários?

Cerca de 50 ou mais é o mínimo recomendado. Com poucos documentos, os tópicos recuperados tornam-se instáveis e podem mudar de um ajuste para o próximo.

Métodos relacionados

Fontes

  1. Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.

    Abrir referência DOI
    Copiado.
  2. Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.

    Abrir referência da publicação
    Copiado.