Modelagem de Tópicos por Fatoração de Matriz Não-Negativa (NMF)
- Proposto por
- Lee & Seung
- Ano
- 1999
- Tipo
- Matrix-factorization topic model
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A modelagem de tópicos por NMF utiliza a Fatoração de Matriz Não-Negativa — a decomposição baseada em partes introduzida por Lee e Seung (1999) — para extrair distribuições documento-tópico de um corpus.
Ao fatorar uma matriz documento-termo em duas matrizes não-negativas, ela recupera um pequeno conjunto de tópicos e tende a produzir tópicos mais interpretáveis que o LDA.
A intuição por trás do método
Um corpus pode ser representado como uma grande tabela onde cada linha é um documento e cada coluna é um termo. A NMF assume que essa tabela é o produto de duas tabelas não-negativas menores: uma que indica o quanto cada documento pertence a cada tópico, e outra que indica quais termos compõem cada tópico. Como nada é permitido ser negativo, os tópicos só podem se somar — eles não podem se cancelar mutuamente — de modo que cada tópico acaba parecendo um conjunto coerente de palavras coocorrentes que um leitor pode nomear.
História
A NMF foi introduzida por Lee e Seung (1999), que mostraram que aprender uma representação aditiva e baseada em partes de objetos produz componentes interpretáveis. A técnica foi posteriormente adaptada para texto como um modelo de tópicos, e Arora et al. (2013) forneceram um algoritmo prático para modelagem de tópicos com garantias comprováveis, fortalecendo sua base teórica.
Quando usar
Use a modelagem de tópicos por NMF para explorar ou descrever um corpus de texto quando você tiver documentos suficientes (cerca de 50 ou mais) e puder decidir o número de tópicos k com antecedência. Ela espera dados textuais representados como uma matriz documento-termo, com vetorização TF-IDF preferida. É uma boa opção quando tópicos interpretáveis e nomeáveis são mais importantes que um modelo totalmente probabilístico.
Limitações e considerações
- O número de tópicos k deve ser escolhido com antecedência em vez de aprendido a partir dos dados.
- Requer um número suficiente de documentos (cerca de 50 ou mais) para recuperar tópicos estáveis.
- Ao contrário de um modelo probabilístico, não fornece uma conta generativa ou incerteza principiada sobre os tópicos.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Produz tópicos mais interpretáveis que o LDA graças à sua fatoração aditiva e baseada em partes.
- Funciona naturalmente em matrizes documento-termo TF-IDF, a representação padrão para texto.
- Conceitualmente simples: uma única fatoração de matriz com uma clara divisão documento-tópico e tópico-termo.
Aplicações
- Descobrir e nomear os temas principais em uma coleção de documentos.
- Resumir grandes corpora por seus tópicos dominantes para análise exploratória.
- Rotular documentos com distribuições de tópicos para descrição e busca subsequentes.
- Comparar a estrutura de tópicos entre subconjuntos de um corpus.
Como funciona
Como funciona
O corpus é transformado em uma matriz documento-termo na qual cada documento se torna uma linha de pontuações ponderadas de termos. A vetorização TF-IDF é preferida, pois reduz o peso de palavras ubíquas e enfatiza os termos que realmente distinguem os documentos — fornecendo à fatoração um sinal mais limpo para trabalhar.
A matriz documento-termo é aproximada como o produto de duas matrizes não-negativas: uma matriz documento-tópico e uma matriz tópico-termo. O número escolhido de tópicos k fixa a dimensão interna desse produto, e a fatoração é ajustada de modo que a reconstrução permaneça próxima da matriz original, mantendo cada entrada não-negativa.
Cada tópico é lido a partir da matriz tópico-termo inspecionando os termos de maior peso em sua coluna. Como todos os pesos são não-negativos e se somam, esses termos principais formam um tema legível que pode ser rotulado — essa estrutura aditiva e baseada em partes é o que torna os tópicos da NMF mais fáceis de interpretar que os do LDA.
Cada documento é descrito por sua linha na matriz documento-tópico, que fornece a força de cada tópico naquele documento. Essas distribuições podem ser usadas para resumir o corpus, rotular documentos com seus tópicos dominantes, ou alimentar análises descritivas e exploratórias subsequentes.
Erros comuns
- Definir k incorretamente — poucos tópicos fundem temas distintos, muitos os fragmentam em ruído.
- Ignorar a ponderação TF-IDF permite que palavras funcionais frequentes dominem e obscureçam os tópicos.
- Executar em poucos documentos resulta em tópicos instáveis que mudam de um ajuste para o próximo.
- Tratar as colunas de tópicos como exatas em vez de aproximadas — a NMF apenas reconstrói aproximadamente a matriz original.
Perguntas frequentes
Como a modelagem de tópicos por NMF difere do LDA?
Ambos extraem distribuições documento-tópico, mas a NMF é uma fatoração de matriz que força todos os componentes a serem não-negativos e aditivos, enquanto o LDA é um modelo generativo probabilístico. A estrutura aditiva e baseada em partes da NMF tende a tornar seus tópicos mais interpretáveis que os do LDA.
Como escolho o número de tópicos k?
k deve ser definido antes do ajuste, pois a NMF não o aprende a partir dos dados. Escolha-o com base no conhecimento do domínio e comparando a interpretabilidade e coerência dos tópicos em vários valores de k.
Por que o TF-IDF é preferido em relação às contagens brutas?
O TF-IDF reduz o peso de palavras que aparecem em todos os lugares e enfatiza termos que distinguem documentos, fornecendo à fatoração um sinal mais limpo e produzindo tópicos mais nítidos e nomeáveis.
Quantos documentos são necessários?
Cerca de 50 ou mais é o mínimo recomendado. Com poucos documentos, os tópicos recuperados tornam-se instáveis e podem mudar de um ajuste para o próximo.
Métodos relacionados
Fontes
Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.
Abrir referência DOICopiado.Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.
Abrir referência da publicaçãoCopiado.