Modelo de Tópicos NMF
- Propuesto por
- Lee, D. D. & Seung, H. S.
- Año
- 1999
- Tipo
- Matrix factorization / unsupervised topic model
- Familia
- Deep learning / NLP / CV
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La Factorización de Matrices No Negativas (NMF, por sus siglas en inglés) es un método de descomposición matricial no supervisado que descubre tópicos latentes en un corpus de texto al factorizar una matriz documento-término en dos matrices no negativas: una que codifica los pesos de tópicos-palabras y otra los pesos de documentos-tópicos.
La restricción de no negatividad produce representaciones aditivas y basadas en partes que tienden a generar tópicos limpios e interpretables.
La intuición detrás del método
Imagine su corpus como una gran hoja de cálculo donde las filas son documentos y las columnas son palabras. NMF pregunta: ¿puedo reexpresar esta hoja de cálculo como una combinación de un pequeño número de patrones de palabras arquetípicos (tópicos)? Dado que todos los valores deben ser no negativos, el modelo no puede cancelar un patrón contra otro; se ve obligado a encontrar bloques de construcción aditivos. Cada documento se describe entonces como una mezcla de estos patrones. El resultado suele ser más directamente legible que los modelos de tópicos probabilísticos, ya que las palabras principales por tópico rara vez se solapan fuertemente.
Historia
La Factorización de Matrices No Negativas fue introducida por Daniel D. Lee y H. Sebastian Seung en un artículo fundamental de Nature en 1999, que demostró que NMF de datos de imágenes produce representaciones localizadas y basadas en partes, a diferencia de PCA o VQ. Su artículo de NIPS de 2001 proporcionó las ahora estándar reglas de actualización multiplicativa. NMF fue rápidamente adoptado para el análisis de texto como una alternativa de modelado de tópicos a LDA, ofreciendo un entrenamiento más simple y agrupaciones de palabras a menudo más nítidas. Sigue siendo una línea base estándar en la investigación de PNL y recuperación de información.
Cuándo usarlo
Utilice NMF cuando necesite tópicos nítidos y basados en partes de un corpus de texto, especialmente cuando desee tópicos con bajo solapamiento de palabras y etiquetado claro. Funciona bien en matrices TF-IDF derivadas de documentos cortos a medianos, como resúmenes, artículos de noticias o respuestas de encuestas. Es particularmente adecuado cuando la interpretabilidad es una preocupación principal y cuando el corpus es de tamaño moderado (miles a cientos de miles de documentos). Evite NMF cuando tenga documentos muy cortos (menos de ~20 tokens cada uno), cuando se requiera un modelo generativo probabilístico para inferencia posterior, o cuando el corpus sea extremadamente grande y disperso; en esos casos, LDA o modelos de tópicos neuronales pueden ser más apropiados.
Limitaciones y consideraciones
- El número de tópicos k debe ser establecido por el usuario; no hay un mecanismo incorporado para inferirlo a partir de los datos.
- NMF no es un modelo probabilístico generativo, por lo que las membresías de documentos-tópicos no son probabilidades adecuadas y no se pueden usar directamente en flujos de trabajo probabilísticos.
- Los resultados dependen de la inicialización y pueden variar entre ejecuciones a menos que se utilicen una semilla fija e inicialización NNDSVD.
- Los documentos muy cortos (menos de ~20 tokens) producen filas dispersas en V que son difíciles de factorizar de manera significativa.
- NMF no modela correlaciones de tópicos ni covariables a nivel de documento como lo hacen los modelos de tópicos estructurales.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- La restricción de no negatividad produce representaciones aditivas y basadas en partes que a menudo son más interpretables que LDA.
- Los tópicos tienden a tener un menor solapamiento de palabras inter-tópicos, lo que facilita el etiquetado manual.
- Las actualizaciones deterministas (con una semilla fija) hacen que los resultados sean más reproducibles que LDA basado en muestreo.
- La entrada TF-IDF reduce naturalmente el peso de las palabras comunes, disminuyendo la necesidad de una lista exhaustiva de palabras vacías.
- Implementación sencilla en bibliotecas estándar (scikit-learn) con pocos hiperparámetros requeridos.
- Escala razonablemente a corpus de decenas de miles de documentos sin hardware especializado.
Aplicaciones
- Descubrimiento de tópicos y análisis temático en literatura científica, corpus de noticias y respuestas abiertas de encuestas.
- Agrupación de documentos y etiquetado automático de contenido para grandes repositorios de documentos.
- Sistemas de recomendación que utilizan vectores de documentos-tópicos como características de ítems.
- Descomposición de señales en bioinformática (expresión génica) y separación de fuentes de audio, donde se originó NMF.
- Modelo de tópicos de referencia contra el cual se comparan modelos neuronales o probabilísticos.
- Reducción de dimensionalidad de matrices dispersas documento-término antes de la clasificación posterior.
Cómo funciona
Cómo funciona
El corpus se convierte en una matriz documento-término V de forma n-documentos por m-vocabulario. Cada celda contiene típicamente una puntuación TF o TF-IDF: recuentos brutos no negativos o su equivalente ponderado. Primero se aplican preprocesamiento (minúsculas, eliminación de palabras vacías, lematización opcional) y poda de vocabulario (frecuencia mínima de documento, frecuencia máxima de documento) para reducir el ruido.
V se aproxima como el producto de dos matrices no negativas: W (n por k, pesos de documentos-tópicos) y H (k por m, pesos de tópicos-palabras), donde k es el número elegido de tópicos. Ambas matrices se inicializan, comúnmente con una semilla SVD no negativa (NNDSVD) o valores aleatorios no negativos, y luego se refinan iterativamente para minimizar una pérdida de reconstrucción como la norma de Frobenius o la divergencia KL de V a WH.
Fórmula
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}Las reglas multiplicativas de actualización de Lee-Seung iteran W y H simultáneamente. Cada actualización multiplica el valor actual por una proporción que se garantiza que es positiva, preservando la no negatividad en todo momento. Las iteraciones continúan hasta que la pérdida de reconstrucción cae por debajo de una tolerancia o se alcanza un número máximo de iteraciones.
Fórmula
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}Después de cada iteración, el algoritmo comprueba si el cambio en la pérdida de reconstrucción es menor que una tolerancia establecida (comúnmente 1e-4). Si es así, se declara la convergencia. Las implementaciones prácticas también limitan las iteraciones (por ejemplo, 200) para evitar cálculos descontrolados en vocabularios grandes.
Una vez que converge, cada fila de H es un tópico: las columnas con los pesos más altos son las palabras definitorias de ese tópico. Cada fila de W es la membresía suave de un documento a través de los tópicos. Los tópicos se etiquetan típicamente por sus palabras de los 5 a 10 primeros puestos. Las métricas de coherencia (por ejemplo, NPMI) se pueden utilizar para seleccionar el mejor número de tópicos k.
Errores comunes
- Elegir k arbitrariamente sin evaluar métricas de coherencia en un rango de valores.
- Usar matrices de recuento bruto en lugar de TF-IDF, lo que hace que las palabras de alta frecuencia dominen cada tópico.
- Omitir la poda de vocabulario (frecuencia mínima/máxima de documento), dejando términos ruidosos o ultra-raros que inflan la matriz y difuminan los tópicos.
- Tratar los pesos de documentos-tópicos como probabilidades sin normalizarlos por fila.
- Ignorar el efecto de las opciones de preprocesamiento (lematización vs. derivación, listas de palabras vacías) en la calidad de los tópicos.
Preguntas frecuentes
¿Cómo elijo el número de tópicos k?
Ejecute NMF para un rango de valores de k (por ejemplo, de 5 a 30) y evalúe la coherencia de los tópicos (puntuación NPMI o C_V) en una muestra de vocabulario reservada. Represente gráficamente la coherencia frente a k y busque un pico o un codo. El conocimiento del dominio sobre la estructura temática esperada del corpus también es una guía útil.
¿Es NMF mejor que LDA?
Ninguno es universalmente mejor. NMF a menudo produce tópicos con menor solapamiento de palabras inter-tópicos y es más rápido de entrenar, pero no es un modelo probabilístico generativo. LDA proporciona distribuciones de documentos-tópicos que son probabilidades adecuadas y admite la evaluación de perplejidad reservada. La elección depende de si la prioridad es la interpretabilidad o la inferencia probabilística.
¿Requiere NMF la eliminación de palabras vacías?
El uso de entrada TF-IDF reduce automáticamente la influencia de palabras comunes, pero la eliminación explícita de palabras vacías y la poda de frecuencia mínima de documento aún mejoran los resultados al eliminar tokens muy raros o de todo el corpus que añaden ruido sin contribuir a tópicos coherentes.
¿Qué tan reproducibles son los resultados de NMF?
Con una semilla aleatoria fija e inicialización NNDSVD, los resultados de NMF son altamente reproducibles. Sin una semilla fija, diferentes ejecuciones pueden producir diferentes órdenes de tópicos o distribuciones de palabras ligeramente diferentes. Siempre establezca una semilla e infórmela al publicar.
¿Puede NMF manejar corpus multilingües?
Sí, pero la matriz documento-término debe tratar el vocabulario de cada idioma por separado, o el corpus debe traducirse primero a un idioma común. Los modelos de tópicos multilingües (por ejemplo, LDA polilingüe o enfoques multilingües basados en BERT) están diseñados específicamente para entornos multilingües y pueden superar a NMF simple en esos casos.
Métodos relacionados
Fuentes
Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.
Abrir referencia DOICopiado.Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.
Abrir referencia de la publicaciónCopiado.