Modèle thématique NMF
- Introduite par
- Lee, D. D. & Seung, H. S.
- Année
- 1999
- Type
- Matrix factorization / unsupervised topic model
- Famille
- Deep learning / NLP / CV
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La Factorisation Matricielle Non-Négative (NMF) est une méthode de décomposition matricielle non supervisée qui découvre des sujets latents dans un corpus de textes en factorisant une matrice document-terme en deux matrices non-négatives — l'une encodant les poids mots-sujets, l'autre les poids documents-sujets.
La contrainte de non-négativité produit des représentations additives basées sur des parties qui tendent à générer des sujets clairs et interprétables.
L’intuition derrière la méthode
Imaginez votre corpus comme une grande feuille de calcul où les lignes sont des documents et les colonnes sont des mots. La NMF demande : puis-je réexprimer cette feuille de calcul comme une combinaison d'un petit nombre de patrons de mots archétypaux (sujets) ? Comme toutes les valeurs doivent être non-négatives, le modèle ne peut pas annuler un patron contre un autre — il est forcé de trouver des blocs de construction additifs. Chaque document est alors décrit comme un mélange de ces patrons. Le résultat est souvent plus directement lisible que les modèles thématiques probabilistes, car les mots principaux par sujet se chevauchent rarement fortement.
Histoire
La Factorisation Matricielle Non-Négative a été introduite par Daniel D. Lee et H. Sebastian Seung dans un article marquant de Nature en 1999 démontrant que la NMF de données d'images produit des représentations localisées, basées sur des parties — contrairement à PCA ou VQ. Leur article NIPS de 2001 a fourni les règles de mise à jour multiplicative maintenant standard. La NMF a été rapidement adoptée pour l'analyse de texte comme une alternative de modélisation thématique à LDA, offrant un entraînement plus simple et des clusters de mots souvent plus nets. Elle reste une référence standard dans la recherche en TAL et en récupération d'information.
Quand l’utiliser
Utilisez la NMF lorsque vous avez besoin de sujets nets, basés sur des parties, à partir d'un corpus de textes, surtout lorsque vous souhaitez des sujets avec peu de chevauchement de mots et un étiquetage clair. Elle fonctionne bien sur des matrices TF-IDF dérivées de documents courts à moyens tels que des résumés, des articles de presse ou des réponses à des enquêtes. Elle est particulièrement adaptée lorsque l'interprétabilité est une préoccupation majeure et lorsque le corpus est de taille modérée (milliers à centaines de milliers de documents). Évitez la NMF lorsque vous avez des documents très courts (moins d'environ 20 jetons chacun), lorsqu'un modèle génératif probabiliste est requis pour l'inférence en aval, ou lorsque le corpus est extrêmement grand et épars — dans ces cas, LDA ou les modèles thématiques neuronaux peuvent être plus appropriés.
Limites et points d’attention
- Le nombre de sujets k doit être défini par l'utilisateur ; il n'y a pas de mécanisme intégré pour l'inférer à partir des données.
- La NMF n'est pas un modèle probabiliste génératif, donc les appartenances document-sujet ne sont pas des probabilités correctes et ne peuvent pas être utilisées directement dans des pipelines probabilistes.
- Les résultats dépendent de l'initialisation et peuvent varier d'une exécution à l'autre, sauf si une graine fixe et une initialisation NNDSVD sont utilisées.
- Les documents très courts (moins d'environ 20 jetons) produisent des lignes éparses dans V qui sont difficiles à factoriser de manière significative.
- La NMF ne modélise pas les corrélations de sujets ou les covariables au niveau du document comme le font les modèles thématiques structurels.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- La contrainte de non-négativité produit des représentations additives, basées sur des parties, qui sont souvent plus interprétables que LDA.
- Les sujets tendent à avoir un faible chevauchement de mots inter-sujets, facilitant l'étiquetage manuel.
- Les mises à jour déterministes (avec une graine fixe) rendent les résultats plus reproductibles que LDA basé sur l'échantillonnage.
- L'entrée TF-IDF pondère naturellement les mots communs, réduisant le besoin d'une liste exhaustive de mots vides.
- Implémentation simple dans des bibliothèques standard (scikit-learn) avec peu d'hyperparamètres requis.
- Évolue raisonnablement vers des corpus de dizaines de milliers de documents sans matériel spécialisé.
Applications
- Découverte de sujets et analyse thématique dans la littérature scientifique, les corpus d'actualités et les réponses ouvertes d'enquêtes.
- Regroupement de documents et étiquetage automatique de contenu pour de grands dépôts de documents.
- Systèmes de recommandation utilisant des vecteurs document-sujet comme caractéristiques d'articles.
- Décomposition de signaux en bioinformatique (expression génique) et séparation de sources audio, où la NMF est née.
- Modèle thématique de référence par rapport auquel les modèles neuronaux ou probabilistes sont comparés.
- Réduction de dimensionnalité des matrices document-terme éparses avant classification en aval.
Comment ça marche
Comment ça marche
Le corpus est converti en une matrice document-terme V de forme n-documents par m-vocabulaire. Chaque cellule contient typiquement un score TF ou TF-IDF — des comptages bruts non-négatifs ou leur équivalent pondéré. Le prétraitement (mise en minuscules, suppression des mots vides, lemmatisation optionnelle) et l'élagage du vocabulaire (fréquence minimale dans les documents, fréquence maximale dans les documents) sont appliqués d'abord pour réduire le bruit.
V est approximée comme le produit de deux matrices non-négatives : W (n par k, poids documents-sujets) et H (k par m, poids sujets-mots), où k est le nombre choisi de sujets. Les deux matrices sont initialisées — couramment avec une graine SVD non-négative (NNDSVD) ou des valeurs aléatoires non-négatives — puis affinées itérativement pour minimiser une perte de reconstruction telle que la norme de Frobenius ou la divergence KL de V à WH.
Formule
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}Les règles de mise à jour multiplicative de Lee-Seung itèrent W et H simultanément. Chaque mise à jour multiplie la valeur actuelle par un ratio garanti d'être positif, préservant la non-négativité tout au long. Les itérations continuent jusqu'à ce que la perte de reconstruction tombe en dessous d'une tolérance ou qu'un nombre maximum d'itérations soit atteint.
Formule
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}Après chaque itération, l'algorithme vérifie si le changement dans la perte de reconstruction est inférieur à une tolérance définie (couramment 1e-4). Si c'est le cas, la convergence est déclarée. Les implémentations pratiques limitent également les itérations (par exemple, 200) pour éviter des calculs incontrôlables sur de grands vocabulaires.
Une fois convergée, chaque ligne de H est un sujet : les colonnes avec les poids les plus élevés sont les mots définissant ce sujet. Chaque ligne de W est l'appartenance douce d'un document à travers les sujets. Les sujets sont typiquement étiquetés par leurs 5 à 10 mots principaux. Des métriques de cohérence (par exemple, NPMI) peuvent être utilisées pour sélectionner le meilleur nombre de sujets k.
Pièges courants
- Choisir k arbitrairement sans évaluer les métriques de cohérence sur une gamme de valeurs.
- Utiliser des matrices de comptage brutes au lieu de TF-IDF, ce qui fait que les mots à haute fréquence dominent chaque sujet.
- Ignorer l'élagage du vocabulaire (fréquence minimale/maximale dans les documents), laissant des termes bruyants ou ultra-rares qui gonflent la matrice et brouillent les sujets.
- Traiter les poids documents-sujets comme des probabilités sans les normaliser ligne par ligne.
- Ignorer l'effet des choix de prétraitement (racinisation vs lemmatisation, listes de mots vides) sur la qualité des sujets.
Questions fréquentes
Comment choisir le nombre de sujets k ?
Exécuter la NMF pour une gamme de valeurs de k (par exemple, 5 à 30) et évaluer la cohérence des sujets (score NPMI ou C_V) sur un échantillon de vocabulaire réservé. Tracer la cohérence en fonction de k et rechercher un pic ou un coude. La connaissance du domaine sur la structure thématique attendue du corpus est également un guide utile.
La NMF est-elle meilleure que LDA ?
Aucune n'est universellement meilleure. La NMF produit souvent des sujets avec un faible chevauchement de mots inter-sujets et est plus rapide à entraîner, mais ce n'est pas un modèle probabiliste génératif. LDA fournit des distributions document-sujet qui sont des probabilités correctes et prend en charge l'évaluation de la perplexité réservée. Le choix dépend de la priorité accordée à l'interprétabilité ou à l'inférence probabiliste.
La NMF nécessite-t-elle la suppression des mots vides ?
L'utilisation d'une entrée TF-IDF réduit automatiquement l'influence des mots courants, mais la suppression explicite des mots vides et l'élagage de la fréquence minimale dans les documents améliorent encore les résultats en éliminant les jetons très rares ou présents dans tout le corpus qui ajoutent du bruit sans contribuer à des sujets cohérents.
Quelle est la reproductibilité des résultats de la NMF ?
Avec une graine aléatoire fixe et une initialisation NNDSVD, les résultats de la NMF sont hautement reproductibles. Sans graine fixe, différentes exécutions peuvent produire des ordres de sujets différents ou des distributions de mots légèrement différentes. Toujours définir une graine et la rapporter lors de la publication.
La NMF peut-elle gérer des corpus multilingues ?
Oui, mais la matrice document-terme doit traiter le vocabulaire de chaque langue séparément, ou le corpus doit d'abord être traduit dans une langue commune. Les modèles thématiques multilingues (par exemple, LDA polyglotte ou approches multilingues basées sur BERT) sont spécifiquement conçus pour les contextes translingues et peuvent surpasser la NMF simple dans ce cas.
Méthodes associées
Sources
Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.
Ouvrir la référence DOICopié.Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.
Ouvrir la référence de la publicationCopié.