Skip to content
Retour aux résultats

Modélisation thématique par NMF

Introduite par
Lee & Seung
Année
1999
Type
Matrix-factorization topic model

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La modélisation thématique par NMF utilise la factorisation matricielle non-négative — la décomposition basée sur les parties introduite par Lee et Seung (1999) — pour extraire des distributions document-topic d'un corpus.

En factorisant une matrice document-terme en deux matrices non-négatives, elle récupère un petit ensemble de thèmes et tend à produire des thèmes plus interprétables que LDA.

L’intuition derrière la méthode

Un corpus peut être écrit comme une grande table où chaque ligne est un document et chaque colonne est un terme. La NMF suppose que cette table est le produit de deux tables plus petites et non-négatives : l'une qui indique dans quelle mesure chaque document appartient à chaque thème, et l'autre qui indique quels termes composent chaque thème. Comme rien n'est autorisé à être négatif, les thèmes ne peuvent que s'additionner — ils ne peuvent pas s'annuler — de sorte que chaque thème finit par ressembler à un ensemble cohérent de mots co-occurrents qu'un lecteur peut nommer.

Histoire

La NMF a été introduite par Lee et Seung (1999), qui ont montré que l'apprentissage d'une représentation additive basée sur les parties des objets produit des composantes interprétables. La technique a ensuite été adaptée au texte en tant que modèle thématique, et Arora et al. (2013) ont proposé un algorithme pratique pour la modélisation thématique avec des garanties prouvables, renforçant ainsi ses bases théoriques.

Quand l’utiliser

Utilisez la modélisation thématique NMF pour explorer ou décrire un corpus de texte lorsque vous avez suffisamment de documents (environ 50 ou plus) et que vous pouvez décider du nombre de thèmes k à l'avance. Elle attend des données textuelles représentées sous forme de matrice document-terme, avec une vectorisation TF-IDF préférée. C'est une bonne option lorsque des thèmes interprétables et nomables sont plus importants qu'un modèle entièrement probabiliste.

Limites et points d’attention

  • Le nombre de thèmes k doit être choisi à l'avance plutôt qu'appris à partir des données.
  • Nécessite un nombre suffisant de documents (environ 50 ou plus) pour récupérer des thèmes stables.
  • Contrairement à un modèle probabiliste, il ne fournit pas de compte rendu génératif ni d'incertitude principielle sur les thèmes.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Produit des thèmes plus interprétables que LDA grâce à sa factorisation additive basée sur les parties.
  • Fonctionne naturellement sur les matrices document-terme TF-IDF, la représentation standard pour le texte.
  • Conceptuellement simple : une seule factorisation matricielle avec une séparation claire entre documents-thèmes et thèmes-termes.

Applications

  • Découvrir et nommer les thèmes principaux dans une collection de documents.
  • Résumer de grands corpus par leurs thèmes dominants pour une analyse exploratoire.
  • Étiqueter les documents avec des distributions thématiques pour la description et la recherche en aval.
  • Comparer la structure thématique entre des sous-ensembles d'un corpus.

Comment ça marche

Comment ça marche

1

Le corpus est transformé en une matrice document-terme dans laquelle chaque document devient une ligne de scores de termes pondérés. La vectorisation TF-IDF est préférée, car elle réduit le poids des mots omniprésents et met l'accent sur les termes qui distinguent réellement les documents — donnant à la factorisation un signal plus clair avec lequel travailler.

2

La matrice document-terme est approximée comme le produit de deux matrices non-négatives : une matrice document-thème et une matrice thème-terme. Le nombre choisi de thèmes k fixe la dimension intérieure de ce produit, et la factorisation est ajustée de sorte que la reconstruction reste proche de la matrice originale tout en gardant chaque entrée non-négative.

3

Chaque thème est lu à partir de la matrice thème-terme en inspectant les termes les plus pondérés dans sa colonne. Comme tous les poids sont non-négatifs et s'additionnent, ces termes supérieurs forment un thème lisible qui peut être étiqueté — cette structure additive, basée sur les parties, est ce qui rend les thèmes NMF plus faciles à interpréter que ceux de LDA.

4

Chaque document est décrit par sa ligne dans la matrice document-thème, qui donne la force de chaque thème dans ce document. Ces distributions peuvent être utilisées pour résumer le corpus, étiqueter les documents avec leurs thèmes dominants, ou alimenter des descriptions et des explorations en aval.

Pièges courants

  • Choisir k de manière inappropriée — trop peu de thèmes fusionnent des thèmes distincts, trop nombreux les fragmentent en bruit.
  • Ignorer la pondération TF-IDF laisse les mots fonctionnels fréquents dominer et brouille les thèmes.
  • L'exécution sur trop peu de documents produit des thèmes instables qui changent d'un ajustement à l'autre.
  • Traiter les colonnes de thèmes comme exactes plutôt qu'approximatives — la NMF ne reconstruit que de manière approximative la matrice originale.

Questions fréquentes

En quoi la modélisation thématique NMF diffère-t-elle de LDA ?

Les deux extraient des distributions document-thèmes, mais la NMF est une factorisation matricielle qui force toutes les composantes à être non-négatives et additives, tandis que LDA est un modèle génératif probabiliste. La structure additive basée sur les parties de la NMF tend à rendre ses thèmes plus interprétables que ceux de LDA.

Comment choisir le nombre de thèmes k ?

k doit être défini avant l'ajustement, car la NMF ne l'apprend pas à partir des données. Choisissez-le en fonction de la connaissance du domaine et en comparant l'interprétabilité et la cohérence des thèmes pour plusieurs valeurs de k.

Pourquoi le TF-IDF est-il préféré aux comptages bruts ?

Le TF-IDF réduit le poids des mots qui apparaissent partout et met l'accent sur les termes qui distinguent les documents, donnant à la factorisation un signal plus clair et produisant des thèmes plus nets et plus nomables.

Combien de documents sont nécessaires ?

Environ 50 ou plus est le minimum recommandé. Avec trop peu de documents, les thèmes récupérés deviennent instables et peuvent changer d'un ajustement à l'autre.

Méthodes associées

Sources

  1. Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.

    Ouvrir la référence DOI
    Copié.
  2. Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.

    Ouvrir la référence de la publication
    Copié.