Skip to content
Retour aux résultats

Modélisation par sujets

Introduite par
Hofmann, T. (pLSA, 1999); Blei, D. M., Ng, A. Y., & Jordan, M. I. (LDA, 2003)
Année
1999–2003
Type
Unsupervised generative probabilistic model
Famille
Deep learning / NLP / CV

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le Modélisation par sujets est une famille de techniques probabilistes non supervisées pour découvrir la structure thématique latente dans de vastes collections de textes.

En apprenant quels mots ont tendance à co-occurer, des modèles tels que Latent Dirichlet Allocation (LDA) font automatiquement émerger des sujets cohérents — chacun représenté par une distribution sur le vocabulaire — sans nécessiter de données étiquetées.

L’intuition derrière la méthode

Imaginez lire des milliers d'articles et essayer de les regrouper par thème sans connaître les thèmes à l'avance. Le topic modeling fait cela mathématiquement : il suppose que chaque document est un mélange d'un petit nombre de sujets latents, et que chaque sujet est caractérisé par une distribution sur les mots. Des mots comme 'élection', 'vote' et 'sénat' se regroupent dans un sujet politique ; 'gène', 'protéine' et 'cellule' se regroupent en biologie. L'algorithme trouve simultanément les poids mots-sujets et les proportions de sujets par document, guidé uniquement par les schémas de co-occurrence dans le corpus.

Histoire

Latent Semantic Analysis (LSA) a introduit l'idée de découvrir une structure cachée dans des matrices terme-document via SVD à la fin des années 1980. Probabilistic LSA (1999) de Hofmann a donné une interprétation probabiliste générative. Blei, Ng et Jordan ont formalisé Latent Dirichlet Allocation en 2003, ajoutant un prior de Dirichlet sur les distributions document-sujet qui permet une inférence bayésienne complète et une généralisation aux documents non vus. LDA est devenu le cadre dominant et a engendré des centaines d'extensions. Plus récemment, les modèles de sujet neuronaux et basés sur des transformeurs tels que BERTopic intègrent les documents dans un espace contextuel avant le clustering, améliorant considérablement la cohérence sur des textes courts ou spécialisés.

Quand l’utiliser

Le topic modeling est approprié lorsque vous disposez d'un grand corpus de textes non étiquetés et que vous souhaitez découvrir sa structure thématique sans catégories prédéfinies — par exemple, en analysant des réponses de sondages ouvertes, des résumés académiques, des archives de presse ou des données de médias sociaux. Il est bien adapté lorsque K (nombre de sujets) est inconnu et doit être inféré à partir des données. Évitez le topic modeling lorsque votre corpus est très petit (moins de quelques centaines de documents), lorsque les documents sont très courts (phrases uniques), lorsque les sujets se chevauchent fortement ou sont riches en jargon sans prétraitement, ou lorsque vous avez besoin de prédictions précises par document plutôt que de proportions thématiques douces. Pour les tâches de classification étiquetées, les méthodes supervisées telles que les classificateurs basés sur BERT sont préférables.

Limites et points d’attention

  • Le nombre de sujets K doit être spécifié ou recherché, nécessitant plusieurs exécutions du modèle et une évaluation de la cohérence.
  • Les sujets peuvent être incohérents ou redondants, en particulier sur des textes courts ou des corpus mal prétraités.
  • Le LDA classique suppose l'échangeabilité (sac de mots) et ignore l'ordre des mots et la syntaxe.
  • Les résultats sont stochastiques et peuvent varier d'une exécution à l'autre ; la reproductibilité nécessite une graine aléatoire fixe.
  • L'interprétation nécessite un étiquetage manuel de chaque sujet découvert par un expert du domaine.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Entièrement non supervisé : découvre des thèmes à partir de textes bruts sans aucune donnée d'entraînement étiquetée.
  • Scalable à de très grands corpus grâce à l'inférence en ligne ou distribuée.
  • Produit des sujets interprétables sous forme de listes de mots classés que les experts du domaine peuvent valider.
  • Les proportions document-sujet sont continues et peuvent servir de caractéristiques compactes pour les modèles en aval.
  • La famille de modèles est flexible : LDA, NMF, CTM, BERTopic et les variantes neuronales partagent tous le même objectif conceptuel.

Applications

  • Analyse exploratoire des réponses ouvertes de sondages ou d'entretiens pour faire émerger des thèmes récurrents.
  • Cartographie des tendances de recherche sur de vastes collections de résumés académiques ou de propositions de subventions.
  • Surveillance du discours public et des dynamiques d'opinion dans des corpus de presse ou de médias sociaux.
  • Génération de caractéristiques document-sujet pour des systèmes de classification ou de recommandation en aval.
  • Navigation et recherche dans un corpus : étiquetage des documents avec des proportions de sujets pour permettre une récupération par facettes.
  • Analyse longitudinale de l'évolution des sujets dans un domaine au fil du temps.

Comment ça marche

Comment ça marche

1

Le texte brut est nettoyé et tokenisé : les mots vides (stopwords), la ponctuation et les termes très rares ou très fréquents sont supprimés ; des étapes optionnelles incluent la racinisation (stemming), la lemmatisation et le filtrage vers une taille de vocabulaire significative. Un prétraitement de qualité est essentiel car les modèles de sujets ne peuvent pas séparer le signal du bruit des mots vides par eux-mêmes.

2

Les documents sont convertis en une matrice sac de mots (bag-of-words) — chaque document est un vecteur de comptages de mots ou de fréquences de termes. Cette représentation ignore l'ordre des mots mais capture les statistiques de co-occurrence que le modèle exploite pour trouver des thèmes.

3

Le modèle estime conjointement deux ensembles de distributions : les distributions mots-sujets (quels mots définissent chaque sujet) et les distributions documents-sujets (quelle est la contribution de chaque sujet à chaque document). Dans LDA, cela est fait via l'inférence variationnelle ou l'échantillonnage de Gibbs pour approximer la postérieure. L'identité fondamentale est que la probabilité d'observer un mot dans un document est égale à la somme de ses probabilités sous chaque sujet, pondérée par la proportion de ce sujet dans le document.

Formule
p(w|d) = \sum_{k=1}^{K} p(w|z=k)\,p(z=k|d)
4

Après l'ajustement, chaque sujet est résumé par ses mots les plus pondérés. Chaque document reçoit un vecteur de proportions de sujets montrant la part de son contenu attribuable à chaque thème découvert. Ces proportions par document peuvent être utilisées comme caractéristiques (features) pour des tâches de classification ou de régression en aval.

5

Un jugement humain est requis pour étiqueter les sujets. Des métriques de cohérence (telles que NPMI ou C_v) fournissent un guide quantitatif pour choisir le nombre de sujets K, mais une revue qualitative des mots principaux par sujet est toujours nécessaire pour confirmer que les sujets sont significatifs et non redondants.

Pièges courants

  • Ignorer la suppression des mots vides et le prétraitement, ce qui inonde les sujets de mots fonctionnels et laisse les thèmes substantiels enfouis.
  • Choisir K arbitrairement plutôt que d'utiliser des métriques de cohérence (NPMI, C_v) et une revue qualitative conjointement.
  • Traiter les étiquettes de sujet comme vérité terrain sans validation experte des listes de mots principaux.
  • Appliquer des modèles de sujet à des textes très courts (tweets, phrases uniques) sans utiliser d'adaptations pour textes courts.
  • Ignorer la stabilité des sujets à travers différentes graines aléatoires, ce qui pourrait révéler que les thèmes identifiés sont des artefacts de l'initialisation.

Questions fréquentes

Comment choisir le nombre de sujets K ?

Calculez un score de cohérence (tel que C_v ou NPMI) pour une gamme de valeurs de K (par exemple, 5–50) et tracez la courbe ; sélectionnez le K où la cohérence atteint un pic avant des rendements décroissants. Complétez toujours cela par une revue qualitative : lisez les 10 mots principaux de chaque sujet et vérifiez qu'ils forment des thèmes significatifs et non redondants.

Quelle quantité de données est nécessaire pour que le topic modeling fonctionne bien ?

Le LDA classique nécessite généralement au moins quelques centaines de documents et un vocabulaire de plusieurs centaines de termes significatifs pour estimer des distributions stables. En dessous de ce seuil, les sujets sont souvent incohérents. Sur des corpus très petits, envisagez une analyse thématique qualitative ou un modèle pré-entraîné comme BERTopic, qui exploite des plongements (embeddings) externes.

Puis-je utiliser les sorties du topic modeling comme caractéristiques dans un classificateur ?

Oui. Le vecteur de proportions document-sujet est une représentation compacte et dense qui peut être directement passée à une régression logistique, une forêt aléatoire ou un classificateur neuronal. C'est un pipeline courant pour les flux de travail semi-supervisés où les données étiquetées sont rares.

Quelle est la différence entre LDA et NMF pour le topic modeling ?

LDA est un modèle génératif probabiliste estimé par inférence bayésienne ; NMF (Non-negative Matrix Factorisation) est une approche de décomposition matricielle. Les deux produisent des matrices mots-sujets et documents-sujets, mais NMF est déterministe et souvent plus rapide, tandis que LDA fournit des estimations d'incertitude fondées sur des principes. Sur des corpus propres, ils produisent fréquemment des sujets similaires ; le choix dépend souvent des contraintes computationnelles et de la nécessité d'une interprétation probabiliste.

Le topic modeling fonctionne-t-il sur du texte non anglais ?

Oui, le topic modeling est indépendant de la langue au niveau de l'algorithme — il ne nécessite que du texte tokenisé. Vous avez besoin d'un prétraitement spécifique à la langue (listes de mots vides, stemmers ou lemmatiseurs). Pour les corpus multilingues, envisagez des plongements multilingues tels que mBERT combinés à BERTopic pour la découverte de sujets cross-lingues.

Méthodes associées

Sources

  1. Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research, 3, 993–1022.

    Ouvrir la référence de la publication
    Copié.
  2. Hofmann, T. (1999). Probabilistic Latent Semantic Analysis. Proceedings of the Fifteenth Conference on Uncertainty in Artificial Intelligence (UAI), 289–296.

    Ouvrir la référence de la publication
    Copié.