BERTopic — Modélisation thématique neuronale
- Introduite par
- Maarten Grootendorst
- Année
- 2022
- Type
- Neural topic-modeling pipeline
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
BERTopic est un pipeline de modélisation thématique neuronale introduit par Maarten Grootendorst en 2022.
Il combine des plongements contextuels basés sur BERT avec une réduction de dimensionnalité UMAP et un regroupement HDBSCAN pour produire des thèmes cohérents et dynamiques, atteignant une cohérence thématique supérieure à celle des modèles thématiques classiques.
L’intuition derrière la méthode
Les modèles thématiques classiques traitent un document comme un sac de mots et capturent rarement le sens des mots en contexte. BERTopic, en revanche, part de plongements contextuels, de sorte que les documents qui traitent du même sujet avec des mots différents se retrouvent proches les uns des autres. Il regroupe ces documents proches en clusters, puis identifie les mots qui distinguent chaque cluster — et ces mots distinctifs deviennent le thème. Le résultat est un ensemble de thèmes lisibles par l'homme qui émergent du sens du texte plutôt que du simple décompte des mots.
Histoire
BERTopic a été introduit par Maarten Grootendorst en 2022 comme une approche de modélisation thématique neuronale qui associe des plongements de transformeurs à une procédure TF-IDF basée sur la classe. Il s'appuie sur l'algorithme de regroupement basé sur la densité HDBSCAN de McInnes, Healy et Astels (2017) pour l'étape de regroupement, éloignant la modélisation thématique des méthodes purement basées sur le décompte vers des thèmes axés sur les plongements et la cohérence.
Quand l’utiliser
Utilisez BERTopic lorsque vous disposez d'un corpus de texte et que vous souhaitez en découvrir les thèmes sous-jacents sans les spécifier à l'avance. Il convient aux travaux exploratoires et descriptifs sur des textes transversaux ou longitudinaux. Un nombre suffisant de documents est nécessaire — au moins 50, avec plus de 100 recommandés — et un GPU ou une puissance de calcul élevée est préférable car l'étape de plongement est coûteuse. Avec très peu de documents, le regroupement basé sur la densité a trop peu de signal pour former des thèmes stables.
Limites et points d’attention
- Nécessite un nombre suffisant de documents — au moins 50, avec plus de 100 recommandés — pour former des thèmes stables.
- Un GPU ou une puissance de calcul élevée est préférable car l'étape de plongement du transformeur est coûteuse.
- Les résultats dépendent du modèle de plongement et des paramètres UMAP et HDBSCAN choisis.
- HDBSCAN laisse certains documents non assignés comme des valeurs aberrantes, de sorte que tous les documents ne reçoivent pas de thème.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- S'appuie sur des plongements contextuels, ce qui lui permet de capturer le sens que les modèles "sac de mots" ne perçoivent pas.
- Produit des thèmes cohérents et interprétables avec une cohérence supérieure à celle des modèles thématiques classiques.
- Prend en charge la modélisation thématique dynamique, en suivant l'évolution des thèmes dans le temps sur des corpus horodatés.
- Un modèle de plongement multilingue permet au même pipeline de fonctionner dans plusieurs langues.
Applications
- Découvrir des thèmes dans de grandes collections de documents ou de rapports pour une analyse exploratoire.
- Suivre l'évolution des thèmes dans un corpus au fil du temps sur un texte horodaté.
- Résumer des réponses à des enquêtes ouvertes ou des avis en thèmes interprétables.
- Organiser des corpus scientifiques ou de médias sociaux en clusters thématiques cohérents dans différentes langues.
Comment ça marche
Comment ça marche
Chaque document est converti en un plongement contextuel à l'aide d'un modèle transformeur basé sur BERT. Parce que le plongement capture le sens en contexte, les documents exprimant la même idée avec des formulations différentes se retrouvent proches les uns des autres dans l'espace vectoriel. Un modèle multilingue permet au même pipeline de traiter des corpus dans de nombreuses langues.
Les plongements de haute dimension sont projetés dans un espace de dimension inférieure avec UMAP. Cette réduction maintient la structure du voisinage local intacte tout en rendant les données traitables pour l'étape de regroupement qui suit, où une haute dimensionnalité diluerait autrement la densité.
HDBSCAN regroupe les plongements réduits en clusters basés sur la densité. Parce qu'il est basé sur la densité, il trouve des clusters de formes variées et laisse les documents véritablement épars non assignés comme des valeurs aberrantes plutôt que de forcer chaque document dans un thème.
Pour chaque cluster, un score TF-IDF basé sur la classe classe les termes les plus distinctifs de ce cluster. Les termes les mieux classés deviennent la représentation du thème, produisant des thèmes cohérents et interprétables et, sur des corpus horodatés, des thèmes dynamiques qui peuvent être suivis dans le temps.
Pièges courants
- L'exécution sur trop peu de documents ne fournit pas suffisamment de densité à l'étape de regroupement pour former des thèmes significatifs.
- Le choix d'un modèle de plongement qui ne correspond pas à la langue du corpus dégrade la qualité des thèmes ; utilisez un modèle multilingue ou adapté au domaine.
- Traiter les documents aberrants (non assignés) comme un échec plutôt que comme un comportement attendu du regroupement basé sur la densité.
- Lire les thèmes à partir des termes TF-IDF basés sur la classe sans inspecter les documents représentatifs, ce qui peut conduire à une surinterprétation d'une étiquette.
Questions fréquentes
En quoi BERTopic est-il différent des modèles thématiques classiques comme LDA ?
Les modèles classiques tels que LDA fonctionnent à partir du décompte des mots et d'une vue "sac de mots" de chaque document. BERTopic part de plongements contextuels de transformeurs, les réduit avec UMAP, les regroupe avec HDBSCAN et étiquette chaque cluster avec des termes TF-IDF basés sur la classe. Parce qu'il capture le sens en contexte, il produit généralement des thèmes plus cohérents et interprétables.
De combien de documents ai-je besoin ?
Au moins 50 documents, avec plus de 100 recommandés. L'étape de regroupement est basée sur la densité, donc avec trop peu de documents, il n'y a pas assez de signal pour former des thèmes stables.
Pourquoi certains de mes documents ne sont-ils pas assignés à un thème ?
HDBSCAN est un algorithme de regroupement basé sur la densité et laisse délibérément les documents véritablement épars ou atypiques non assignés comme des valeurs aberrantes plutôt que de les forcer dans un thème. C'est un comportement attendu, pas une erreur.
BERTopic peut-il gérer du texte non-anglais ?
Oui. En sélectionnant un modèle de plongement multilingue, le même pipeline peut traiter des corpus dans de nombreuses langues ; l'adéquation du modèle de plongement à la langue du corpus est essentielle pour une bonne qualité thématique.
Méthodes associées
Sources
Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.
Ouvrir la référence DOICopié.McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.
Ouvrir la référence DOICopié.