Skip to content
Retour aux résultats

Le regroupement de documents

Type
Unsupervised text-mining task

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le regroupement de documents (document clustering) est une tâche non supervisée d'exploration de texte (text mining) qui rassemble des documents au contenu similaire sans utiliser d'étiquettes.

Il est utilisé pour organiser de grandes collections et pour l'analyse exploratoire, en s'appuyant sur l'ensemble des techniques d'exploration de texte consolidées par Aggarwal et Zhai (2012) et comparées empiriquement par Steinbach, Karypis et Kumar (2000).

L’intuition derrière la méthode

Face à une grande quantité de documents non étiquetés, il est toujours utile de savoir lesquels sont liés. Le regroupement de documents fait exactement cela : il mesure la similarité des documents par leur formulation et regroupe les documents similaires, de sorte que la structure de la collection émerge d'elle-même plutôt que d'être imposée par des catégories prédéfinies.

Histoire

Le regroupement de documents s'inscrit dans le domaine plus large de l'exploration de texte (text mining) présenté dans Mining Text Data d'Aggarwal et Zhai (2012). Les travaux comparatifs de Steinbach, Karypis et Kumar (2000) ont examiné les performances de différentes techniques de regroupement de documents, aidant à établir quelles familles de méthodes conviennent aux collections de texte.

Quand l’utiliser

Utilisez le regroupement de documents lorsque vous disposez d'une collection de documents texte mais pas d'étiquettes, et que vous souhaitez l'organiser ou en explorer la structure. Le texte doit d'abord être vectorisé, et vous devez décider soit d'un nombre de grappes, soit d'un seuil de distance. Il nécessite un corpus raisonnable — au moins environ 30 documents, et devient fiable au-delà d'environ 100 ; avec moins de documents, l'analyse thématique manuelle est le choix le plus sûr. S'il n'y a aucune donnée textuelle, le regroupement de documents ne peut pas être appliqué.

Limites et points d’attention

  • Les résultats ne sont pas fiables sur de petits corpus ; en dessous d'environ 100 documents, les grappes ne sont pas dignes de confiance.
  • Nécessite que le texte soit d'abord vectorisé et que le nombre de grappes ou un seuil de distance soit défini à l'avance.
  • Ne peut pas être appliqué du tout s'il n'y a pas de données textuelles.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Non supervisé — il ne nécessite pas de données étiquetées, il fonctionne donc sur des collections brutes que personne n'a annotées.
  • Révèle une structure latente dans un corpus, ce qui le rend bien adapté à l'organisation de collections et à l'analyse exploratoire.
  • S'adapte à de grandes collections de documents qu'il serait peu pratique de trier manuellement.

Applications

  • Organiser de grandes collections de documents en groupes cohérents pour une navigation plus facile.
  • Analyse exploratoire d'un corpus non étiqueté pour découvrir les thèmes présents.
  • Regrouper des rapports, articles ou enregistrements similaires dans les opérations et la recherche avant une analyse plus approfondie.
  • Pré-structurer une collection avant l'étiquetage ou la classification en aval.

Comment ça marche

Comment ça marche

1

Chaque document est d'abord transformé en une représentation numérique par vectorisation de texte — par exemple un vecteur TF-IDF — afin que la formulation puisse être comparée par une mesure de distance. Sans cette étape, l'algorithme de regroupement n'a rien sur quoi opérer.

2

Avant le regroupement, l'analyste fixe la manière dont les grappes seront formées : soit un nombre cible de grappes, soit un seuil de distance qui détermine quand les documents sont suffisamment proches pour partager un groupe. Ce choix détermine le nombre de groupes qui émergent et leur cohésion.

3

Un algorithme de regroupement attribue chaque document à un groupe de sorte que les documents au sein d'un groupe soient plus similaires les uns aux autres qu'aux documents des autres groupes. Aucune étiquette ne guide ce processus — le regroupement est entièrementT guidé par la similarité dans l'espace vectoriel.

4

Les groupes résultants sont inspectés et caractérisés : l'analyste lit des documents représentatifs et les termes fréquents dans chaque grappe pour comprendre le thème qu'elle capture, organisant la collection ou alimentant les résultats dans l'analyse exploratoire.

Pièges courants

  • L'exécution sur trop peu de documents (moins de ~100) produit des grappes instables et peu fiables — il faut alors revenir à l'analyse thématique manuelle.
  • Le choix négligent du nombre de grappes ou du seuil de distance impose une structure arbitraire aux données ; la configuration doit être raisonnée, et non devinée.
  • L'omission ou une mauvaise vectorisation laisse l'algorithme avec un signal faible, de sorte que les groupes reflètent le bruit plutôt que le contenu.
  • L'appliquer là où il n'y a pas de données textuelles authentiques — une analyse de contenu générale est l'alternative appropriée.

Questions fréquentes

En quoi le regroupement de documents est-il différent de la classification de texte ?

La classification est supervisée — elle attribue des documents à des catégories prédéfinies apprises à partir d'exemples étiquetés. Le regroupement est non supervisé : il n'y a pas d'étiquettes et pas de catégories prédéfinies. Les groupes émergent purement de la similarité des documents entre eux.

De combien de documents ai-je besoin ?

Un minimum fonctionnel est d'environ 30 documents, mais le regroupement ne devient fiable qu'au-delà d'environ 100. Avec moins d'environ 100 documents, les grappes sont instables, et l'analyse thématique manuelle est le choix le plus sûr.

Dois-je décider du nombre de grappes à l'avance ?

Vous devez définir soit un nombre cible de grappes, soit un seuil de distance qui détermine quand les documents sont suffisamment proches pour partager un groupe. L'un de ces choix de configuration est requis avant l'étape de regroupement.

Que se passe-t-il si mes documents ne sont pas encore sous forme numérique ?

Ils doivent d'abord être vectorisés — par exemple en vecteurs TF-IDF — afin qu'une mesure de distance puisse les comparer. La vectorisation est la première étape du pipeline ; l'algorithme de regroupement opère sur ces vecteurs, et non sur le texte brut.

Méthodes associées

Sources

  1. Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.

    ISBN : 9781461432227
    Copié.
  2. Steinbach, M., Karypis, G. & Kumar, V. (2000). A Comparison of Document Clustering Techniques. KDD Workshop on Text Mining.

    Ouvrir la référence de la publication
    Copié.