Skip to content
Retour aux résultats

Diversité lexicale — Mesurer la richesse du vocabulaire

Type
Text quantification / lexical richness measurement

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'analyse de la diversité lexicale quantifie la variété du vocabulaire d'un texte — la richesse du choix des mots d'un auteur — à l'aide de mesures telles que le rapport type-token (TTR), le MTLD, le vocd-D et le K de Yule.

Les mesures MTLD et vocd-D ont été validées par McCarthy et Jarvis (2010), s'appuyant sur les travaux antérieurs de Tweedie et Baayen (1998) sur la stabilité des mesures de richesse lexicale.

L’intuition derrière la méthode

Si vous comptez le nombre de mots distincts utilisés dans un texte par rapport au nombre total de mots qu'il contient, vous obtenez une idée de la richesse de son vocabulaire : un texte qui répète sans cesse les mêmes quelques mots est moins diversifié qu'un texte qui utilise de nombreux mots différents. Le problème est que ce simple rapport diminue à mesure que le texte s'allonge, de sorte que la méthode utilise des mesures robustes à la longueur et égalise les longueurs des textes avant de comparer un texte à un autre.

Histoire

La quantification de la richesse du vocabulaire a une longue histoire en stylométrie et en linguistique de corpus. Tweedie et Baayen (1998) ont examiné la stabilité de diverses mesures de richesse lexicale en fonction de la longueur du texte, exposant les limites des rapports sensibles à la longueur. McCarthy et Jarvis (2010) ont ensuite validé des approches plus sophistiquées — MTLD, vocd-D et HD-D — établissant les mesures robustes à la longueur comme norme pour l'évaluation de la diversité.

Quand l’utiliser

Utilisez la diversité lexicale lorsque vous avez un texte tokenisé et que vous souhaitez décrire ou comparer la richesse de son vocabulaire — entre auteurs, documents ou groupes. Elle convient aux objectifs descriptifs et comparatifs et ne nécessite qu'une quantité modeste de texte (environ dix tokens au minimum), mais pour une comparaison équitable, les textes comparés doivent être mis sur un pied d'égalité en termes de longueur et appariés pour la langue et le genre.

Limites et points d’attention

  • La longueur du texte affecte le calcul du TTR ; le TTR brut n'est pas fiable lors de la comparaison de textes de tailles différentes.
  • L'analyse comparative nécessite que les longueurs des textes soient égalisées (extraits standard ou raréfaction) pour être valide.
  • Le langage et le genre modifient les scores de diversité, de sorte que les comparaisons non contrôlées peuvent être trompeuses.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Transforme la richesse du vocabulaire d'un texte en un seul nombre comparable à l'aide de mesures bien validées (TTR, MTLD, vocd-D, K de Yule).
  • Le MTLD et le vocd-D sont conçus pour être plus robustes à la longueur du texte que le rapport type-token brut.
  • Intuitif à appliquer et utile à la fois pour le profilage descriptif et la comparaison entre auteurs ou groupes.

Applications

  • Profilage de la richesse du vocabulaire d'un auteur dans les études stylométriques et d'attribution d'auteur.
  • Comparaison de la diversité lexicale entre écrivains, documents ou genres dans les sciences humaines.
  • Évaluation du développement du vocabulaire dans la recherche sur l'apprentissage des langues et l'éducation.
  • Caractérisation de la concentration d'utilisation des mots dans les corpus de textes des sciences sociales et commerciales.

Comment ça marche

Comment ça marche

1

Le texte est divisé en tokens (mots). Le comptage des types de mots distincts par rapport au nombre total de tokens est le fondement sur lequel repose toute mesure de diversité, de sorte qu'une tokenisation cohérente entre les textes que vous avez l'intention de comparer est la première exigence.

2

Une ou plusieurs mesures de diversité lexicale sont calculées. Le rapport type-token (TTR) divise le nombre de types de mots distincts par le nombre total de tokens ; le MTLD et le vocd-D estiment la diversité de manière moins sensible à la longueur du texte ; et le K de Yule caractérise la concentration des mots répétés. Ensemble, ils décrivent la richesse du vocabulaire sous différents angles.

3

Étant donné que le TTR diminue à mesure que la longueur du texte augmente, les scores bruts ne sont pas directement comparables entre des textes de tailles différentes. Le MTLD et le vocd-D sont plus indépendants de la longueur par conception, mais pour toute comparaison, les textes doivent être mis sur un pied d'égalité — par exemple en égalisant les longueurs avec des extraits de taille standard ou par raréfaction — afin que les différences reflètent le vocabulaire, et non la longueur du document.

4

Les scores normalisés sont comparés entre les textes, les auteurs ou les groupes. Étant donné que le langage et le genre modifient également la diversité, ces facteurs sont maintenus constants ou contrôlés afin que la comparaison isole le signal de richesse du vocabulaire plutôt que des facteurs de confusion.

Pièges courants

  • Comparer le TTR brut entre des textes de longueurs différentes — les textes plus longs montrent inévitablement un TTR plus faible, donc la comparaison reflète la longueur, pas le vocabulaire ; utilisez le MTLD ou le vocd-D ou égalisez d'abord les longueurs.
  • Ne pas égaliser les longueurs des textes dans une comparaison (pas d'extrait standard ou de raréfaction) rend la différence de diversité ininterprétable.
  • Ignorer les différences de langue et de genre lors de la comparaison de textes confond le signal de richesse du vocabulaire avec des facteurs stylistiques.

Questions fréquentes

Pourquoi ne pas utiliser simplement le rapport type-token (TTR) ?

Le TTR est intuitif mais diminue à mesure qu'un texte s'allonge, car tout texte réutilise finalement des mots courants. Cela rend le TTR brut peu fiable pour comparer des textes de longueurs différentes. Le MTLD et le vocd-D sont conçus pour être beaucoup moins sensibles à la longueur du texte, c'est pourquoi ils sont préférés pour la comparaison.

Quelle quantité de texte me faut-il ?

La méthode fonctionne sur une quantité modeste de texte — environ dix tokens au minimum — mais plus de texte donne des estimations plus stables. Pour la comparaison, ce qui importe le plus, c'est que les textes soient mis sur un pied d'égalité en termes de longueur plutôt que qu'un seul texte soit très long.

Puis-je comparer directement la diversité de deux textes différents ?

Seulement après les avoir mis sur un pied d'égalité. Égalisez leurs longueurs avec des extraits de taille standard ou par raréfaction, et contrôlez la langue et le genre, car ces trois facteurs modifient les scores de diversité indépendamment de la richesse du vocabulaire.

Quelle mesure dois-je rapporter ?

Le MTLD et le vocd-D sont les choix validés et robustes à la longueur, et sont généralement préférés. Le K de Yule décrit la concentration des mots répétés, et le TTR reste utile comme chiffre descriptif simple lorsque les textes sont appariés en longueur. Rapporter plus d'une mesure donne une image plus complète.

Méthodes associées

Sources

  1. McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.

    Ouvrir la référence DOI
    Copié.
  2. Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.

    Ouvrir la référence DOI
    Copié.