Analyse de fréquence textuelle — Comptage de mots et de n-grammes
- Introduite par
- George K. Zipf (frequency-distribution foundation)
- Année
- 1949
- Type
- Descriptive text-mining analysis
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'analyse de fréquence textuelle est une méthode descriptive d'exploration de texte qui compte la fréquence d'apparition des mots, des n-grammes et des expressions dans un corpus afin de révéler les structures de contenu et les thèmes dominants.
Elle repose sur l'intuition de la distribution de fréquence formalisée par George K. Zipf (1949), selon laquelle quelques termes apparaissent très souvent tandis que la plupart sont rares. C'est l'un des points d'entrée les plus basiques et les plus utilisés dans l'analyse quantitative de texte.
L’intuition derrière la méthode
Lorsque vous lisez un ensemble de textes, les mots qui reviennent encore et encore vous indiquent de quoi il s'agit. L'analyse de fréquence textuelle rend cette intuition explicite et reproductible : au lieu de survoler le texte, vous comptez chaque jeton, chaque séquence de deux ou trois mots, et chaque expression récurrente, puis vous les classez par fréquence d'apparition. Le résultat est un tableau de fréquences qui met en évidence le vocabulaire et les thèmes dominants d'un corpus en un coup d'œil, sans lecture subjective.
Histoire
L'analyse de fréquence textuelle s'appuie sur l'observation de Zipf (1949), dans Human Behavior and the Principle of Least Effort, selon laquelle les fréquences des mots suivent une distribution caractéristique où peu de mots apparaissent très souvent et la plupart sont rares. Manning et Schütze (1999), dans Foundations of Statistical Natural Language Processing, ont établi le comptage de fréquence comme un outil fondamental du NLP statistique, sur lequel reposent des méthodes plus riches telles que TF-IDF et la modélisation thématique.
Quand l’utiliser
Utilisez l'analyse de fréquence textuelle lorsque vous disposez de données textuelles et que vous souhaitez un premier aperçu descriptif ou exploratoire de son vocabulaire dominant, de ses n-grammes ou de ses expressions. Elle convient aux corpus transversaux et longitudinaux et ne nécessite qu'une quantité modeste de texte (environ 10 documents ou plus). Un prétraitement approprié — tokenisation, suppression des mots vides et lemmatisation — doit être effectué au préalable, et vous devez garder à l'esprit que la taille du corpus et la diversité linguistique affectent la fiabilité des fréquences.
Limites et points d’attention
- La taille du corpus et la diversité linguistique affectent la fiabilité des fréquences.
- Les décomptes bruts capturent le vocabulaire de surface mais pas le contexte, le sens ou le sentiment.
- Les résultats dépendent fortement des choix de prétraitement tels que les listes de mots vides et la lemmatisation.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Simple, transparente et facile à interpréter — c'est le point d'entrée le plus basique dans l'analyse quantitative de texte.
- Révèle les structures de contenu et les thèmes dominants directement à partir des décomptes bruts, sans nécessiter de données d'entraînement étiquetées.
- Fonctionne aussi bien sur les mots, les n-grammes que les expressions, s'adaptant ainsi à différentes unités de sens.
Applications
- Identifier le vocabulaire et les thèmes dominants d'une collection de documents.
- Explorer les structures de n-grammes et d'expressions dans les réponses à des enquêtes ou les transcriptions d'entretiens.
- Décrire le contenu dans des corpus sociaux, de santé, d'éducation, d'ingénierie et d'affaires.
- Servir de première étape descriptive avant des méthodes d'exploration de texte plus avancées.
Comment ça marche
Comment ça marche
Le texte brut est préparé avant tout comptage : il est segmenté en mots (tokenisation), les mots vides (mots fonctionnels de haute fréquence tels que 'le' ou 'et') sont supprimés, et les jetons restants sont réduits à leur forme de base (lemmatisation). Un prétraitement cohérent rend les décomptes finaux comparables et significatifs, plutôt que dominés par des mots grammaticaux de remplissage.
Chaque unité d'intérêt est comptée dans tout le corpus. Les jetons individuels sont comptés pour la fréquence des mots, les séquences de jetons adjacents sont comptées pour la fréquence des n-grammes (bigrammes, trigrammes), et les expressions récurrentes de plusieurs mots sont comptées comme des expressions. Le résultat de cette étape est un décompte brut pour chaque terme distinct.
Les termes comptés sont ordonnés du plus fréquent au moins fréquent, généralement présentés sous forme de liste des plus courants. Cette vue classée révèle la distribution caractéristique : une petite tête de termes très fréquents et une longue queue de termes rares, conformément à la loi de Zipf.
Les fréquences classées sont interprétées pour identifier les structures de contenu et les thèmes dominants. La taille du corpus et sa diversité linguistique affectent la fiabilité des décomptes, l'interprétation doit donc tenir compte de l'échelle du corpus et de la longue traîne des mots rares plutôt que de surinterpréter un décompte unique.
Pièges courants
- Sauter le prétraitement permet aux mots fonctionnels de haute fréquence et aux variantes fléchies de dominer le tableau et d'obscurcir le contenu réel.
- Lire les fréquences d'un corpus trop petit ou trop restreint donne des décomptes instables qui ne se généralisent pas.
- Surinterpréter la longue traîne — les termes rares (la traîne zipfienne) n'apportent qu'un faible signal de fréquence et sont facilement confondus avec du bruit ou du sens.
- Comparer des décomptes bruts entre corpus de tailles différentes sans normalisation conduit à des conclusions trompeuses.
Questions fréquentes
Qu'est-ce que l'analyse de fréquence textuelle compte réellement ?
Elle compte la fréquence d'apparition des mots individuels, des séquences de mots adjacents (n-grammes tels que bigrammes et trigrammes), et des expressions récurrentes dans un corpus, puis les classe. Le résultat est un tableau de fréquences qui met en évidence les termes et thèmes dominants.
Pourquoi dois-je prétraiter le texte d'abord ?
Sans tokenisation, suppression des mots vides et lemmatisation, les mots fonctionnels de haute fréquence et les variantes fléchies du même mot dominent les décomptes et masquent le contenu réel. Un prétraitement cohérent rend les fréquences comparables et significatives.
Qu'est-ce que la loi de Zipf et pourquoi est-elle pertinente ici ?
La loi de Zipf décrit le schéma typique selon lequel un petit nombre de mots apparaissent très fréquemment tandis que la plupart des mots sont rares, formant une longue traîne. Elle explique la forme de la liste des fréquences classées et met en garde contre la surinterprétation de la traîne des mots rares.
Quelle quantité de texte me faut-il ?
Un corpus modeste d'environ dix documents ou plus est utilisable, mais la taille du corpus et la diversité linguistique affectent la fiabilité des fréquences — des corpus plus grands et plus représentatifs donnent des décomptes plus stables.
Méthodes associées
Sources
Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.
Ouvrir la référence de la publicationCopié.Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN : 9780262133609Copié.