Analyse de collocations — Association de mots
- Introduite par
- Church & Hanks
- Année
- 1990
- Type
- Statistical text-mining technique
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'analyse de collocations est une technique statistique d'exploration de textes qui identifie les paires de mots ou les expressions qui apparaissent fréquemment ensemble, en utilisant des mesures d'association plutôt que la cooccurrence fortuite.
Introduite dans les travaux lexicographiques de Church et Hanks (1990), elle est utilisée pour l'extraction de terminologie et l'analyse linguistique, révélant les unités plurimots qui portent du sens dans un corpus.
L’intuition derrière la méthode
Certains mots vont simplement ensemble — « thé fort » sonne naturel tandis que « thé puissant » ne le fait pas, même si le sens est similaire. L'analyse de collocations va au-delà de la fréquence brute et demande quelles paires de mots apparaissent ensemble beaucoup plus souvent que le hasard ne le prédirait. En calculant statistiquement la cooccurrence, elle extrait les phrases significatives et les expressions figées cachées dans un corpus de textes au lieu de simplement lister les mots courants.
Histoire
L'analyse de collocations en tant que technique statistique a été établie par Church et Hanks (1990), qui ont introduit les normes d'association de mots et l'information mutuelle pour la lexicographie, montrant comment les statistiques de cooccurrence pouvaient révéler des paires de mots significatives. L'approche a été consolidée dans le domaine plus large du traitement statistique du langage naturel par Manning et Schütze (1999).
Quand l’utiliser
L'analyse de collocations est pertinente lorsque vous disposez d'un corpus de textes de taille raisonnable (environ 50 documents ou plus) et que vous souhaitez trouver des unités plurimots significatives plutôt que des fréquences de mots isolés. Elle convient aux travaux exploratoires et descriptifs dans l'extraction de terminologie et l'analyse linguistique. Elle suppose qu'il y a suffisamment de texte pour des statistiques de cooccurrence stables et que les mots vides ont été préalablement nettoyés ; avec très peu de texte, les scores d'association deviennent peu fiables.
Limites et points d’attention
- Nécessite un corpus suffisamment volumineux pour que les statistiques de cooccurrence soient stables.
- Les résultats dépendent fortement du prétraitement — les mots vides résiduels faussent les associations.
- Des mesures comme la PMI peuvent surévaluer les paires de mots rares qui se co-occurrent par hasard quelques fois.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Révèle des expressions plurimots significatives et des phrases figées que les décomptes de fréquence de mots isolés manquent.
- Les mesures d'association statistique distinguent les associations de mots réelles de l'adjacence fortuite.
- Conceptuellement simple et facile à appliquer pour l'extraction de terminologie et l'analyse linguistique.
Applications
- Extraction de terminologie — identification de termes plurimots spécifiques à un domaine dans un corpus.
- Lexicographie et construction de dictionnaires, révélant les associations de mots caractéristiques.
- Analyse linguistique et discursive de la manière dont les mots se combinent dans un corpus de textes.
- Préparation de phrases candidates pour des tâches d'exploration de textes et d'extraction d'informations en aval.
Comment ça marche
Comment ça marche
Le corpus est tokenisé et nettoyé, avec suppression des mots vides afin que les mots fonctionnels de haute fréquence ne masquent pas les associations significatives. Un prétraitement cohérent permet de comparer les décomptes de cooccurrence et de rendre les collocations résultantes interprétables.
Des paires de mots candidates (généralement des bigrammes) sont formées et leurs décomptes de cooccurrence sont collectés à travers le corpus, ainsi que les fréquences individuelles de chaque mot. Ces décomptes constituent la matière première sur laquelle repose toute mesure d'association.
Chaque paire candidate est évaluée avec une mesure d'association statistique — telle que l'information mutuelle ponctuelle (PMI) — qui compare la fréquence d'apparition conjointe des mots à leur fréquence attendue de cooccurrence par hasard. Un score élevé signale une association réelle plutôt qu'une adjacence accidentelle.
Les collocations candidates sont classées par leurs scores d'association et les paires les plus fortes sont sélectionnées (par exemple, le top-N par PMI). Le résultat est une liste classée de paires de mots et d'expressions plurimots significatives pour l'extraction de terminologie ou l'analyse linguistique.
Pièges courants
- Ignorer la suppression des mots vides permet aux mots fonctionnels de haute fréquence de dominer et d'enterrer les collocations réelles.
- L'exécution de l'analyse sur trop peu de texte produit des scores d'association instables et peu fiables.
- La PMI gonfle les scores de paires très rares, donc appliquez un décompte de cooccurrence minimum avant le classement.
- Traiter une paire de haute fréquence comme une collocation sans test d'association confond la fréquence avec une association significative.
Questions fréquentes
Qu'est-ce qu'une collocation exactement ?
Une collocation est une paire ou une séquence de mots qui co-occurrent plus souvent que le hasard ne le prédirait — une association de mots habituelle telle que « thé fort » ou « prendre une décision ». L'analyse de collocations les trouve en calculant statistiquement la cooccurrence plutôt qu'en les lisant sur une liste de fréquences.
En quoi l'analyse de collocations diffère-t-elle de l'analyse de fréquences ?
L'analyse de fréquences compte la fréquence d'apparition des mots ou des n-grammes. L'analyse de collocations va plus loin : elle demande si deux mots apparaissent ensemble plus souvent que prévu par hasard, en utilisant une mesure d'association, elle révèle ainsi des associations significatives plutôt que simplement communes.
Qu'est-ce que la PMI et pourquoi est-elle utilisée ?
L'information mutuelle ponctuelle (PMI) compare la fréquence d'apparition conjointe de deux mots à leur fréquence attendue de cooccurrence indépendante. Une PMI élevée signale une forte association. Comme la PMI peut surévaluer les paires rares, un décompte de cooccurrence minimum est généralement appliqué avant le classement.
Quelle quantité de texte est nécessaire ?
La technique attend un corpus de taille raisonnable — de l'ordre de 50 documents ou plus — afin que les décomptes de cooccurrence soient stables. Avec trop peu de texte, les scores d'association fluctuent et les collocations extraites deviennent peu fiables.
Méthodes associées
Sources
Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.
Ouvrir la référence de la publicationCopié.Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN : 9780262133609Copié.