Skip to content
Retour aux résultats

Analyse morphologique — Racisation et lemmatisation

Introduite par
M.F. Porter (Porter stemmer)
Année
1980
Type
Text-normalisation preprocessing task

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

L'analyse morphologique décompose les mots en leurs racines et affixes afin que différentes formes de surface du même mot puissent être traitées comme une seule.

Elle couvre deux approches complémentaires — la racisation basée sur des règles, telle que les algorithmes de Porter (1980) et Snowball, et la lemmatisation guidée par dictionnaire — et constitue une étape critique de normalisation de texte pour les langues agglutinantes comme le turc et l'arabe.

L’intuition derrière la méthode

Un lecteur sait que running, runs et ran renvoient tous au verbe run, mais pour une machine, ce sont trois chaînes de caractères sans rapport. L'analyse morphologique dépouille les terminaisons grammaticales d'un mot pour retrouver la forme sous-jacente, de sorte que les multiples apparitions d'un mot convergent vers un seul jeton. La racisation coupe les suffixes par règle ; la lemmatisation consulte le mot pour retourner sa forme de dictionnaire réelle. Dans tous les cas, l'objectif est de cesser de compter un concept comme plusieurs mots distincts.

Histoire

La racisation basée sur des règles a été popularisée par l'algorithme de suppression de suffixes de Porter (1980), qui reste un point de référence et a ensuite évolué vers la famille de racineurs Snowball. L'analyse morphologique probabiliste et basée sur des modèles a suivi, avec le classificateur de parties du discours basé sur des arbres de décision de Schmid (1994) illustrant le passage vers des approches statistiques qui éclairent la lemmatisation moderne.

Quand l’utiliser

Utilisez l'analyse morphologique comme étape de normalisation chaque fois que vous avez du texte jetonné et des règles morphologiques ou un modèle pour sa langue. Elle est particulièrement précieuse pour les langues agglutinantes comme le turc et l'arabe, où une seule racine génère de nombreuses formes de surface. Elle nécessite que le texte soit d'abord jetonné et une ressource morphologique pour la langue cible ; sans cela, elle ne peut pas fonctionner de manière fiable.

Limites et points d’attention

  • Exige que des règles morphologiques ou un modèle existent déjà pour la langue cible.
  • Le texte doit être jetonné avant que l'analyse puisse commencer.
  • La racisation basée sur des règles peut sur-raciniser (fusionner des mots sans rapport) ou sous-raciniser (manquer des variantes valides).

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Réduit les variantes fléchies d'un mot à une seule forme, réduisant le vocabulaire pour l'analyse ultérieure.
  • Offre un spectre allant de la racisation rapide basée sur des règles (Porter, Snowball) à la lemmatisation précise par dictionnaire.
  • Particulièrement puissant pour les langues agglutinantes comme le turc et l'arabe, où de nombreuses formes partagent une seule racine.

Applications

  • Normalisation du texte avant l'indexation, la recherche ou la récupération d'informations.
  • Réduction de la taille du vocabulaire avant la classification de texte ou la modélisation de sujets.
  • Prétraitement des corpus de langues agglutinantes (turc, arabe) où les formes de surface se multiplient.
  • Nettoyage et standardisation des caractéristiques textuelles pour les pipelines d'exploration de texte ultérieurs.

Comment ça marche

Comment ça marche

1

Le texte est d'abord segmenté en jetons de mots individuels. L'analyse morphologique opère sur les mots, donc le corpus doit déjà être jetonné avant que des racines ou des lemmes puissent être extraits ; c'est une condition préalable déclarée de la méthode.

2

Chaque jeton est examiné par rapport à la morphologie de la langue cible pour séparer la racine de ses affixes (préfixes, suffixes, flexions). Cette étape exige que des règles morphologiques ou un modèle existent pour la langue en question, ce qui est particulièrement important pour les langues richement fléchies et agglutinantes.

3

Le mot est réduit à une forme canonique. Une approche de racisation (Porter, Snowball) coupe les suffixes par règle pour produire une racine qui n'a pas besoin d'être un vrai mot, tandis qu'une approche de lemmatisation retourne le lemme de dictionnaire réel, éventuellement guidée par la catégorie grammaticale du mot.

4

Les formes réduites sont réécrites dans le corpus de sorte que les formes de surface variantes correspondent à un seul jeton. Cette normalisation réduit le vocabulaire et permet aux étapes ultérieures d'exploration de texte de traiter les variantes fléchies d'un mot comme la même caractéristique.

Pièges courants

  • La racisation peut produire des racines qui ne sont pas de vrais mots ; ne traitez pas une racine comme une forme de dictionnaire lorsqu'un lemme réel est nécessaire.
  • Appliquer un racineur anglais à du texte dans une autre langue donne des résultats dénués de sens — la ressource morphologique doit correspondre à la langue du corpus.
  • Sauter la jetonisation alimente des jetons mal formés dans l'analyseur et corrompt la sortie.
  • La sur-racinisation fusionne des mots distincts en une seule racine et la sous-racinisation laisse les variantes séparées ; choisissez entre racisation et lemmatisation pour adapter la précision requise par votre tâche ultérieure.

Questions fréquentes

Quelle est la différence entre racisation et lemmatisation ?

La racisation coupe les suffixes par règle (comme dans les algorithmes Porter ou Snowball) pour produire une racine qui n'a pas besoin d'être un vrai mot, et elle est rapide. La lemmatisation consulte le mot — souvent en utilisant sa partie du discours — pour retourner le lemme de dictionnaire réel, ce qui est plus précis mais plus lourd.

Pourquoi est-ce le plus important pour des langues comme le turc et l'arabe ?

Ce sont des langues agglutinantes où une seule racine peut prendre de nombreux affixes et générer un grand nombre de formes de surface. L'analyse morphologique réduit ces formes à la racine, ce qui est essentiel pour la normalisation du texte dans de telles langues.

Dois-je d'abord jetoniser le texte ?

Oui. L'analyse morphologique opère sur des mots individuels, donc le corpus doit déjà être jetonné. La jetonisation est une condition préalable déclarée de la méthode.

Que se passe-t-il si la ressource morphologique ne correspond pas à la langue ?

La sortie devient dénuée de sens. Les règles ou le modèle doivent être construits pour la langue cible ; appliquer, par exemple, un racineur anglais à du texte non anglais produit des racines incorrectes.

Méthodes associées

Sources

  1. Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.

    Ouvrir la référence DOI
    Copié.
  2. Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).

    Ouvrir la référence de la publication
    Copié.