Skip to content
Retour aux résultats

Normalisation de texte — Standardisation de texte bruité

Type
NLP preprocessing pipeline

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

La normalisation de texte est une étape de prétraitement dans les pipelines de traitement automatique du langage naturel (TALN) qui convertit un texte bruité, abrégé ou mal orthographié — tel que les messages SMS, les publications sur les réseaux sociaux et les sorties de reconnaissance optique de caractères (ROC) — en une forme propre et standardisée.

C'est une étape préalable à pratiquement toutes les tâches de TALN en aval, garantissant que des formes de surface incohérentes ne dégradent pas la tokénisation, l'analyse syntaxique ou la classification. La méthode a fait l'objet d'un traitement académique systématique par Baldwin et Li (2015) et Sproat et Jaitly (2017).

L’intuition derrière la méthode

Une machine entraînée sur du texte de journal propre ne reconnaît pas « gr8 », « u » ou « tmrw » comme les mots « great », « you » ou « tomorrow ». Avant toute analyse plus approfondie, le texte bruité brut doit être ramené à une forme de surface cohérente. La normalisation de texte fait exactement cela : elle identifie le type de bruit présent — abréviations, erreurs d'orthographe, argot, émojis, caractères spéciaux — et applique des règles ciblées ou des modèles appris pour convertir chaque jeton non standard en son équivalent canonique, de sorte que tous les outils ultérieurs voient un vocabulaire uniforme et prévisible.

Histoire

L'étude systématique de la normalisation de texte pour le contenu généré par l'utilisateur a été stimulée par l'essor de Twitter et des SMS en tant que corpus de recherche à la fin des années 2000. Baldwin et Li (2015) ont fourni l'une des analyses empiriques les plus approfondies de l'effet des stratégies de normalisation sur la précision du TALN en aval pour le texte Twitter, établissant des repères sur lesquels les travaux ultérieurs se sont appuyés. Parallèlement, Sproat et Jaitly (2017) ont formulé la normalisation de texte comme un problème d'apprentissage de séquence à séquence et ont publié des données de défi, favorisant l'adoption des approches neuronales. Des travaux antérieurs avaient traité la normalisation comme une tâche de correction orthographique ou de recherche dans un dictionnaire ; le cadre neuronal a unifié ces fils conducteurs et a ouvert la voie à des pipelines d'apprentissage de bout en bout.

Quand l’utiliser

La normalisation de texte doit être appliquée chaque fois que le texte source contient des jetons non standard qu'un pipeline TALN en aval interpréterait mal : les données de réseaux sociaux, les corpus SMS, les documents historiques numérisés par ROC et les journaux de discussion informels sont des cas typiques. Deux hypothèses doivent être vérifiées : le type de bruit doit être identifiable à l'avance, et un dictionnaire ou un modèle linguistique de la langue cible pour la forme standard prévue doit être disponible. Si le texte est déjà propre et standard, la normalisation n'apporte aucun avantage et peut introduire des erreurs en sur-corrigeant des choix stylistiques intentionnels.

Limites et points d’attention

  • Nécessite une connaissance préalable du type de bruit : un ensemble de règles ou un modèle conçu pour les abréviations SMS peut mal fonctionner sur les erreurs de ROC ou l'argot spécifique à un domaine.
  • Un lexique ou un modèle linguistique de la langue cible doit exister pour la forme standard prévue ; les langues à faibles ressources peuvent manquer de ces ressources.
  • La sur-normalisation peut détruire une variation significative — le style informel intentionnel, le changement de code (code-switching) ou les noms propres peuvent être réécrits de manière incorrecte.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Améliore la qualité du TALN en aval dans l'ensemble — la tokénisation, l'étiquetage des parties du discours, la reconnaissance d'entités nommées et l'analyse des sentiments bénéficient tous d'une entrée propre et cohérente.
  • Implémentation flexible : les tables de correspondance simples basées sur des règles fonctionnent bien pour le bruit prévisible, tandis que les modèles neuronaux de séquence à séquence gèrent les formes nouvelles ou ambiguës.
  • Ne nécessite aucune hypothèse de distribution particulière sur les données, ce qui la rend applicable à de très petits corpus (minimum ~10 documents).

Applications

  • Prétraitement des corpus de réseaux sociaux (Twitter, Reddit, Instagram) avant l'analyse des sentiments, la modélisation de sujets ou la détection d'événements.
  • Nettoyage de la sortie ROC de documents historiques numérisés avant l'extraction d'informations.
  • Standardisation du texte SMS et des journaux de discussion pour la recherche clinique ou sociologique.
  • Conversion de critiques informelles générées par l'utilisateur en texte propre avant de les alimenter à un classifieur ou un résumeur.

Comment ça marche

Comment ça marche

1

Le profil de bruit du corpus est caractérisé avant toute tentative de correction. Les types de bruit courants incluent les abréviations informelles (par exemple, « lol », « brb »), les fautes d'orthographe phonétiques ou typographiques, les contractions, les émojis, les hashtags, les URL et les artefacts de ROC. L'identification des types de bruit présents détermine les règles ou modèles de normalisation qui seront activés en aval.

2

Le texte est divisé en jetons individuels — mots, ponctuation, émojis ou autres unités — à l'aide d'un tokéniseur adapté au canal source. Un tokéniseur de tweet, par exemple, préserve les hashtags et les mentions comme des unités uniques plutôt que de les diviser sur le caractère « @ » ou « # ». Une tokénisation correcte est essentielle car la normalisation ultérieure opère jeton par jeton.

3

Chaque jeton non standard est mappé à sa forme canonique. Les approches basées sur des règles utilisent des tables de correspondance ou des expressions régulières conçues manuellement ; les approches statistiques et neuronales (y compris les modèles de séquence à séquence tels que T5 ou BART) apprennent le mappage à partir de données d'entraînement. Le choix dépend du type de bruit, des ressources disponibles et de l'existence de paires de normalisation étiquetées pour le domaine cible.

4

La sortie normalisée est comparée à un lexique de la langue cible ou évaluée sur une tâche en aval pour mesurer l'impact de la normalisation. Si certains types de jetons sont systématiquement mal corrigés, les règles ou les poids du modèle sont ajustés. Cette boucle de rétroaction protège contre la sur-normalisation — la conversion d'argot intentionnel ou d'entités nommées en formes standard incorrectes.

Pièges courants

  • Ignorer l'identification du type de bruit et appliquer un normaliseur générique : chaque type de bruit nécessite un traitement différent, de sorte qu'un ensemble de règles unique gère rarement tous les cas correctement.
  • Normaliser les entités nommées telles que les noms de marque, les hashtags ou les noms d'utilisateur : ceux-ci doivent généralement être préservés ou traités séparément, et non forcés dans des formes de dictionnaire standard.
  • Traiter la normalisation comme étant indépendante de la langue : le mappage de la forme non standard à la forme standard est spécifique à la langue, et un normaliseur construit pour une langue corrompra le texte dans une autre.
  • Évaluer uniquement la précision au niveau des jetons sans vérifier les performances de la tâche en aval : un normaliseur peut sembler bon isolément tout en nuisant en réalité à la métrique qui compte.

Questions fréquentes

La normalisation de texte est-elle la même chose que la correction orthographique ?

La correction orthographique est un sous-ensemble. La normalisation couvre un éventail plus large de formes non standard — abréviations, argot, émojis, contractions et artefacts de ROC — qu'un correcteur orthographique conventionnel n'est pas conçu pour gérer. Un correcteur orthographique signale « recieve » comme incorrect ; un normaliseur convertit également « u » en « you » et « gr8 » en « great ».

Dois-je normaliser avant ou après la tokénisation ?

Les deux étapes interagissent : un tokéniseur adapté au canal doit être exécuté en premier afin que les jetons multi-caractères comme les émojis, les hashtags ou les URL soient préservés comme des unités avant que la normalisation ne les mappe. Certains pipelines entrelacent les étapes, mais la convention générale est de tokéniser d'abord avec un tokéniseur adapté au canal source, puis de normaliser jeton par jeton.

Comment choisir entre la normalisation basée sur des règles et la normalisation neuronale ?

Les méthodes basées sur des règles sont rapides, transparentes et efficaces lorsque le bruit est prévisible et qu'une table de correspondance peut être construite. Les modèles neuronaux de séquence à séquence se généralisent mieux aux formes inédites mais nécessitent des paires d'entraînement étiquetées et plus de calcul. Pour la plupart des tâches de prétraitement des réseaux sociaux avec des budgets d'annotation limités, une approche hybride — des règles pour les motifs fréquents, un modèle neuronal pour la longue traîne — fonctionne le mieux.

La normalisation de texte nuit-elle à la reconnaissance d'entités nommées ?

Elle peut, si les entités nommées sont réécrites de manière incorrecte. Un normaliseur qui convertit le hashtag « #AppleEvent » en « apple event » perd la capitalisation et les informations de délimitation sur lesquelles un modèle de reconnaissance d'entités nommées (REN) s'appuie. La meilleure pratique consiste à détecter et à exempter les entités nommées (ou à exécuter la REN en premier et à protéger ces étendues) avant d'appliquer les règles de normalisation générales.

Méthodes associées

Sources

  1. Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015.

    Ouvrir la référence de la publication
    Copié.
  2. Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068.

    Ouvrir la référence de la publication
    Copié.