Skip to content
Retour aux résultats

Modèle de langage N-gramme

Type
Statistical language model

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Un modèle de langage N-gramme est un modèle statistique qui prédit la probabilité du mot suivant en ne considérant que les n−1 mots précédents.

Décrit en détail par Jurafsky et Martin (Speech and Language Processing), il fournit une infrastructure fondamentale pour la génération de texte, la correction orthographique et la reconnaissance vocale.

L’intuition derrière la méthode

Le langage est séquentiel : les mots que vous venez de voir contraignent fortement ce qui suit. Plutôt que de raisonner sur une phrase entière à la fois, un modèle N-gramme fait un pari simplificateur — que seule la dernière poignée de mots importe pour prédire le suivant. Il compte la fréquence à laquelle les séquences de mots apparaissent dans un corpus d'entraînement et transforme ces comptes en probabilités, de sorte qu'une phrase comme 'merci beaucoup' rend 'de' une continuation probable.

Histoire

L'approche N-gramme est une pierre angulaire de longue date du traitement statistique du langage naturel, considérée comme fondamentale dans Speech and Language Processing de Jurafsky et Martin. Une préoccupation pratique clé a toujours été le lissage : l'étude empirique de Chen et Goodman (1999) a comparé les techniques de lissage et a établi des méthodes telles que Kneser-Ney comme de bons choix pour gérer les séquences non vues. Les modèles N-grammes ont longtemps servi de référence avant que les modèles de langage neuronaux ne deviennent dominants.

Quand l’utiliser

Utilisez un modèle N-gramme lorsque vous disposez d'un corpus de texte raisonnablement volumineux (la source suggère au moins environ 100 documents) et d'une tâche formulée comme la prédiction ou l'explication de séquences de mots — autocomplétion, correction orthographique, ou comme modèle de langage de référence. Il nécessite suffisamment de texte d'entraînement pour estimer des comptes fiables, et le lissage doit être appliqué pour gérer la sparsité des séquences non vues.

Limites et points d’attention

  • Ne capture que le contexte à courte portée (les n−1 mots précédents) et ne peut pas modéliser les dépendances à longue distance.
  • Souffre de la sparsité des données : la plupart des séquences de mots sont non vues, donc le lissage est obligatoire.
  • La taille du modèle et la mémoire augmentent rapidement avec l'augmentation de n, tandis que les N-grammes d'ordre supérieur deviennent de plus en plus épars.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Simple, rapide et interprétable — les probabilités proviennent directement des comptes observés.
  • Une référence solide et transparente pour la génération de texte, la correction orthographique et la reconnaissance vocale.
  • Faible coût computationnel par rapport aux modèles de langage neuronaux, sans nécessiter de matériel spécialisé.

Applications

  • Génération de texte et autocomplétion à partir d'une distribution de séquences de mots apprise.
  • Correction orthographique et grammaticale en évaluant la probabilité des séquences candidates.
  • Reconnaissance vocale, où un modèle de langage classe les hypothèses de transcription concurrentes.
  • Références légères pour toute tâche qui bénéficie de l'estimation des probabilités de séquence.

Comment ça marche

Comment ça marche

1

Le corpus d'entraînement est segmenté en jetons et les phrases sont complétées (padding) afin que les débuts et les fins des séquences soient modélisés explicitement. Chaque fenêtre chevauchante de n jetons consécutifs devient un N-gramme, qui est l'unité que le modèle comptera et évaluera.

2

Le modèle compte la fréquence à laquelle chaque N-gramme et son préfixe de (n−1) mots apparaissent dans le corpus. Diviser le compte du N-gramme par le compte de son préfixe donne la probabilité conditionnelle du dernier mot étant donné les n−1 mots précédents — l'estimation centrale du modèle.

3

Étant donné que la plupart des séquences de mots possibles n'apparaissent jamais dans un corpus fini, les comptes bruts attribuent une probabilité nulle aux N-grammes non vus (problème de sparsité). Les méthodes de lissage telles que Laplace add-one ou Kneser-Ney redistribuent la masse de probabilité de sorte que les séquences non vues mais plausibles reçoivent une petite probabilité non nulle. Cette étape est essentielle — sans elle, le modèle échoue sur du texte réel.

4

Étant donné un contexte de n−1 mots, le modèle renvoie une distribution de probabilité sur le mot suivant, à partir de laquelle la continuation la plus probable peut être choisie ou du texte peut être généré. Le même mécanisme évalue la probabilité d'une phrase observée, ce qui alimente la correction orthographique et la reconnaissance vocale.

Pièges courants

  • Omettre le lissage laisse les N-grammes non vus à une probabilité nulle, ce qui effondre le modèle sur du texte réel et non vu.
  • L'entraînement sur un corpus trop petit (moins d'environ 100 documents) donne des comptes peu fiables.
  • Choisir un n trop grand rend les comptes épars et le modèle fragile ; choisir un n trop petit perd du contexte utile.
  • Ne pas compléter les limites de phrases gère mal le début et la fin des séquences.

Questions fréquentes

Que signifie le 'n' dans N-gramme ?

C'est le nombre de mots consécutifs considérés ensemble. Un bigramme (n=2) conditionne le mot suivant sur le mot précédent unique, un trigramme (n=3) sur les deux précédents. Un n plus grand capture plus de contexte mais nécessite beaucoup plus de données d'entraînement et devient épars.

Pourquoi le lissage est-il nécessaire ?

Un corpus fini ne peut jamais contenir toutes les séquences de mots plausibles, donc de nombreux N-grammes valides ont un compte de zéro et recevraient une probabilité nulle. Les méthodes de lissage telles que Laplace add-one ou Kneser-Ney réattribuent une petite probabilité aux séquences non vues afin que le modèle ne tombe pas en panne sur du nouveau texte.

Quelle quantité de données d'entraînement est nécessaire ?

La source suggère au moins environ 100 documents comme minimum. Plus de texte donne des comptes plus fiables ; les N-grammes d'ordre supérieur en particulier nécessitent beaucoup plus de données pour éviter la sparsité.

Comment un modèle N-gramme diffère-t-il d'un modèle de langage neuronal ?

Un modèle N-gramme estime les probabilités du mot suivant directement à partir des comptes sur une fenêtre fixe de mots précédents, ce qui le rend simple, rapide et interprétable. Les modèles neuronaux apprennent des représentations distribuées et capturent un contexte plus long, à un coût computationnel plus élevé. Les N-grammes restent une référence transparente utile.

Méthodes associées

Sources

  1. Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.

    Ouvrir la référence de la publication
    Copié.
  2. Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.

    Ouvrir la référence DOI
    Copié.