Skip to content
Retour aux résultats

Chunking — Analyse superficielle

Introduite par
Steven Abney
Année
1991
Type
NLP partial-parsing task

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le chunking, également appelé analyse superficielle, est une tâche de traitement du langage naturel introduite par Steven Abney en 1991 qui divise le texte en morceaux grammaticaux — tels que les syntagmes nominaux et les syntagmes verbaux — à l'aide de marqueurs de catégories grammaticales (part-of-speech tags).

Il extrait rapidement une structure syntaxique utile sans construire un arbre d'analyse complet de la phrase.

L’intuition derrière la méthode

Une analyse syntaxique complète décrit comment chaque mot est lié à tous les autres mots, ce qui est coûteux et souvent plus que ce dont une application a besoin. Le chunking prend un raccourci : à partir de mots déjà étiquetés avec leurs catégories grammaticales, il regroupe les étiquettes adjacentes en phrases plates et non chevauchantes. On apprend que « le petit chien » est un syntagme nominal et « aboie » est un syntagme verbal sans résoudre l'arbre grammatical complet, ce qui donne un aperçu structurel rapide à faible coût.

Histoire

Le chunking a été introduit par Steven Abney (1991) dans « Parsing by Chunks », qui a encadré l'analyse partielle autour des chunks comme une alternative efficace à l'analyse syntaxique complète. La tâche a ensuite été standardisée et popularisée par la tâche partagée CoNLL-2000 sur le chunking (Tjong Kim Sang & Buchholz, 2000), qui a établi un ensemble de données et une évaluation communs pour le problème.

Quand l’utiliser

Utilisez le chunking lorsque vous disposez de texte étiqueté par catégorie grammaticale et que vous avez besoin d'une structure au niveau de la phrase rapidement, sans le coût d'une analyse syntaxique complète. Il convient à l'analyse exploratoire et descriptive de texte et ne nécessite qu'une quantité modeste de données (environ dix unités). Deux conditions doivent être remplies : l'étiquetage par catégorie grammaticale doit être terminé, et une grammaire ou un modèle de chunking doit exister pour la langue cible.

Limites et points d’attention

  • Nécessite que l'étiquetage par catégorie grammaticale soit terminé au préalable ; les erreurs dans les étiquettes se propagent dans les chunks.
  • Nécessite une grammaire ou un modèle de chunking qui correspond à la langue cible.
  • Produit uniquement des phrases plates et non chevauchantes — il ne récupère pas la structure syntaxique imbriquée complète.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Extrait rapidement une structure syntaxique utile, sans le coût de construction d'un arbre d'analyse complet.
  • Fonctionne à partir des étiquettes de catégories grammaticales avec des règles de motifs simples et transparentes, faciles à inspecter et à ajuster.
  • Fournit des blocs de construction au niveau de la phrase (syntagmes nominaux et verbaux) pour des tâches en aval telles que l'extraction d'informations.

Applications

  • Extraction d'informations — isolation des syntagmes nominaux et verbaux comme entités et relations candidates.
  • Prétraitement pour la reconnaissance d'entités nommées en faisant apparaître les frontières des syntagmes nominaux.
  • Analyse structurelle rapide de grands corpus de texte où l'analyse complète est trop coûteuse.
  • Étude exploratoire et descriptive des motifs de phrases grammaticales dans un corpus.

Comment ça marche

Comment ça marche

1

La méthode commence à partir de texte qui a déjà été étiqueté par catégorie grammaticale — chaque jeton porte une étiquette telle que déterminant, adjectif, nom ou verbe. L'étiquetage complet des catégories grammaticales est un prérequis, car le chunker travaille sur ces étiquettes plutôt que sur les mots bruts.

2

Une grammaire de chunking est spécifiée pour la langue cible, généralement sous forme de motifs sur les étiquettes de catégories grammaticales (par exemple, un syntagme nominal comme un déterminant optionnel, des adjectifs quelconques, puis un nom). Un ensemble de règles ou un modèle entraîné pour la langue doit être disponible pour que cela réussisse.

3

La grammaire est appliquée à la séquence étiquetée, regroupant les étiquettes adjacentes qui correspondent à un motif en chunks plats et non chevauchants. Contrairement à l'analyse complète, les chunks ne sont pas imbriqués dans un arbre complet — l'analyse reste superficielle.

4

Les chunks de phrases identifiés — syntagmes nominaux, syntagmes verbaux, etc. — sont extraits comme sortie. Ces structures superficielles alimentent des tâches en aval telles que l'extraction d'informations ou la reconnaissance d'entités nommées.

Pièges courants

  • Exécution du chunking sur du texte non étiqueté ou mal étiqueté — l'étiquetage par catégorie grammaticale doit être effectué au préalable, et les erreurs d'étiquetage se répercutent directement dans les chunks.
  • Réutilisation d'une grammaire de chunking construite pour une langue sur une autre ; les règles de motifs doivent correspondre à la langue cible.
  • Attente d'une structure syntaxique imbriquée ou complète à partir d'un analyseur superficiel — les chunks sont plats par conception, utilisez donc une analyse complète lorsque la structure profonde est requise.

Questions fréquentes

Quelle est la différence entre le chunking et l'analyse complète ?

L'analyse complète construit un arbre syntaxique complet montrant comment chaque mot est lié à tous les autres mots. Le chunking est une analyse superficielle : il regroupe les mots adjacents en phrases plates et non chevauchantes telles que les syntagmes nominaux et verbaux, sans les imbriquer dans un arbre complet. Cela le rend beaucoup plus rapide et souvent suffisant pour les tâches qui n'ont besoin que d'une structure au niveau de la phrase.

Ai-je besoin d'un étiquetage par catégorie grammaticale avant le chunking ?

Oui. Le chunking opère sur les étiquettes de catégories grammaticales plutôt que sur les mots bruts, donc l'étiquetage doit être terminé au préalable. Comme le chunker repose sur ces étiquettes, toute erreur d'étiquetage se répercute directement dans les chunks.

Le chunking fonctionne-t-il pour n'importe quelle langue ?

Il ne fonctionne que là où une grammaire de chunking ou un modèle entraîné existe pour la langue cible. Les règles de motifs sont spécifiques à la langue, donc une grammaire écrite pour une langue ne doit pas être appliquée à une autre.

Que produit le chunking ?

Il produit des chunks de phrases plats et non chevauchants — généralement des syntagmes nominaux et verbaux — extraits de la séquence étiquetée. Ces structures superficielles sont couramment utilisées comme entrée pour l'extraction d'informations et la reconnaissance d'entités nommées.

Méthodes associées

Sources

  1. Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.

    ISBN : 978-0-7923-1173-4
    Copié.
  2. Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.

    Ouvrir la référence de la publication
    Copié.