Skip to content
Voltar aos resultados

Chunking — Análise Superficial

Proposto por
Steven Abney
Ano
1991
Tipo
NLP partial-parsing task

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Chunking, também chamada de análise superficial, é uma tarefa de processamento de linguagem natural introduzida por Steven Abney em 1991 que divide o texto em pedaços gramaticais — como sintagmas nominais e sintagmas verbais — usando etiquetas de classe gramatical. Extrai estrutura sintática útil rapidamente sem construir uma árvore de análise completa da frase.

A intuição por trás do método

Uma análise sintática completa descreve como cada palavra se relaciona com todas as outras palavras, o que é custoso e muitas vezes mais do que uma aplicação necessita. Chunking toma um atalho: partindo de palavras já etiquetadas com suas classes gramaticais, agrupa etiquetas adjacentes em frases planas e não sobrepostas. Aprende-se que 'o pequeno cão' é um sintagma nominal e 'está latindo' é um sintagma verbal sem resolver a árvore gramatical completa, fornecendo percepção estrutural rápida a baixo custo.

História

Chunking foi introduzido por Steven Abney (1991) em 'Parsing by Chunks', que enquadrou a análise parcial em torno de chunks como uma alternativa eficiente à análise sintática completa. A tarefa foi posteriormente padronizada e popularizada pela tarefa compartilhada CoNLL-2000 sobre chunking (Tjong Kim Sang & Buchholz, 2000), que estabeleceu um conjunto de dados e avaliação comum para o problema.

Quando usar

Use chunking quando tiver texto etiquetado com classes gramaticais e precisar de estrutura em nível de frase rapidamente, sem o custo de uma análise sintática completa. É adequado para análise exploratória e descritiva de texto e necessita apenas de uma quantidade modesta de dados (cerca de dez unidades). Duas condições devem ser satisfeitas: a etiquetagem de classes gramaticais deve estar completa, e uma gramática ou modelo de chunking deve existir para a língua alvo.

Limitações e considerações

  • Requer que a etiquetagem de classes gramaticais seja concluída primeiro; erros nas etiquetas propagam-se para os chunks.
  • Necessita de uma gramática ou modelo de chunking que corresponda à língua alvo.
  • Produz apenas frases planas e não sobrepostas — não recupera a estrutura sintática aninhada completa.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Extrai estrutura sintática útil rapidamente, sem o custo de construir uma árvore de análise completa.
  • Opera a partir de etiquetas de classes gramaticais com regras de padrão simples e transparentes, fáceis de inspecionar e ajustar.
  • Fornece blocos de construção em nível de frase (sintagmas nominais e verbais) para tarefas a jusante, como extração de informação.

Aplicações

  • Extração de informação — isolando sintagmas nominais e verbais como entidades e relações candidatas.
  • Pré-processamento para reconhecimento de entidade nomeada, ao expor os limites de sintagmas nominais.
  • Análise estrutural rápida de grandes corpora de texto onde a análise completa é muito custosa.
  • Estudo exploratório e descritivo de padrões de frases gramaticais em um corpus.

Como funciona

Como funciona

1

O método começa com texto que já foi etiquetado com classes gramaticais — cada token carrega uma etiqueta como determinante, adjetivo, substantivo ou verbo. A etiquetagem de classes gramaticais completa é um pré-requisito, pois o chunker opera sobre essas etiquetas em vez de palavras brutas.

2

Uma gramática de chunking é especificada para a língua alvo, tipicamente como padrões sobre etiquetas de classes gramaticais (por exemplo, um sintagma nominal como um determinante opcional, quaisquer adjetivos, depois um substantivo). Um conjunto de regras ou um modelo treinado para a língua deve estar disponível para que isso tenha sucesso.

3

A gramática é aplicada à sequência etiquetada, agrupando etiquetas adjacentes que correspondem a um padrão em chunks planos e não sobrepostos. Ao contrário da análise completa, os chunks não são aninhados em uma árvore completa — a análise permanece superficial.

4

Os chunks de frase identificados — sintagmas nominais, sintagmas verbais e similares — são lidos como saída. Essas estruturas superficiais alimentam tarefas a jusante, como extração de informação ou reconhecimento de entidade nomeada.

Erros comuns

  • Executar chunking em texto não etiquetado ou mal etiquetado — a etiquetagem de classes gramaticais deve ser feita primeiro, e erros de etiquetagem transferem-se diretamente para os chunks.
  • Reutilizar uma gramática de chunking construída para uma língua em outra; as regras de padrão devem corresponder à língua alvo.
  • Esperar estrutura sintática aninhada ou completa de um analisador superficial — os chunks são planos por design, portanto, use análise completa quando a estrutura profunda for necessária.

Perguntas frequentes

Como o chunking difere da análise completa?

A análise completa constrói uma árvore sintática completa mostrando como cada palavra se relaciona com todas as outras palavras. Chunking é uma análise superficial: agrupa palavras adjacentes em frases planas e não sobrepostas, como sintagmas nominais e verbais, sem aninhá-las em uma árvore completa. Isso o torna muito mais rápido e muitas vezes suficiente para tarefas que precisam apenas de estrutura em nível de frase.

Preciso de etiquetagem de classes gramaticais antes do chunking?

Sim. Chunking opera sobre etiquetas de classes gramaticais em vez de palavras brutas, portanto, a etiquetagem deve ser concluída primeiro. Como o chunker depende dessas etiquetas, quaisquer erros na etiquetagem transferem-se diretamente para os chunks.

O chunking funciona para qualquer língua?

Funciona apenas onde uma gramática de chunking ou um modelo treinado existe para a língua alvo. As regras de padrão são específicas da língua, portanto, uma gramática escrita para uma língua não deve ser aplicada a outra.

O que o chunking produz?

Produz chunks de frase planos e não sobrepostos — tipicamente sintagmas nominais e verbais — lidos da sequência etiquetada. Essas estruturas superficiais são comumente usadas como entrada para extração de informação e reconhecimento de entidade nomeada.

Métodos relacionados

Fontes

  1. Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.

    ISBN: 978-0-7923-1173-4
    Copiado.
  2. Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.

    Abrir referência da publicação
    Copiado.