Skip to content
Voltar aos resultados

Análise Morfológica — Radicalização e Lematização

Proposto por
M.F. Porter (Porter stemmer)
Ano
1980
Tipo
Text-normalisation preprocessing task

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A análise morfológica divide as palavras em seus radicais e afixos para que diferentes formas de superfície da mesma palavra possam ser tratadas como uma só.

Ela abrange duas abordagens complementares — a radicalização baseada em regras, como os algoritmos de Porter (1980) e Snowball, e a lematização com base em dicionário — e é uma etapa crítica de normalização de texto para línguas aglutinativas como o turco e o árabe.

A intuição por trás do método

Um leitor sabe que “running”, “runs” e “ran” remetem ao verbo “run”, mas para uma máquina estas são três cadeias de caracteres não relacionadas. A análise morfológica remove as terminações gramaticais de uma palavra para recuperar a forma subjacente, de modo que as muitas maneiras pelas quais uma palavra pode aparecer se reduzem a um único token. A radicalização corta sufixos por regra; a lematização consulta a palavra para retornar sua verdadeira forma de dicionário. De qualquer forma, o objetivo é parar de contar um conceito como várias palavras diferentes.

História

A radicalização baseada em regras foi popularizada pelo algoritmo de remoção de sufixos de Porter (1980), que permanece um ponto de referência e mais tarde evoluiu para a família de radicalizadores Snowball. A análise morfológica probabilística e baseada em modelos seguiu, com o etiquetador de classe gramatical de árvore de decisão de Schmid (1994) ilustrando o movimento em direção a abordagens estatísticas que informam a lematização moderna.

Quando usar

Use a análise morfológica como uma etapa de normalização sempre que tiver texto tokenizado e regras de morfologia ou um modelo para sua língua. É especialmente valiosa para línguas aglutinativas como o turco e o árabe, onde uma única raiz gera muitas formas de superfície. Ela exige que o texto seja tokenizado primeiro e um recurso morfológico para a língua-alvo; sem eles, não pode ser executada de forma confiável.

Limitações e considerações

  • Requer que regras de morfologia ou um modelo já existam para a língua-alvo.
  • O texto deve ser tokenizado antes que a análise possa começar.
  • A radicalização baseada em regras pode radicalizar em excesso (mesclando palavras não relacionadas) ou radicalizar de menos (perdendo variantes válidas).

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz variantes flexionadas de uma palavra a uma única forma, diminuindo o vocabulário para análise subsequente.
  • Oferece um espectro desde a radicalização rápida baseada em regras (Porter, Snowball) até a lematização precisa com base em dicionário.
  • Especialmente poderosa para línguas aglutinativas como o turco e o árabe, onde muitas formas compartilham uma raiz.

Aplicações

  • Normalização de texto antes da indexação, busca ou recuperação de informação.
  • Redução do tamanho do vocabulário antes da classificação de texto ou modelagem de tópicos.
  • Pré-processamento de corpora de línguas aglutinativas (turco, árabe) onde as formas de superfície se multiplicam.
  • Limpeza e padronização de características de texto para pipelines de mineração de texto subsequentes.

Como funciona

Como funciona

1

O texto é primeiramente segmentado em tokens de palavras individuais. A análise morfológica opera sobre palavras, então o corpus já deve estar tokenizado antes que quaisquer radicais ou lemas possam ser extraídos; este é um pré-requisito declarado do método.

2

Cada token é examinado em relação à morfologia da língua-alvo para separar o radical de seus afixos (prefixos, sufixos, flexões). Esta etapa exige que regras morfológicas ou um modelo existam para a língua em questão, o que é mais importante em línguas ricamente flexionadas e aglutinativas.

3

A palavra é reduzida a uma forma canônica. Uma abordagem de radicalização (Porter, Snowball) remove sufixos por regra para produzir um radical que não precisa ser uma palavra real, enquanto uma abordagem de lematização retorna o lema real do dicionário, opcionalmente guiada pela classe gramatical da palavra.

4

As formas reduzidas são reescritas no corpus para que as formas de superfície variantes sejam mapeadas para um único token. Essa normalização reduz o vocabulário e permite que as etapas subsequentes de mineração de texto tratem as variantes flexionadas de uma palavra como a mesma característica.

Erros comuns

  • A radicalização pode produzir radicais que não são palavras reais; não trate um radical como uma forma de dicionário quando um lema verdadeiro for necessário.
  • Aplicar um radicalizador de inglês a um texto em outra língua produz resultados sem sentido — o recurso morfológico deve corresponder à língua do corpus.
  • Pular a tokenização alimenta tokens malformados no analisador e corrompe a saída.
  • A radicalização excessiva mescla palavras distintas em um único radical e a radicalização insuficiente deixa variantes separadas; escolha entre radicalização e lematização para adequar-se à precisão que sua tarefa subsequente exige.

Perguntas frequentes

Qual a diferença entre radicalização e lematização?

A radicalização remove sufixos por regra (como nos algoritmos Porter ou Snowball) para produzir um radical que não precisa ser uma palavra real, e é rápida. A lematização consulta a palavra — frequentemente usando sua classe gramatical — para retornar o lema real do dicionário, o que é mais preciso, mas mais pesado.

Por que isso é mais importante para línguas como o turco e o árabe?

Estas são línguas aglutinativas onde uma única raiz pode assumir muitos afixos e gerar um grande número de formas de superfície. A análise morfológica reduz essas formas de volta à raiz, o que é essencial para a normalização de texto em tais línguas.

Preciso tokenizar o texto primeiro?

Sim. A análise morfológica opera sobre palavras individuais, então o corpus já deve estar tokenizado. A tokenização é um pré-requisito declarado do método.

O que acontece se o recurso morfológico não corresponder à língua?

A saída se torna sem sentido. As regras ou o modelo devem ser construídos para a língua-alvo; aplicar, por exemplo, um radicalizador de inglês a um texto não-inglês produz radicais incorretos.

Métodos relacionados

Fontes

  1. Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.

    Abrir referência DOI
    Copiado.
  2. Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).

    Abrir referência da publicação
    Copiado.