Análise Morfológica — Radicalização e Lematização
- Proposto por
- M.F. Porter (Porter stemmer)
- Ano
- 1980
- Tipo
- Text-normalisation preprocessing task
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A análise morfológica divide as palavras em seus radicais e afixos para que diferentes formas de superfície da mesma palavra possam ser tratadas como uma só.
Ela abrange duas abordagens complementares — a radicalização baseada em regras, como os algoritmos de Porter (1980) e Snowball, e a lematização com base em dicionário — e é uma etapa crítica de normalização de texto para línguas aglutinativas como o turco e o árabe.
A intuição por trás do método
Um leitor sabe que “running”, “runs” e “ran” remetem ao verbo “run”, mas para uma máquina estas são três cadeias de caracteres não relacionadas. A análise morfológica remove as terminações gramaticais de uma palavra para recuperar a forma subjacente, de modo que as muitas maneiras pelas quais uma palavra pode aparecer se reduzem a um único token. A radicalização corta sufixos por regra; a lematização consulta a palavra para retornar sua verdadeira forma de dicionário. De qualquer forma, o objetivo é parar de contar um conceito como várias palavras diferentes.
História
A radicalização baseada em regras foi popularizada pelo algoritmo de remoção de sufixos de Porter (1980), que permanece um ponto de referência e mais tarde evoluiu para a família de radicalizadores Snowball. A análise morfológica probabilística e baseada em modelos seguiu, com o etiquetador de classe gramatical de árvore de decisão de Schmid (1994) ilustrando o movimento em direção a abordagens estatísticas que informam a lematização moderna.
Quando usar
Use a análise morfológica como uma etapa de normalização sempre que tiver texto tokenizado e regras de morfologia ou um modelo para sua língua. É especialmente valiosa para línguas aglutinativas como o turco e o árabe, onde uma única raiz gera muitas formas de superfície. Ela exige que o texto seja tokenizado primeiro e um recurso morfológico para a língua-alvo; sem eles, não pode ser executada de forma confiável.
Limitações e considerações
- Requer que regras de morfologia ou um modelo já existam para a língua-alvo.
- O texto deve ser tokenizado antes que a análise possa começar.
- A radicalização baseada em regras pode radicalizar em excesso (mesclando palavras não relacionadas) ou radicalizar de menos (perdendo variantes válidas).
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Reduz variantes flexionadas de uma palavra a uma única forma, diminuindo o vocabulário para análise subsequente.
- Oferece um espectro desde a radicalização rápida baseada em regras (Porter, Snowball) até a lematização precisa com base em dicionário.
- Especialmente poderosa para línguas aglutinativas como o turco e o árabe, onde muitas formas compartilham uma raiz.
Aplicações
- Normalização de texto antes da indexação, busca ou recuperação de informação.
- Redução do tamanho do vocabulário antes da classificação de texto ou modelagem de tópicos.
- Pré-processamento de corpora de línguas aglutinativas (turco, árabe) onde as formas de superfície se multiplicam.
- Limpeza e padronização de características de texto para pipelines de mineração de texto subsequentes.
Como funciona
Como funciona
O texto é primeiramente segmentado em tokens de palavras individuais. A análise morfológica opera sobre palavras, então o corpus já deve estar tokenizado antes que quaisquer radicais ou lemas possam ser extraídos; este é um pré-requisito declarado do método.
Cada token é examinado em relação à morfologia da língua-alvo para separar o radical de seus afixos (prefixos, sufixos, flexões). Esta etapa exige que regras morfológicas ou um modelo existam para a língua em questão, o que é mais importante em línguas ricamente flexionadas e aglutinativas.
A palavra é reduzida a uma forma canônica. Uma abordagem de radicalização (Porter, Snowball) remove sufixos por regra para produzir um radical que não precisa ser uma palavra real, enquanto uma abordagem de lematização retorna o lema real do dicionário, opcionalmente guiada pela classe gramatical da palavra.
As formas reduzidas são reescritas no corpus para que as formas de superfície variantes sejam mapeadas para um único token. Essa normalização reduz o vocabulário e permite que as etapas subsequentes de mineração de texto tratem as variantes flexionadas de uma palavra como a mesma característica.
Erros comuns
- A radicalização pode produzir radicais que não são palavras reais; não trate um radical como uma forma de dicionário quando um lema verdadeiro for necessário.
- Aplicar um radicalizador de inglês a um texto em outra língua produz resultados sem sentido — o recurso morfológico deve corresponder à língua do corpus.
- Pular a tokenização alimenta tokens malformados no analisador e corrompe a saída.
- A radicalização excessiva mescla palavras distintas em um único radical e a radicalização insuficiente deixa variantes separadas; escolha entre radicalização e lematização para adequar-se à precisão que sua tarefa subsequente exige.
Perguntas frequentes
Qual a diferença entre radicalização e lematização?
A radicalização remove sufixos por regra (como nos algoritmos Porter ou Snowball) para produzir um radical que não precisa ser uma palavra real, e é rápida. A lematização consulta a palavra — frequentemente usando sua classe gramatical — para retornar o lema real do dicionário, o que é mais preciso, mas mais pesado.
Por que isso é mais importante para línguas como o turco e o árabe?
Estas são línguas aglutinativas onde uma única raiz pode assumir muitos afixos e gerar um grande número de formas de superfície. A análise morfológica reduz essas formas de volta à raiz, o que é essencial para a normalização de texto em tais línguas.
Preciso tokenizar o texto primeiro?
Sim. A análise morfológica opera sobre palavras individuais, então o corpus já deve estar tokenizado. A tokenização é um pré-requisito declarado do método.
O que acontece se o recurso morfológico não corresponder à língua?
A saída se torna sem sentido. As regras ou o modelo devem ser construídos para a língua-alvo; aplicar, por exemplo, um radicalizador de inglês a um texto não-inglês produz radicais incorretos.
Métodos relacionados
Fontes
Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.
Abrir referência DOICopiado.Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).
Abrir referência da publicaçãoCopiado.