Skip to content
Voltar aos resultados

Reconhecimento de Entidades Nomeadas (NER)

Tipo
NLP sequence-labelling task

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

O Reconhecimento de Entidades Nomeadas (NER) é uma tarefa de processamento de linguagem natural que detecta e rotula automaticamente entidades em texto — como pessoas, organizações, locais e datas.

Revisado por Nadeau e Sekine (2007) e posteriormente avançado com arquiteturas neurais por Lample et al. (2016), ele transforma texto livre em trechos rotulados que ferramentas subsequentes podem usar.

A intuição por trás do método

Um documento menciona nomes, lugares e datas em prosa comum, mas uma máquina vê apenas um fluxo de palavras. O objetivo do NER é encontrar os trechos que se referem a entidades do mundo real e anexar o rótulo de tipo correto a cada um. Em vez de uma pessoa lendo e destacando nomes manualmente, o método escaneia o texto, decide quais palavras formam uma entidade e a rotula como pessoa, organização, local, data e assim por diante.

História

O reconhecimento de entidades nomeadas foi consolidado como uma tarefa na pesquisa de Nadeau e Sekine (2007), que revisou os métodos baseados em regras e em características do campo. O trabalho de Lample et al. (2016) na NAACL introduziu então arquiteturas neurais para NER, movendo o campo em direção a modelos de rotulagem de sequência que aprendem representações contextuais em vez de depender de características construídas manualmente.

Quando usar

O NER é adequado quando você tem dados de texto e um modelo de linguagem que suporta o idioma desse texto, com pré-processamento aplicado primeiro. Uma quantidade razoável de texto é necessária; com um corpus muito pequeno, o modelo tem um desempenho ruim e a extração simples de palavras-chave baseada em regras é a escolha mais segura. Se não houver dados de texto, o NER não pode ser executado e você deve analisar conteúdo estruturado em vez disso.

Limitações e considerações

  • Em um corpus pequeno, o desempenho do modelo cai, e a extração simples de palavras-chave baseada em regras se torna a melhor opção.
  • O desempenho depende do modelo de linguagem suportar o idioma de destino do texto.
  • Requer pré-processamento; sem tokenização limpa, os limites das entidades são detectados de forma não confiável.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Transforma texto não estruturado em trechos de entidades estruturados e tipados que tarefas subsequentes podem consumir.
  • Abrange múltiplas abordagens: correspondência baseada em regras para problemas pequenos, rotulagem de sequência neural para grandes.
  • Identifica várias classes de entidades — pessoas, organizações, locais, datas — em uma única passagem pelo texto.

Aplicações

  • Extrair pessoas, organizações e locais de notícias e relatórios para indexação.
  • Identificar entidades nomeadas em texto clínico ou biomédico para registros estruturados.
  • Mineração de menções de empresas, lugares e datas de grandes coleções de documentos.
  • Alimentar entidades rotuladas em pipelines subsequentes de extração de informações e relações.

Como funciona

Como funciona

1

O texto bruto é limpo e segmentado em unidades analisáveis — frases são divididas e palavras são tokenizadas — para que os limites das entidades possam ser detectados de forma consistente. O modelo de linguagem escolhido deve suportar o idioma de destino para que isso funcione.

2

Cada token é convertido em recursos que o modelo pode ler. Dependendo da abordagem, isso significa regras escritas à mão e léxicos (gazetteers), vetores de características clássicos ou embeddings contextuais de um modelo neural — cada um fornecendo ao rotulador o sinal necessário para reconhecer uma entidade.

3

O modelo atribui um rótulo de tipo de entidade a cada trecho de token. Uma abordagem baseada em regras corresponde a padrões e dicionários, uma abordagem de aprendizado de máquina usa um rotulador de sequência treinado e uma abordagem neural aplica uma arquitetura que captura o contexto. A saída é um conjunto de trechos de texto rotulados com tipos como pessoa, organização, local e data.

4

Os trechos rotulados são avaliados em relação a dados rotulados usando precisão, revocação (recall) e F1, e entidades incorretas ou perdidas são inspecionadas antes que o modelo seja confiável. Isso evita confiar em um rotulador que silenciosamente perde uma classe inteira de entidades.

Erros comuns

  • Executar NER em um corpus pequeno (abaixo de ~100 documentos) onde o modelo tem desempenho inferior — recorra à extração de palavras-chave baseada em regras em vez disso.
  • Aplicar um modelo que não suporta o idioma do corpus, o que degrada o reconhecimento.
  • Omitir o pré-processamento para que texto ruidoso ou mal tokenizado quebre os limites das entidades.
  • Julgar o rotulador apenas pela precisão quando uma classe inteira de entidades está sendo perdida; relate precisão, revocação e F1 e inspecione as entidades perdidas.

Perguntas frequentes

Baseado em regras, aprendizado de máquina ou neural — qual abordagem devo usar?

Uma abordagem baseada em regras corresponde a padrões e dicionários e funciona em problemas pequenos sem dados rotulados. Um rotulador de sequência de aprendizado de máquina aprende com exemplos rotulados e se adapta ao seu domínio. Uma abordagem neural usa arquiteturas contextuais e geralmente tem o melhor desempenho em grandes corpus, com custo computacional mais alto.

O que acontece se meu corpus for muito pequeno?

Em um corpus pequeno (aproximadamente abaixo de 100 documentos), o desempenho do modelo NER cai. Nesse caso, uma abordagem mais simples de extração de palavras-chave baseada em regras é preferível a um modelo completo de reconhecimento de entidades.

O NER funciona em outros idiomas além do inglês?

Sim, mas o modelo de linguagem escolhido deve suportar o idioma de destino do texto. Um modelo que não cobre o idioma do corpus é uma causa comum de reconhecimento ruim.

Como o NER é avaliado?

Os trechos rotulados são comparados a dados rotulados usando precisão, revocação e F1. A inspeção de entidades perdidas e incorretas é importante, pois um rotulador pode falhar silenciosamente em detectar uma classe inteira de entidades, enquanto ainda parece preciso no geral.

Métodos relacionados

Fontes

  1. Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.

    Abrir referência da publicação
    Copiado.
  2. Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.

    Abrir referência DOI
    Copiado.