Desambiguação de Sentido de Palavra (WSD)
- Proposto por
- Navigli (survey, 2009)
- Ano
- 2009
- Tipo
- NLP semantic-disambiguation task
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A desambiguação de sentido de palavra (WSD) é a tarefa de processamento de linguagem natural de escolher o significado correto de uma palavra polissêmica a partir de seu contexto.
Revisada por Navigli (2009), ela resolve qual sentido de uma palavra com múltiplos significados se aplica em uma determinada frase, melhorando a qualidade da recuperação de informação, tradução automática e resposta a perguntas.
A intuição por trás do método
Muitas palavras do dia a dia carregam mais de um significado — "banco" pode ser uma margem de rio ou uma instituição financeira, e apenas as palavras ao redor nos dizem qual. Um leitor resolve isso automaticamente, mas uma máquina vê a mesma sequência de caracteres de qualquer maneira. WSD torna essa escolha explícita: ela olha para as palavras ao redor de um termo ambíguo, compara-as com as definições de dicionário de cada sentido candidato e seleciona o sentido cujo significado melhor se ajusta ao contexto.
História
A desambiguação de sentido de palavra é um problema de longa data na linguística computacional. Navigli (2009) consolidou o campo em uma pesquisa abrangente, enquanto Mihalcea (2006) apresentou os métodos baseados em conhecimento que se baseiam em recursos lexicais como WordNet em vez de dados de treinamento rotulados.
Quando usar
WSD se aplica quando você tem texto contendo palavras com múltiplos significados e um recurso de conhecimento lexical — WordNet ou uma ontologia de linguagem alvo — que lista seus sentidos, juntamente com uma janela de contexto definida. É adequado para trabalhos explicativos e de classificação em dados de texto, e um corpus modesto (cerca de 20 unidades) é suficiente para começar. Sem um inventário de sentidos disponível para a língua, WSD baseada em conhecimento não pode ser executada.
Limitações e considerações
- Requer um WordNet ou ontologia de linguagem alvo disponível; línguas sem um inventário de sentidos não podem ser desambiguadas desta forma.
- A precisão depende de quão bem a janela de contexto definida captura a evidência desambiguadora.
- Distinções de sentido finas em um recurso podem ser difíceis de separar, mesmo com contexto rico.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Resolve a polissemia para que tarefas subsequentes leiam o significado pretendido em vez de uma string superficial.
- Melhora a qualidade da recuperação de informação, tradução automática e resposta a perguntas.
- Abordagens baseadas em conhecimento trabalham diretamente a partir de um recurso lexical sem a necessidade de grandes conjuntos de treinamento rotulados.
Aplicações
- Melhorar a relevância da recuperação de informação, correspondendo ao sentido pretendido de um termo de consulta.
- Aumentar a qualidade da tradução automática, selecionando o sentido correto antes de traduzir.
- Apoiar sistemas de resposta a perguntas que devem interpretar termos ambíguos corretamente.
- Análise semântica de corpus nas humanidades, ciências sociais e outros campos com uso intensivo de texto.
Como funciona
Como funciona
O texto é escaneado em busca de palavras polissêmicas — termos que têm mais de um significado possível no recurso de conhecimento. Cada palavra assim se torna um alvo para desambiguação, pois palavras não ambíguas não precisam de análise adicional.
Uma janela de contexto é definida ao redor de cada palavra alvo — as palavras e frases vizinhas que sinalizam qual significado é pretendido. O tamanho e a forma dessa janela são um parâmetro definido do método, pois a evidência circundante é o que impulsiona a decisão.
Sentidos candidatos para a palavra alvo são recuperados de um recurso de conhecimento lexical, como WordNet ou uma ontologia de linguagem alvo. Cada candidato carrega um glossário ou definição que descreve aquele significado particular.
O sentido cuja definição melhor se sobrepõe ao contexto é escolhido. Abordagens baseadas em conhecimento, como o algoritmo de Lesk, comparam as palavras na janela de contexto com o glossário de cada sentido e selecionam a melhor correspondência, atribuindo um único rótulo de sentido à palavra em contexto.
Erros comuns
- Aplicar um recurso construído para uma língua a texto em outra — o inventário de sentidos deve corresponder à língua do corpus.
- Usar uma janela de contexto que é muito estreita para carregar o sinal desambiguador, ou tão ampla que atrai palavras irrelevantes.
- Assumir que toda palavra é ambígua; restringir a desambiguação a alvos genuinamente polissêmicos para evitar esforço desperdiçado e ruído.
Perguntas frequentes
Que recurso de conhecimento o WSD necessita?
O WSD baseado em conhecimento depende de um recurso lexical que lista os sentidos das palavras — WordNet para inglês, ou uma ontologia equivalente para a língua alvo. O recurso fornece os sentidos candidatos e seus glossários que o método compara com o contexto.
Como a janela de contexto importa?
A janela de contexto é o conjunto de palavras vizinhas usadas para decidir qual sentido se aplica. É um parâmetro definido: muito estreita e perde o sinal desambiguador, muito ampla e adiciona palavras irrelevantes. Escolher uma janela apropriada é central para o método.
O que é o algoritmo de Lesk?
Lesk é uma abordagem clássica baseada em conhecimento que compara as palavras na janela de contexto com o glossário do dicionário de cada sentido candidato e escolhe o sentido com a maior sobreposição. Funciona diretamente a partir do recurso lexical sem dados de treinamento rotulados.
O WSD funciona para línguas além do inglês?
Sim, desde que exista um inventário de sentidos ou ontologia para essa língua. Aplicar um recurso em inglês como o WordNet a texto em outra língua não produzirá os sentidos corretos; o recurso deve corresponder à língua do corpus.
Métodos relacionados
Fontes
Navigli, R. (2009). Word Sense Disambiguation: A Survey. ACM Computing Surveys (CSUR), 41(2), Article 10, 1-69.
Abrir referência DOICopiado.Mihalcea, R. (2006). Knowledge-Based Methods for Word Sense Disambiguation. Computational Linguistics.
Abrir referência da publicaçãoCopiado.