Skip to content
Voltar aos resultados

Resposta a Perguntas (QA)

Tipo
NLP text-comprehension task

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Resposta a perguntas é uma tarefa de processamento de linguagem natural que responde automaticamente a perguntas em linguagem natural fundamentadas em uma determinada passagem de contexto, utilizando abordagens extrativas ou generativas.

A tarefa foi cristalizada pelo benchmark SQuAD de Rajpurkar et al. (2016), e modelos posteriores como o XLNet (Yang et al., 2019) aumentaram a precisão da compreensão de leitura.

A intuição por trás do método

Quando você faz uma pergunta, a resposta geralmente reside em algum lugar dentro de um corpo de texto relevante. Um sistema de resposta a perguntas lê essa passagem de contexto juntamente com a pergunta e elabora a resposta. Um sistema extrativo localiza e copia o trecho exato de texto que responde à pergunta, enquanto um sistema generativo escreve uma resposta com suas próprias palavras. De qualquer forma, o modelo está ancorado ao contexto fornecido em vez de adivinhar livremente.

História

A resposta a perguntas moderna foi remodelada pelo lançamento do SQuAD (Rajpurkar et al., 2016), um grande conjunto de dados de compreensão de leitura com mais de 100.000 perguntas contra passagens de contexto, que deu ao campo um benchmark comum para compreensão de máquina. Métodos subsequentes de pré-treinamento como o XLNet (Yang et al., 2019) avançaram a modelagem de linguagem autorregressiva por trás dos sistemas de QA mais fortes.

Quando usar

A resposta a perguntas é adequada quando você tem perguntas textuais para responder e uma passagem de contexto que se espera conter essas respostas. É adequada para trabalhos exploratórios e descritivos sobre dados textuais, e beneficia-se de um modesto conjunto de exemplos para testar. Um modelo específico de domínio vale a pena ser usado quando o texto é especializado. Sem uma passagem de contexto, o método não tem nada para ler, e um modelo geral em terminologia de nicho terá um desempenho inferior.

Limitações e considerações

  • Requer uma passagem de contexto relevante; sem contexto para ler, o método não pode responder de forma confiável.
  • Um modelo de propósito geral fornece menor precisão em texto específico de domínio do que um modelo ajustado para esse domínio.
  • A qualidade depende de quão bem a resposta está realmente contida e formulada na passagem fornecida.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Fundamenta as respostas em uma passagem de contexto fornecida em vez de geração livre, mantendo as respostas rastreáveis ao texto de origem.
  • Suporta tanto respostas extrativas — trechos exatos copiados do texto — quanto respostas generativas escritas em linguagem natural.
  • Modelos específicos de domínio podem ser inseridos para aumentar a precisão em material especializado sem alterar o pipeline geral.

Aplicações

  • Responder a perguntas do usuário contra um documento ou base de conhecimento.
  • Sistemas de compreensão de leitura que extraem trechos de resposta precisos de passagens.
  • Ferramentas de suporte ao cliente e de pesquisa que respondem a consultas em linguagem natural sobre um corpus de texto.
  • Acesso à informação sobre documentos técnicos ou específicos de domínio usando um modelo ajustado.

Como funciona

Como funciona

1

O sistema recebe duas entradas: uma pergunta em linguagem natural e uma passagem de contexto que se presume conter a resposta. Como o método é fundamentado no contexto fornecido, ter uma passagem relevante disponível é um pré-requisito para qualquer resposta sensata.

2

A pergunta e o contexto são lidos em conjunto por um modelo de linguagem que constrói uma representação conjunta, capturando como as palavras da pergunta se relacionam com as palavras da passagem. Um modelo específico de domínio codifica a terminologia com mais precisão e produz maior precisão em textos especializados.

3

Uma resposta é produzida. Uma abordagem extrativa prevê o início e o fim do trecho no contexto que melhor responde à pergunta e retorna esse texto exato; uma abordagem generativa escreve uma resposta em formato livre condicionada à pergunta e ao contexto. A saída é uma resposta em linguagem natural vinculada à passagem.

4

As respostas previstas são pontuadas em relação às respostas de referência — tipicamente com medidas de correspondência exata (exact-match) e F1 em um benchmark como o SQuAD — e os casos de falha são inspecionados antes que o sistema seja implantado.

Erros comuns

  • Fornecer uma passagem de contexto que não contém a resposta força o modelo a adivinhar, produzindo respostas confiantes, mas incorretas.
  • Aplicar um modelo geral a terminologia altamente especializada degrada a precisão; prefira um modelo específico de domínio para texto de nicho.
  • Julgar saídas extrativas e generativas pelo mesmo critério pode levar a equívocos — respostas extrativas são melhor pontuadas com correspondência exata e F1 em relação ao trecho de referência.
  • Omitir a avaliação esconde modos de falha sistemáticos; inspecione respostas incorretas em um benchmark antes de confiar no sistema.

Perguntas frequentes

Qual é a diferença entre resposta a perguntas extrativa e generativa?

Uma abordagem extrativa encontra e retorna o trecho exato de texto no contexto que responde à pergunta. Uma abordagem generativa escreve uma resposta com suas próprias palavras, condicionada à pergunta e ao contexto. Respostas extrativas permanecem literais e são fáceis de pontuar em relação à fonte; respostas generativas soam mais naturais, mas podem se desviar da passagem.

Preciso sempre de uma passagem de contexto?

Neste método, sim. O sistema responde com base em um contexto fornecido que se presume conter a resposta. Sem uma passagem relevante para ler, o modelo não tem nada em que fundamentar sua resposta e a confiabilidade cai acentuadamente.

Devo usar um modelo específico de domínio?

Se o seu texto for especializado, um modelo específico de domínio oferece maior precisão do que um de propósito geral, pois codifica a terminologia com mais fidelidade. Para texto geral, um modelo geral é geralmente adequado.

Como a precisão da resposta a perguntas é medida?

As respostas previstas são comparadas com as respostas de referência usando medidas como correspondência exata (exact match) e F1, tipicamente em um benchmark como o SQuAD. A inspeção de casos de falha juntamente com essas pontuações revela fraquezas sistemáticas antes da implantação.

Métodos relacionados

Fontes

  1. Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP.

    Abrir referência DOI
    Copiado.
  2. Yang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. NeurIPS.

    Abrir referência da publicação
    Copiado.