Skip to content
Voltar aos resultados

Sumarização de Texto — Extrativa e Abstrativa

Tipo
NLP text-generation / text-reduction task

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

A sumarização automática de texto é uma tarefa de processamento de linguagem natural que condensa documentos longos em resumos mais curtos, preservando suas informações-chave.

Funciona através de uma de duas famílias de abordagens — sumarização extrativa, que seleciona os trechos mais importantes da fonte, ou sumarização abstrativa, que gera novo texto. O campo foi consolidado por Nenkova e McKeown (2011), e modelos de sequência a sequência, como o BART (Lewis et al., 2020), avançaram o lado abstrativo.

A intuição por trás do método

Ler um documento longo para extrair sua mensagem central é lento e não escala para muitos documentos. O objetivo da sumarização é manter a informação-chave, tornando o texto dramaticamente mais curto. Uma abordagem extrativa se comporta como um marcador, destacando as frases mais informativas da fonte; uma abordagem abstrativa se comporta mais como uma pessoa reescrevendo a essência em menos palavras. De qualquer forma, o resultado é um resumo compacto que um leitor pode absorver muito mais rapidamente do que o original.

História

A sumarização automática foi pesquisada e consolidada por Nenkova e McKeown (2011), que enquadraram a tarefa de reduzir texto preservando sua informação-chave em linhas extrativas e abstrativas. O lado abstrativo avançou marcadamente com modelos pré-treinados de sequência a sequência, como o BART (Lewis et al., 2020), que usam pré-treinamento de denoising para gerar texto condensado.

Quando usar

A sumarização de texto é adequada quando você tem documentos longos o suficiente para valer a pena condensar e a linguagem de origem é suportada pela abordagem escolhida. Adapta-se a objetivos descritivos e exploratórios sobre dados textuais, trabalhando em coleções transversais ou longitudinais. Com poucos documentos, um modelo abstrativo não pode ser treinado de forma confiável — recorra à extração de palavras-chave para obter a informação-chave — e sem dados de texto algum, a sumarização não pode ser executada.

Limitações e considerações

  • Modelos abstrativos não podem ser treinados de forma confiável com poucos documentos.
  • O desempenho depende de a linguagem de origem ser suportada pela abordagem escolhida.
  • Os documentos devem ser longos o suficiente para ter conteúdo significativo a comprimir.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Condensa documentos longos em resumos mais curtos, preservando a informação-chave.
  • Oferece duas abordagens complementares: seleção extrativa de trechos da fonte e geração abstrativa de novo texto.
  • Escala o esforço de leitura em muitos ou longos documentos que seriam lentos de ler na íntegra.

Aplicações

  • Produzir resumos curtos de relatórios ou artigos longos para que os leitores absorvam a essência rapidamente.
  • Condensar grandes coleções de documentos para revisão exploratória.
  • Gerar resumos ou notas de texto-fonte extensos.
  • Sumarizar corpora de texto em pesquisa nas humanidades, ciências sociais, negócios e ciências naturais.

Como funciona

Como funciona

1

Um ou mais documentos-fonte de comprimento suficiente são carregados como entrada. A sumarização necessita de texto com conteúdo suficiente para comprimir, portanto fragmentos muito curtos oferecem pouca redução; o método visa documentos mais longos onde a condensação realmente economiza tempo do leitor.

2

O texto bruto é limpo e segmentado em unidades analisáveis, como frases ou tokens. Como a linguagem de origem deve ser suportada pela abordagem escolhida, esta etapa também confirma que a linguagem do documento é uma que o modelo ou técnica extrativa pode lidar.

3

Um resumo mais curto é produzido. Uma abordagem extrativa pontua e seleciona os trechos mais importantes do texto-fonte, enquanto uma abordagem abstrativa usa um modelo de sequência a sequência para gerar uma nova redação condensada. A informação-chave do original é preservada enquanto o comprimento é reduzido.

4

O resumo é verificado em relação à fonte quanto à cobertura da informação-chave e ao comprimento, e os resultados são inspecionados antes que o método seja colocado em uso. Isso protege contra resumos que omitem conteúdo essencial ou que, no caso abstrativo, introduzem redações não fundamentadas na fonte.

Erros comuns

  • Executar um modelo abstrativo em um corpus muito pequeno (menos de ~100 documentos) — recorra à extração de palavras-chave para obter a informação-chave em vez disso.
  • Aplicar sumarização a uma linguagem que o modelo ou técnica extrativa não suporta degrada o resultado.
  • Tentar sumarizar quando não há dados de texto reais; com dados estruturados, estatísticas descritivas são a alternativa apropriada.
  • Confiar em um resumo sem verificá-lo em relação à fonte quanto à informação-chave omitida ou, no caso abstrativo, redação não suportada.

Perguntas frequentes

Extrativa ou abstrativa — qual devo usar?

A sumarização extrativa seleciona e une os trechos mais importantes diretamente da fonte, portanto, permanece fiel à redação original. A sumarização abstrativa usa um modelo de sequência a sequência para gerar um novo texto condensado, que pode soar mais natural, mas requer um modelo treinado e dados suficientes. A extrativa é a opção padrão mais segura em corpora pequenos ou sensíveis; a abstrativa é adequada para coleções maiores onde a reescrita natural é importante.

Quantos documentos preciso?

A sumarização visa documentos de comprimento suficiente, com um mínimo prático em torno de 20. Treinar ou depender de um modelo abstrativo com menos de aproximadamente 100 documentos é pouco confiável; nesse caso, use a extração de palavras-chave para capturar a informação-chave em vez disso.

Funciona em idiomas além do inglês?

Sim, desde que a linguagem de origem seja suportada pela abordagem escolhida. Aplicar um modelo ou técnica extrativa a uma linguagem não suportada é uma causa comum de resumos ruins.

E se eu não tiver dados de texto?

A sumarização não pode ser executada sem texto. Se seus dados forem estruturados em vez de texto livre, estatísticas descritivas são a alternativa apropriada para transmitir sua informação-chave.

Métodos relacionados

Fontes

  1. Nenkova, A. & McKeown, K. (2011). Automatic Summarization. Foundations and Trends in Information Retrieval.

    Abrir referência DOI
    Copiado.
  2. Lewis, M. et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.

    Abrir referência DOI
    Copiado.