Sumarização de Texto — Extrativa e Abstrativa
- Tipo
- NLP text-generation / text-reduction task
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A sumarização automática de texto é uma tarefa de processamento de linguagem natural que condensa documentos longos em resumos mais curtos, preservando suas informações-chave.
Funciona através de uma de duas famílias de abordagens — sumarização extrativa, que seleciona os trechos mais importantes da fonte, ou sumarização abstrativa, que gera novo texto. O campo foi consolidado por Nenkova e McKeown (2011), e modelos de sequência a sequência, como o BART (Lewis et al., 2020), avançaram o lado abstrativo.
A intuição por trás do método
Ler um documento longo para extrair sua mensagem central é lento e não escala para muitos documentos. O objetivo da sumarização é manter a informação-chave, tornando o texto dramaticamente mais curto. Uma abordagem extrativa se comporta como um marcador, destacando as frases mais informativas da fonte; uma abordagem abstrativa se comporta mais como uma pessoa reescrevendo a essência em menos palavras. De qualquer forma, o resultado é um resumo compacto que um leitor pode absorver muito mais rapidamente do que o original.
História
A sumarização automática foi pesquisada e consolidada por Nenkova e McKeown (2011), que enquadraram a tarefa de reduzir texto preservando sua informação-chave em linhas extrativas e abstrativas. O lado abstrativo avançou marcadamente com modelos pré-treinados de sequência a sequência, como o BART (Lewis et al., 2020), que usam pré-treinamento de denoising para gerar texto condensado.
Quando usar
A sumarização de texto é adequada quando você tem documentos longos o suficiente para valer a pena condensar e a linguagem de origem é suportada pela abordagem escolhida. Adapta-se a objetivos descritivos e exploratórios sobre dados textuais, trabalhando em coleções transversais ou longitudinais. Com poucos documentos, um modelo abstrativo não pode ser treinado de forma confiável — recorra à extração de palavras-chave para obter a informação-chave — e sem dados de texto algum, a sumarização não pode ser executada.
Limitações e considerações
- Modelos abstrativos não podem ser treinados de forma confiável com poucos documentos.
- O desempenho depende de a linguagem de origem ser suportada pela abordagem escolhida.
- Os documentos devem ser longos o suficiente para ter conteúdo significativo a comprimir.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Condensa documentos longos em resumos mais curtos, preservando a informação-chave.
- Oferece duas abordagens complementares: seleção extrativa de trechos da fonte e geração abstrativa de novo texto.
- Escala o esforço de leitura em muitos ou longos documentos que seriam lentos de ler na íntegra.
Aplicações
- Produzir resumos curtos de relatórios ou artigos longos para que os leitores absorvam a essência rapidamente.
- Condensar grandes coleções de documentos para revisão exploratória.
- Gerar resumos ou notas de texto-fonte extensos.
- Sumarizar corpora de texto em pesquisa nas humanidades, ciências sociais, negócios e ciências naturais.
Como funciona
Como funciona
Um ou mais documentos-fonte de comprimento suficiente são carregados como entrada. A sumarização necessita de texto com conteúdo suficiente para comprimir, portanto fragmentos muito curtos oferecem pouca redução; o método visa documentos mais longos onde a condensação realmente economiza tempo do leitor.
O texto bruto é limpo e segmentado em unidades analisáveis, como frases ou tokens. Como a linguagem de origem deve ser suportada pela abordagem escolhida, esta etapa também confirma que a linguagem do documento é uma que o modelo ou técnica extrativa pode lidar.
Um resumo mais curto é produzido. Uma abordagem extrativa pontua e seleciona os trechos mais importantes do texto-fonte, enquanto uma abordagem abstrativa usa um modelo de sequência a sequência para gerar uma nova redação condensada. A informação-chave do original é preservada enquanto o comprimento é reduzido.
O resumo é verificado em relação à fonte quanto à cobertura da informação-chave e ao comprimento, e os resultados são inspecionados antes que o método seja colocado em uso. Isso protege contra resumos que omitem conteúdo essencial ou que, no caso abstrativo, introduzem redações não fundamentadas na fonte.
Erros comuns
- Executar um modelo abstrativo em um corpus muito pequeno (menos de ~100 documentos) — recorra à extração de palavras-chave para obter a informação-chave em vez disso.
- Aplicar sumarização a uma linguagem que o modelo ou técnica extrativa não suporta degrada o resultado.
- Tentar sumarizar quando não há dados de texto reais; com dados estruturados, estatísticas descritivas são a alternativa apropriada.
- Confiar em um resumo sem verificá-lo em relação à fonte quanto à informação-chave omitida ou, no caso abstrativo, redação não suportada.
Perguntas frequentes
Extrativa ou abstrativa — qual devo usar?
A sumarização extrativa seleciona e une os trechos mais importantes diretamente da fonte, portanto, permanece fiel à redação original. A sumarização abstrativa usa um modelo de sequência a sequência para gerar um novo texto condensado, que pode soar mais natural, mas requer um modelo treinado e dados suficientes. A extrativa é a opção padrão mais segura em corpora pequenos ou sensíveis; a abstrativa é adequada para coleções maiores onde a reescrita natural é importante.
Quantos documentos preciso?
A sumarização visa documentos de comprimento suficiente, com um mínimo prático em torno de 20. Treinar ou depender de um modelo abstrativo com menos de aproximadamente 100 documentos é pouco confiável; nesse caso, use a extração de palavras-chave para capturar a informação-chave em vez disso.
Funciona em idiomas além do inglês?
Sim, desde que a linguagem de origem seja suportada pela abordagem escolhida. Aplicar um modelo ou técnica extrativa a uma linguagem não suportada é uma causa comum de resumos ruins.
E se eu não tiver dados de texto?
A sumarização não pode ser executada sem texto. Se seus dados forem estruturados em vez de texto livre, estatísticas descritivas são a alternativa apropriada para transmitir sua informação-chave.
Métodos relacionados
Fontes
Nenkova, A. & McKeown, K. (2011). Automatic Summarization. Foundations and Trends in Information Retrieval.
Abrir referência DOICopiado.Lewis, M. et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.
Abrir referência DOICopiado.