Skip to content
Назад к результатам поиска

Автоматическое реферирование текстов — Экстрактивное и абстрактивное

Тип
NLP text-generation / text-reduction task

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Автоматическое реферирование текстов — это задача обработки естественного языка, которая сжимает длинные документы в более короткие резюме, сохраняя при этом их ключевую информацию.

Она осуществляется одним из двух типов подходов — экстрактивным реферированием, которое выбирает наиболее важные фрагменты из источника, или абстрактивным реферированием, которое генерирует новый текст. Эта область была консолидирована Ненковой и МакКеоун (2011), а модели последовательность-в-последовательность, такие как BART (Lewis et al., 2020), продвинули абстрактивную сторону.

Интуиция метода

Чтение длинного документа для извлечения его основного смысла — медленный процесс, который не масштабируется на множество документов. Цель реферирования — сохранить ключевую информацию, одновременно значительно сократив текст. Экстрактивный подход действует как маркер, выделяя наиболее информативные предложения из источника; абстрактивный подход больше похож на человека, переписывающего суть меньшим количеством слов. В любом случае, результатом является компактное резюме, которое читатель может усвоить гораздо быстрее, чем оригинал.

История

Автоматическое реферирование было рассмотрено и консолидировано Ненковой и МакКеоун (2011), которые сформулировали задачу сокращения текста при сохранении его ключевой информации в экстрактивном и абстрактивном направлениях. Абстрактивная сторона значительно продвинулась с появлением предварительно обученных моделей последовательность-в-последовательность, таких как BART (Lewis et al., 2020), которые используют предварительное обучение на основе шумоподавления для генерации сжатого текста.

Когда применять

Реферирование текстов подходит, когда у вас есть документы, достаточно длинные, чтобы их стоило сжимать, и исходный язык поддерживается выбранным подходом. Он подходит для описательных и исследовательских целей при работе с текстовыми данными, работая с кросс-секционными или лонгитюдными коллекциями. При слишком малом количестве документов абстрактивную модель нельзя надежно обучить — в этом случае для получения ключевой информации следует использовать извлечение ключевых слов — а при отсутствии текстовых данных реферирование невозможно.

Ограничения и замечания

  • Абстрактивные модели не могут быть надежно обучены на очень малом количестве документов.
  • Производительность зависит от того, поддерживается ли исходный язык выбранным подходом.
  • Документы должны быть достаточно длинными, чтобы содержать осмысленный контент для сжатия.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Сжимает длинные документы в более короткие резюме, сохраняя ключевую информацию.
  • Предлагает два взаимодополняющих подхода: экстрактивный выбор фрагментов из источника и абстрактивная генерация нового текста.
  • Масштабирует усилия по чтению на множество или длинные документы, которые было бы медленно читать полностью.

Применение

  • Создание коротких резюме длинных отчетов или статей, чтобы читатели быстро усваивали суть.
  • Сжатие больших коллекций документов для исследовательского обзора.
  • Генерация аннотаций или кратких изложений из длинного исходного текста.
  • Реферирование текстовых корпусов в гуманитарных, социальных, экономических и естественнонаучных исследованиях.

Как это работает

Как это работает

1

В качестве входных данных загружаются один или несколько исходных документов достаточной длины. Реферирование требует текста с достаточным содержанием для сжатия, поэтому очень короткие фрагменты мало что дают для сокращения; метод нацелен на более длинные документы, где сжатие действительно экономит время читателя.

2

Исходный текст очищается и сегментируется на анализируемые единицы, такие как предложения или токены. Поскольку исходный язык должен поддерживаться выбранным подходом, этот шаг также подтверждает, что язык документа является одним из тех, которые модель или экстрактивный метод могут обрабатывать.

3

Создается более короткое резюме. Экстрактивный подход оценивает и выбирает наиболее важные фрагменты из исходного текста, в то время как абстрактивный подход использует модель последовательность-в-последовательность для генерации нового, сжатого текста. Ключевая информация оригинала сохраняется, а длина уменьшается.

4

Резюме проверяется на соответствие источнику по охвату ключевой информации и по длине, а результаты проверяются перед использованием метода. Это защищает от резюме, которые упускают существенный контент или, в случае абстрактивного подхода, вводят формулировки, не основанные на источнике.

Частые ошибки

  • Запуск абстрактивной модели на слишком маленьком корпусе (менее ~100 документов) — в этом случае используйте извлечение ключевых слов для получения ключевой информации вместо этого.
  • Применение реферирования к языку, который модель или экстрактивный метод не поддерживает, ухудшает результат.
  • Попытка реферирования при отсутствии реальных текстовых данных; при структурированных данных соответствующей альтернативой являются описательные статистики.
  • Доверие резюме без проверки его соответствия источнику по упущенной ключевой информации или, в случае абстрактивного подхода, неподдерживаемым формулировкам.

Часто задаваемые вопросы

Экстрактивное или абстрактивное — какой мне следует использовать?

Экстрактивное реферирование выбирает и сшивает наиболее важные фрагменты непосредственно из источника, поэтому оно остается верным оригинальной формулировке. Абстрактивное реферирование использует модель последовательность-в-последовательность для генерации нового, сжатого текста, который может читаться более естественно, но требует обученной модели и достаточного количества данных. Экстрактивный подход является более безопасным выбором для небольших или чувствительных корпусов; абстрактивный подходит для больших коллекций, где важна естественная перефразировка.

Сколько документов мне нужно?

Реферирование нацелено на документы достаточной длины, с практическим минимумом около 20. Обучение или использование абстрактивной модели на менее чем примерно 100 документах ненадежно; в этом случае используйте извлечение ключевых слов для захвата ключевой информации вместо этого.

Работает ли это на языках, отличных от английского?

Да, при условии, что исходный язык поддерживается выбранным подходом. Применение модели или экстрактивного метода к неподдерживаемому языку является частой причиной плохих резюме.

Что делать, если у меня нет текстовых данных?

Реферирование не может выполняться без текста. Если ваши данные структурированы, а не являются свободным текстом, описательные статистики являются подходящей альтернативой для передачи их ключевой информации.

Похожие методы

Источники

  1. Nenkova, A. & McKeown, K. (2011). Automatic Summarization. Foundations and Trends in Information Retrieval.

    Открыть ссылку DOI
    Скопировано.
  2. Lewis, M. et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.

    Открыть ссылку DOI
    Скопировано.