Skip to content
Назад к результатам поиска

Извлечение ключевых слов — Автоматическое определение ключевых терминов

Тип
NLP text-mining task

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Извлечение ключевых слов — это задача обработки естественного языка, которая автоматически определяет слова или фразы, наилучшим образом представляющие содержание документа.

Она преобразует массив свободного текста в компактный ранжированный список ключевых терминов, используя статистические, графовые методы, такие как TextRank (Mihalcea & Tarau, 2004), или методы на основе вложений (embeddings), такие как KeyBERT (Grootendorst, 2020).

Интуиция метода

Длинный документ несет свой смысл в горстке повторяющихся, отличительных терминов, но ручное чтение каждого текста для их поиска не масштабируется. Извлечение ключевых слов делает это автоматически: оно смотрит, как слова используются в тексте, и выделяет немногие, которые лучше всего отражают суть документа, ранжируя их так, чтобы наиболее репрезентативные термины оказались наверху.

История

Автоматическое извлечение ключевых слов развивалось с графовым ранжированием: Mihalcea и Tarau (2004) представили TextRank, применяя алгоритм в стиле PageRank к графу совместной встречаемости слов для выделения ключевых терминов. Позже область сместилась в сторону методов на основе вложений, примером которых является KeyBERT Grootendorst'а (2020), который оценивает кандидатные фразы по их семантической близости к документу.

Когда применять

Извлечение ключевых слов подходит, когда у вас есть текстовые данные, и вы хотите обобщить или индексировать их содержание с помощью репрезентативных терминов для описания или исследования. Текст должен быть предварительно обработан перед извлечением. Статистическое извлечение надежно только на значительном корпусе; на малом корпусе (менее примерно 100 документов) более безопасным выбором является простой частотный анализ, а при полном отсутствии текстовых данных задача не может быть выполнена — альтернативой является качественный контент-анализ.

Ограничения и замечания

  • Статистическое извлечение ненадежно на малом корпусе; ниже примерно 100 документов оно не является надежным.
  • Требует предварительно обработанного текста; пропуск очистки ухудшает качество кандидатных терминов.
  • Не может быть выполнено при отсутствии текстовых данных для работы.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Преобразует длинные документы в компактный, ранжированный список репрезентативных терминов автоматически.
  • Гибкость в подходах: статистическая частота, графовый TextRank или KeyBERT на основе вложений в рамках одного конвейера.
  • Низкий порог входа, поддержка как быстрого описания, так и более глубокого исследования корпуса.

Применение

  • Индексирование и тегирование документов с помощью репрезентативных ключевых терминов для поиска и извлечения информации.
  • Краткое обобщение содержания длинных текстов.
  • Исследование больших корпусов для выявления общих повторяющихся тем документов.
  • Поддержка последующих задач, таких как исследование тем и организация контента.

Как это работает

Как это работает

1

Исходный текст сначала очищается и стандартизируется — приводится к нижнему регистру, удаляется шум, и документ сегментируется на анализируемые единицы. Этот этап предварительной обработки необходим, а предметно-ориентированный словарь, при его наличии, повышает качество последующих шагов.

2

Из очищенного текста метод собирает пул кандидатных терминов — отдельные слова и короткие фразы (n-граммы), которые могли бы правдоподобно служить ключевыми словами. Этот набор кандидатов будет ранжирован на этапе оценки.

3

Каждый кандидат оценивается по тому, насколько хорошо он представляет документ. Статистический подход взвешивает частоту терминов, графовый подход, такой как TextRank, ранжирует термины по их связям в графе совместной встречаемости, а подход на основе вложений, такой как KeyBERT, оценивает кандидатов по их семантической близости к документу.

4

Кандидаты упорядочиваются по их оценкам, и лучшие термины возвращаются в качестве ключевых слов или ключевых фраз документа. Количество возвращаемых терминов (например, топ-десять) выбирается так, чтобы обеспечить краткое, но репрезентативное резюме содержания.

Частые ошибки

  • Запуск статистического извлечения на слишком малом корпусе (менее ~100 документов) дает ненадежные ключевые слова — вместо этого следует использовать простой частотный анализ.
  • Попытка извлечения при полном отсутствии текстовых данных; в этом случае используйте качественный контент-анализ.
  • Пропуск предварительной обработки, что позволяет шуму и несогласованным токенам исказить пул кандидатов.
  • Игнорирование доступного предметно-ориентированного словаря, который в противном случае повысил бы качество извлечения.

Часто задаваемые вопросы

Статистический подход, TextRank или KeyBERT — какой подход мне использовать?

Статистический подход взвешивает частоту терминов и является самым простым. TextRank строит граф совместной встречаемости и ранжирует термины по их связям, улавливая структуру за пределами сырых подсчетов. KeyBERT использует контекстуальные вложения для оценки кандидатов по семантической близости к документу, что, как правило, позволяет выявить более значимые фразы при более высоких вычислительных затратах.

Сколько текста мне нужно?

Статистическое извлечение ключевых слов надежно только на значительном корпусе. На малом корпусе — примерно менее 100 документов — более безопасным выбором является простой частотный анализ. При полном отсутствии текстовых данных задача не может быть выполнена.

Нужна ли мне предварительная обработка текста?

Да. Предполагается предварительная обработка: текст должен быть очищен и стандартизирован перед извлечением, иначе шумные токены исказят кандидатные термины. Предметно-ориентированный словарь, при его наличии, дополнительно улучшает качество.

Возвращает ли он отдельные слова или фразы?

Любые. Пул кандидатов может включать отдельные слова и короткие фразы (n-граммы), поэтому вывод представляет собой ранжированный список ключевых слов или ключевых фраз в зависимости от конфигурации.

Похожие методы

Источники

  1. Mihalcea, R. & Tarau, P. (2004). TextRank: Bringing Order into Texts. EMNLP, 404-411.

    Открыть ссылку на публикацию
    Скопировано.
  2. Grootendorst, M. (2020). KeyBERT. Zenodo.

    Открыть ссылку на публикацию
    Скопировано.