Skip to content
Назад к результатам поиска

Сегментация текста — обнаружение границ тем

Автор метода
Marti A. Hearst (TextTiling)
Год
1997
Тип
NLP document-structure / topic-boundary detection

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Сегментация текста делит длинный документ на осмысленные разделы (сегменты) по границам тем или дискурса.

Впервые предложенная для подтемных отрывков Марти А. Херст в TextTiling (1997), она поддерживает анализ структуры документа и обнаружение переходов тем в непрерывном тексте.

Интуиция метода

Длинный текст редко посвящен одной теме от начала до конца — он переходит от подтемы к подтеме. Чтение его как единого недифференцированного блока скрывает эту структуру. Сегментация текста ищет места, где меняется лексика: где один фрагмент слов перестает быть похожим на предыдущий, и начинается новая тема. Оценивая, насколько связаны соседние фрагменты текста, она отмечает эти точки смены как границы и разбивает документ на связные отрывки.

История

Сегментация текста как обнаружение границ тем была установлена в TextTiling Херст (1997), который оценивал лексическую связность между соседними блоками для определения многоабзацных подтемных отрывков. Чой (2000) развил независимую от предметной области линейную сегментацию, улучшив способ измерения связности и размещения границ в непрерывном тексте.

Когда применять

Используйте сегментацию текста, когда у вас есть достаточно длинный фрагмент текста, и вы хотите выявить его внутреннюю структуру или определить, где меняются темы. Предполагается, что текст достаточно длинный для сегментации и что в нем существуют реальные переходы тем; требуется как минимум около десяти единиц текста. Он подходит для исследовательских и описательных работ над документами, стенограммами и другими непрерывными прозаическими текстами.

Ограничения и замечания

  • Требует, чтобы текст был достаточно длинным для сегментации; очень короткие входные данные дают слишком мало сигнала.
  • Предполагает, что переходы тем действительно существуют — применение к однородному тексту приводит к произвольным разрезам.
  • Границы, основанные на связности, могут пропустить постепенное смещение темы или чрезмерно разделить текст из-за стилистических вариаций.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Выявляет скрытую подтемную структуру одного длинного документа без каких-либо размеченных обучающих данных.
  • Независимость от предметной области: методы линейной сегментации работают в различных предметных областях, поскольку они полагаются на лексическую связность, а не на знание конкретных тем.
  • Создает упорядоченный, читаемый человеком список отрывков, который может быть непосредственно использован последующими методами суммирования или поиска.

Применение

  • Анализ внутренней структуры длинных документов и отчетов.
  • Определение переходов тем в непрерывном тексте, таком как статьи или стенограммы.
  • Подготовка отрывков на уровне сегментов для суммирования и извлечения информации.
  • Исследовательское и описательное изучение организации документов в гуманитарных и социальных науках.

Как это работает

Как это работает

1

Документ разбивается на мелкие упорядоченные единицы, которые метод сравнивает — токены, сгруппированные в соседние окна или возможные позиции разрыва. Эта последовательность позволяет последующим шагам рассуждать о том, что находится до и после каждой возможной границы.

2

Лексическая связность оценивается вдоль текста: соседние окна сравниваются, и на каждой возможной позиции вычисляется показатель сходства (или его обратное значение — сдвиг). Высокий сдвиг сигнализирует о том, что лексика по обе стороны различается — признак того, что тема может меняться.

3

Показатели сдвига сканируются на предмет их показательных спадов и пиков; позиции, где связность резко падает, выбираются как границы тем, в то время как плавные участки остаются в пределах одного сегмента.

4

Выбранные границы разрезают документ на упорядоченный список сегментов, каждый из которых представляет собой многопредложенческий отрывок, охватывающий одну подтему, готовый для последующего структурного анализа.

Частые ошибки

  • Применение сегментации к тексту, который слишком короток или тематически однороден, приводит к бессмысленным границам.
  • Рассмотрение позиций границ как истинных данных без их проверки; сигналы лексического сдвига могут быть обмануты повторяющейся лексикой в ​​действительно разных темах.
  • Смешение границ абзацев или форматирования с границами тем — метод обнаруживает сдвиги подтем, а не структуру.

Часто задаваемые вопросы

Чем сегментация текста отличается от разбиения на абзацы?

Разбиение на абзацы следует форматированию автора, в то время как сегментация текста определяет, где подтема фактически меняется на основе лексической связности. Одна тема может охватывать несколько абзацев, а один абзац может охватывать две темы, поэтому эти два понятия не обязательно совпадают.

Насколько длинным должен быть документ?

Он должен быть достаточно длинным, чтобы содержать реальные переходы тем — примерно не менее десяти единиц текста. На очень коротких входных данных слишком мало словесного сигнала, чтобы оценки связности могли отметить надежные границы.

Требуются ли размеченные обучающие данные?

Нет. Классическая линейная сегментация, такая как TextTiling, является неконтролируемой: она оценивает лексическую связность в пределах одного анализируемого документа и не требует размеченных границ для работы.

Будет ли это работать вне конкретной предметной области?

Да. Независимая от предметной области линейная сегментация полагается на сдвиги в использовании слов, а не на знание конкретных тем, поэтому она переносится между предметными областями, хотя результаты по-прежнему зависят от наличия в тексте реальных переходов тем.

Похожие методы

Источники

  1. Hearst, M.A. (1997). TextTiling: Segmenting Text into Multi-Paragraph Subtopic Passages. Computational Linguistics, 23(1), 33-64.

    Открыть ссылку на публикацию
    Скопировано.
  2. Choi, F.Y.Y. (2000). Advances in Domain Independent Linear Text Segmentation. NAACL.

    Открыть ссылку на публикацию
    Скопировано.