Skip to content
Назад к результатам поиска

Семантическое сходство — измерение смысла между текстами

Автор метода
Nils Reimers & Iryna Gurevych (Sentence-BERT)
Год
2019
Тип
NLP text-comparison task

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Анализ семантического сходства измеряет, насколько близки по смыслу два текста, а не сколько слов они имеют на поверхности.

Основываясь на работе Sentence-BERT Реймерса и Гуревича (2019), он представляет каждый текст как вектор и сравнивает эти векторы так, чтобы перефразы получали высокий балл, даже когда их формулировка отличается.

Интуиция метода

Два предложения могут использовать совершенно разные слова, но говорить одно и то же, в то время как два других могут содержать одинаковые слова, но иметь разный смысл. Подсчет совпадающих слов упускает это. Идея состоит в том, чтобы поместить каждый текст в точку в пространстве смыслов — используя модель встраивания (embedding model) — так, чтобы тексты со схожим смыслом оказались близко друг к другу. Расстояние между этими точками затем становится показателем сходства: высоким для перефразов, низким для несвязанных отрывков.

История

Семантическое сходство выросло из общих задач семантического текстового сходства, представленных на *SEM и SemEval (Agirre et al., 2013), которые сформулировали проблему оценки того, насколько похожи два предложения по смыслу. Область резко продвинулась с появлением Sentence-BERT (Reimers & Gurevych, 2019), который производил встраивания предложений, которые можно напрямую сравнивать с помощью косинусного сходства, делая крупномасштабное семантическое сравнение практичным.

Когда применять

Используйте семантическое сходство, когда у вас есть пары текстов и вы хотите знать, насколько они близки по смыслу, а не сколько слов они разделяют — для обнаружения плагиата и дубликатов, сопоставления абзацев или извлечения информации. Это требует модель встраивания, поддерживающую язык текстов, и хотя бы небольшой набор пар текстов для сравнения; без текстовых данных это не может работать.

Ограничения и замечания

  • Требует пар текстов для сравнения; не применяется, когда нет текстовых данных.
  • Качество полностью зависит от модели встраивания, соответствующей языку текстов.
  • Оценка сходства отражает представление модели о смысле, которое может не совпадать с предметно-ориентированным или юридическим определением «одинаковости».

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Улавливает смысл, а не поверхностное совпадение слов, поэтому перефразы с разной формулировкой по-прежнему оцениваются как схожие.
  • Работает на разных языках при использовании многоязычной модели встраивания.
  • Производит единую, сопоставимую оценку для каждой пары, которую легко использовать для определения порога для таких задач, как обнаружение дубликатов или извлечение информации.

Применение

  • Обнаружение плагиата и копий путем сравнения представленного текста с эталонными источниками.
  • Сопоставление абзацев и отрывков в документах.
  • Извлечение информации — ранжирование документов по близости смысла к запросу.
  • Дедупликация почти идентичного контента в больших текстовых коллекциях.

Как это работает

Как это работает

1

Вы начинаете с пар текстов, которые хотите сравнить — например, представленный абзац с эталонным отрывком или запрос с кандидатскими документами. Для осмысленности сравнения необходим хотя бы скромный набор пар, и два члена каждой пары должны быть доступны вместе.

2

Каждый текст пропускается через модель встраивания, которая превращает его в числовой вектор, отражающий его смысл. Модель встраивания должна поддерживать язык ваших текстов; многоязычная модель встраивания предложений используется, когда корпус не является английским. Это шаг, который позволяет перефразам с разными словами по-прежнему отображаться в близкие векторы.

3

Векторы двух текстов сравниваются, чаще всего с помощью косинусного сходства, что дает одно число, обобщающее, насколько близки тексты по смыслу. Более высокие значения указывают на более близкий смысл; оценка ограничена и сопоставима между парами.

4

Оценки сходства интерпретируются в контексте — отмечая вероятные копии, ранжируя совпадающие абзацы или извлекая наиболее релевантные отрывки. Обычно выбирается порог для текущей задачи, и пограничные пары проверяются перед принятием каких-либо решений.

Частые ошибки

  • Применение модели встраивания, не поддерживающей язык корпуса, дает ненадежные оценки; сопоставляйте модель с языком.
  • Рассматривайте оценку сходства как окончательный вердикт — выберите подходящий для задачи порог и проверяйте пограничные пары, а не полагайтесь только на число.
  • Сравнение слишком малого количества пар дает мало оснований для выбора разумного порога.

Часто задаваемые вопросы

Чем это отличается от сравнения общих слов?

Меры совпадения слов подсчитывают только совпадающие токены, поэтому они упускают перефразы, которые имеют одинаковый смысл с разными словами. Семантическое сходство встраивает каждый текст в пространство смыслов и сравнивает векторы, поэтому близость смысла улавливается, даже когда формулировка отличается.

Работает ли это на языках, отличных от английского?

Да, при условии, что модель встраивания поддерживает целевой язык. Многоязычная модель встраивания предложений используется, когда корпус не является английским; применение модели, не охватывающей язык, дает ненадежные оценки.

Как превратить оценку сходства в решение?

Выберите порог, подходящий для задачи — например, высокий отсекающий уровень для маркировки вероятных копий — и проверяйте пограничные пары перед действием. Сырая оценка сопоставима между парами, но сама по себе не является вердиктом.

Как вычисляется оценка сходства?

Каждый текст кодируется в вектор моделью встраивания, и два вектора сравниваются, чаще всего с помощью косинусного сходства, давая одно ограниченное число, где более высокие значения означают более близкий смысл.

Похожие методы

Источники

  1. Reimers, N. & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP.

    Открыть ссылку на публикацию
    Скопировано.
  2. Agirre, E. et al. (2013). *SEM 2013 shared task: Semantic Textual Similarity. ACL (*SEM).

    Открыть ссылку на публикацию
    Скопировано.