Skip to content
Назад к результатам поиска

Дизамбигуация (разрешение неоднозначности) значения слова (Word Sense Disambiguation, WSD)

Автор метода
Navigli (survey, 2009)
Год
2009
Тип
NLP semantic-disambiguation task

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Дизамбигуация значения слова (WSD) — это задача обработки естественного языка, заключающаяся в выборе правильного значения многозначного слова из его контекста.

Исследование, проведенное Navigli (2009), посвящено разрешению того, какое значение многозначного слова применяется в данном предложении, улучшая качество информационного поиска, машинного перевода и ответа на вопросы.

Интуиция метода

Многие повседневные слова несут более одного значения — «банк» может означать берег реки или финансовое учреждение, и только окружающие слова подсказывают нам, какое именно. Читатель разрешает это автоматически, но машина видит одну и ту же последовательность символов в любом случае. WSD делает этот выбор явным: она рассматривает слова вокруг неоднозначного термина, сравнивает их со словарными определениями каждого возможного значения и выбирает значение, смысл которого наилучшим образом соответствует контексту.

История

Дизамбигуация значения слова — давняя проблема в вычислительной лингвистике. Navigli (2009) консолидировал область в всеобъемлющем обзоре, в то время как Mihalcea (2006) изложил методы, основанные на знаниях, которые опираются на лексические ресурсы, такие как WordNet, а не на размеченные данные для обучения.

Когда применять

WSD применяется, когда у вас есть текст, содержащий слова с несколькими значениями, и лексическая база знаний — WordNet или онтология целевого языка — которая перечисляет их значения вместе с определенным контекстным окном. Он подходит для объяснительной и классификационной работы с текстовыми данными, и для начала достаточно скромного корпуса (около 20 единиц). Без доступного инвентаря значений для языка методы WSD, основанные на знаниях, не могут работать.

Ограничения и замечания

  • Требует наличия WordNet или онтологии целевого языка; языки без инвентаря значений не могут быть таким образом разрешены.
  • Точность зависит от того, насколько хорошо определенное контекстное окно захватывает разрешающие свидетельства.
  • Тонкие различия в значениях в ресурсе могут быть трудноразличимы даже при богатом контексте.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Разрешает полисемию, чтобы последующие задачи считывали предполагаемое значение, а не поверхностную строку.
  • Улучшает качество информационного поиска, машинного перевода и ответа на вопросы.
  • Методы, основанные на знаниях, работают непосредственно из лексического ресурса без необходимости в больших размеченных наборах для обучения.

Применение

  • Повышение релевантности информационного поиска путем сопоставления предполагаемого значения поискового термина.
  • Повышение качества машинного перевода путем выбора правильного значения перед переводом.
  • Поддержка систем ответа на вопросы, которые должны правильно интерпретировать неоднозначные термины.
  • Семантический анализ корпусов в гуманитарных, социальных науках и других областях, интенсивно использующих текст.

Как это работает

Как это работает

1

Текст сканируется на наличие многозначных слов — терминов, которые имеют более одного возможного значения в базе знаний. Каждое такое слово становится целью для дизамбигуации, поскольку однозначные слова не требуют дальнейшего анализа.

2

Вокруг каждого целевого слова определяется контекстное окно — соседние слова и фразы, которые сигнализируют о предполагаемом значении. Размер и форма этого окна являются определенным параметром метода, поскольку окружающие свидетельства определяют решение.

3

Возможные значения для целевого слова извлекаются из лексической базы знаний, такой как WordNet или онтология целевого языка. Каждое возможное значение сопровождается глоссой или определением, описывающим это конкретное значение.

4

Выбирается значение, определение которого наилучшим образом совпадает с контекстом. Методы, основанные на знаниях, такие как алгоритм Леска, сравнивают слова в контекстном окне с глоссой каждого значения и выбирают наилучшее совпадение, присваивая слову в контексте единственную метку значения.

Частые ошибки

  • Применение ресурса, созданного для одного языка, к тексту на другом — инвентарь значений должен соответствовать языку корпуса.
  • Использование контекстного окна, которое слишком узкое, чтобы нести разрешающий сигнал, или настолько широкое, что оно включает неуместные слова.
  • Предположение, что каждое слово неоднозначно; ограничьте дизамбигуацию действительно многозначными целями, чтобы избежать напрасных усилий и шума.

Часто задаваемые вопросы

Какой лексический ресурс нужен для WSD?

WSD, основанная на знаниях, опирается на лексический ресурс, который перечисляет значения слов — WordNet для английского языка или эквивалентную онтологию для целевого языка. Ресурс поставляет возможные значения и их глоссы, которые метод сравнивает с контекстом.

Как важно контекстное окно?

Контекстное окно — это набор соседних слов, используемых для определения того, какое значение применимо. Это определенный параметр: слишком узкое — и оно упускает разрешающий сигнал, слишком широкое — и оно включает неуместные слова. Выбор подходящего окна является центральным для метода.

Что такое алгоритм Леска?

Леск — это классический подход, основанный на знаниях, который сравнивает слова в контекстном окне со словарной глоссой каждого возможного значения и выбирает значение с наибольшим совпадением. Он работает непосредственно из лексического ресурса без размеченных данных для обучения.

Работает ли WSD для языков, отличных от английского?

Да, при условии наличия инвентаря значений или онтологии для этого языка. Применение английского ресурса, такого как WordNet, к тексту на другом языке не даст правильных значений; ресурс должен соответствовать языку корпуса.

Похожие методы

Источники

  1. Navigli, R. (2009). Word Sense Disambiguation: A Survey. ACM Computing Surveys (CSUR), 41(2), Article 10, 1-69.

    Открыть ссылку DOI
    Скопировано.
  2. Mihalcea, R. (2006). Knowledge-Based Methods for Word Sense Disambiguation. Computational Linguistics.

    Открыть ссылку на публикацию
    Скопировано.