Skip to content
Назад к результатам поиска

Извлечение отношений — Семантические отношения между сущностями

Тип
NLP information-extraction task

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Извлечение отношений — это задача обработки естественного языка, которая обнаруживает и классифицирует семантические отношения, существующие между сущностями, упомянутыми в тексте.

Опираясь на ранние методы на основе ядер (Zelenko et al., 2003) и более поздние подходы нейронного сопоставления (Baldini Soares et al., 2019), она преобразует свободный текст в структурированные факты вида сущность–отношение–сущность.

Интуиция метода

Предложение может упоминать два объекта — человека и компанию, лекарство и заболевание — и неявно указывать, как они связаны. Извлечение отношений заключается в том, чтобы прочитать эту связь из текста и пометить ее. Вместо того чтобы просто определять, какие сущности присутствуют, метод задается вопросом, какое отношение связывает данную пару сущностей, и присваивает каждой паре тип отношения из определенного набора.

История

Извлечение отношений имеет корни в методах машинного обучения на основе ядер, примером которых является работа Zelenko et al. (2003), применивших методы ядер для извлечения отношений из текста. Позже задача сместилась в сторону нейронных представлений, когда Baldini Soares et al. (2019) представили подход 'Matching the Blanks', который изучает представления отношений на основе распределительной схожести, отражая более широкое движение к предварительно обученным моделям.

Когда применять

Извлечение отношений подходит, когда у вас есть текстовые данные и вам нужны семантические связи между сущностями, а не только сами сущности. Оно предполагает наличие размеченного набора данных отношений, требует вывода NER в качестве предварительного условия и нуждается в предварительной обработке текста. Поскольку это задача с учителем, требующая минимум около 100 документов, она лучше всего подходит для корпусов, достаточно больших для обеспечения надежной классификации отношений.

Ограничения и замечания

  • Требует размеченный набор данных отношений, создание которого является дорогостоящим.
  • Зависит от распознавания именованных сущностей в качестве предварительного условия, поэтому ошибки NER распространяются на извлеченные отношения.
  • Требуется достаточно большой корпус — примерно 100 документов или более — для надежной классификации отношений.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Преобразует неструктурированный текст в структурированные факты вида сущность–отношение–сущность, которые могут использоваться для баз знаний и последующего анализа.
  • Классифицирует семантическую связь между сущностями, выходя за рамки простого обнаружения их существования.
  • Поддерживает как объяснительный, так и реляционный анализ текстовых корпусов.

Применение

  • Заполнение баз знаний структурированными фактами вида сущность–отношение–сущность, извлеченными из текста.
  • Извлечение связей, таких как человек–организация или лекарство–заболевание, из документов.
  • Поддержка конвейеров извлечения информации, которым требуются типизированные отношения, а не необработанные упоминания сущностей.
  • Обеспечение реляционного и объяснительного анализа больших текстовых корпусов.

Как это работает

Как это работает

1

Исходный текст очищается и подготавливается таким образом, чтобы последующие компоненты получали согласованный ввод. Предварительная обработка текста является заявленным предположением метода: без нее обнаружение сущностей и классификация отношений работают с зашумленными, несогласованными единицами.

2

Распознавание именованных сущностей (NER) выполняется первым для обнаружения сущностей в тексте — его вывод является предварительным условием для извлечения отношений. Затем формируются пары кандидатов сущностей из распознанных сущностей, чтобы каждую пару можно было проверить на возможное отношение.

3

Каждая пара кандидатов сущностей классифицируется по типу семантического отношения с использованием модели, обученной на размеченном наборе данных отношений. Результатом является набор типизированных отношений, связывающих пары сущностей, превращающий текст в структурированные факты вида сущность–отношение–сущность.

4

Предсказанные отношения сравниваются с размеченными данными отношений для проверки качества перед тем, как извлеченные отношения будут считаться достоверными и использоваться далее.

Частые ошибки

  • Пропуск предварительной обработки текста приводит к зашумленным, несогласованным единицам, которые ухудшают как обнаружение сущностей, так и классификацию отношений.
  • Рассмотрение NER как необязательного: извлечение отношений зависит от обнаружения сущностей, поэтому слабый вывод NER подрывает весь конвейер.
  • Работа с недостаточным количеством документов (менее ~100) приводит к ненадежной классификации отношений.
  • Предположение о существовании отношения для каждой пары сущностей; многие пары не имеют определенного отношения и должны быть классифицированы как таковые.

Часто задаваемые вопросы

Чем извлечение отношений отличается от распознавания именованных сущностей?

NER находит сущности в тексте — людей, организации, места и т. д. Извлечение отношений идет дальше и классифицирует, как связана пара сущностей. Вывод NER фактически является предварительным условием: извлечение отношений работает с сущностями, которые NER уже обнаружил.

Нужны ли мне размеченные данные?

Да. Извлечение отношений здесь — это задача с учителем, которая предполагает наличие размеченного набора данных отношений, используемого для обучения и оценки классификатора отношений.

Сколько текста мне нужно?

Рекомендуется минимум около 100 документов. При меньшем количестве документов классификация отношений становится ненадежной.

Как выглядит вывод?

Вывод представляет собой набор типизированных семантических отношений между парами сущностей — структурированные факты вида сущность–отношение–сущность, извлеченные из текста и проверенные по размеченным данным отношений во время оценки.

Похожие методы

Источники

  1. Zelenko, D., Aone, C. & Richardella, A. (2003). Kernel Methods for Relation Extraction. Journal of Machine Learning Research, 3, 1083-1106.

    Открыть ссылку на публикацию
    Скопировано.
  2. Soares, L. B., FitzGerald, N., Ling, J. & Kwiatkowski, T. (2019). Matching the Blanks: Distributional Similarity for Relation Learning. Proceedings of ACL 2019.

    Открыть ссылку DOI
    Скопировано.