Извлечение информации — преобразование текста в структурированные записи
- Тип
- NLP structured-information task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Извлечение информации (IE) — это задача обработки естественного языка, которая преобразует неструктурированный текст в структурированную информацию, такую как события, отношения и атрибуты, чтобы факты, скрытые в свободных документах, стали машиночитаемыми записями.
Задача была консолидирована в ранних обзорах Cowie и Lehnert (1996), а затем Grishman (2012).
Интуиция метода
Документ рассказывает историю свободным языком, но базе данных нужны аккуратные строки и поля. Извлечение информации читает текст так, как аналитик выделил бы кто, что и когда, а затем записывает эти выделения в фиксированную схему. Вместо того чтобы оставлять факты, запертые в прозе, метод извлекает сущности и отношения между ними и представляет их в виде структурированных записей, которые можно запрашивать.
История
Извлечение информации было сформулировано как отдельная задача NLP в обзорах Cowie и Lehnert (1996), которые консолидировали цель извлечения структурированных фактов из свободного текста, и позже было пересмотрено Grishman (2012) в Handbook of Natural Language Processing. Задача выросла от шаблонов, созданных вручную, к статистическим и обучаемым моделям для поиска сущностей, отношений и событий.
Когда применять
Извлечение информации подходит, когда у вас есть текстовые данные, и вам нужно преобразовать их в структурированные записи событий, отношений или атрибутов, и когда вы можете определить предметно-ориентированную онтологию, описывающую, что извлекать. Значительный объем текста помогает — метод ожидает порядка как минимум пятидесяти документов. Без текстовых данных или без согласованной схемы того, что считается фактом, IE не может работать.
Ограничения и замечания
- Требует четко определенной предметно-ориентированной онтологии перед началом извлечения.
- Требуется достаточный объем текстовых данных; очень маленькие корпуса дают слишком мало сигналов.
- Качество извлечения сильно зависит от того, насколько хорошо схема и шаблоны соответствуют языку корпуса.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Преобразует неструктурированный текст в структурированные, запрашиваемые записи событий, отношений и атрибутов.
- Ориентированность на схему: онтология позволяет перенацеливать один и тот же конвейер на разные предметные области.
- Объединяет сопоставление шаблонов на основе правил и обученные модели, поэтому адаптируется к имеющимся данным и ресурсам.
Применение
- Создание структурированных баз знаний из больших коллекций документов.
- Извлечение событий и их участников из новостных или отчетных архивов.
- Захват отношений и атрибутов из предметного текста в областях здравоохранения, социальных наук, экономики и бизнеса.
- Заполнение баз данных фактами, извлеченными из неструктурированных документов.
Как это работает
Как это работает
Сначала определяется предметно-ориентированная онтология или схема: типы сущностей, отношения, события и атрибуты, которые система должна искать. Поскольку IE извлекает только то, что описывает схема, этот шаг определяет, что считается фактом, заслуживающим фиксации в данной предметной области.
Исходный текст очищается и сегментируется на анализируемые единицы — предложения и токены — так, чтобы шаблоны и модели извлечения работали на согласованном вводе. Без этой нормализации последующее сопоставление становится ненадежным.
Сущности, отношения, события и атрибуты находятся в тексте. Это делается с помощью правил сопоставления шаблонов на основе лингвистической структуры, с помощью обученных моделей или с помощью их комбинации, причем каждый способ обнаруживает элементы, определенные в онтологии.
Извлеченные элементы собираются в структурированные записи, соответствующие схеме — заполнение слотов события, связывание участников отношения или присоединение атрибутов к сущности. Результатом является машиночитаемая структурированная информация, полученная из исходного неструктурированного текста.
Частые ошибки
- Пропуск проектирования онтологии — без определенной схемы у системы нет цели, и она извлекает несогласованные или бессмысленные записи.
- Применение шаблонов или моделей, созданных для одной предметной области, к другой снижает точность извлечения.
- Пренебрежение предварительной обработкой оставляет шумные токены и нарушенные границы предложений, которые сбивают с толку последующее сопоставление.
- Работа с недостаточным объемом текста (значительно меньше пятидесяти документов) дает слишком мало примеров для надежной работы шаблонов или моделей.
Часто задаваемые вопросы
Чем извлечение информации отличается от распознавания именованных сущностей?
Распознавание именованных сущностей только находит и маркирует сущности, такие как люди, места и организации. Извлечение информации шире: оно также идентифицирует отношения между этими сущностями, события, в которых они участвуют, и их атрибуты, а также собирает все это в структурированные записи, соответствующие схеме.
Зачем мне нужна онтология перед запуском?
Онтология, или схема, точно определяет, что считается фактом в вашей предметной области — какие типы сущностей, отношения, события и атрибуты искать. Извлечение информации захватывает только то, что описывает схема, поэтому без нее у системы нет цели, и она производит несогласованный вывод.
Нужны ли мне размеченные обучающие данные?
Это зависит от подхода. Извлечение на основе шаблонов или правил работает на основе лингвистической структуры и может работать без размеченных примеров, в то время как обученные модели учатся на аннотированных данных. Многие системы объединяют оба подхода, поэтому необходимые вам данные зависят от выбранного метода.
Сколько текста мне нужно?
Извлечение информации ожидает значительный объем текста — порядка как минимум пятидесяти документов. При гораздо меньшем количестве шаблоны и модели имеют слишком мало примеров для надежного извлечения.
Похожие методы
Источники
Cowie, J. & Lehnert, W. (1996). Information Extraction. Communications of the ACM.
Открыть ссылку DOIСкопировано.Grishman, R. (2012). Information Extraction. In Handbook of Natural Language Processing.
ISBN: 9781420085921Скопировано.