Распознавание именованных сущностей (NER)
- Тип
- NLP sequence-labelling task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Распознавание именованных сущностей (NER) — это задача обработки естественного языка, которая автоматически обнаруживает и маркирует сущности в тексте, такие как люди, организации, места и даты.
Обзор, выполненный Надеу и Секиным (2007), и последующее развитие с использованием нейронных архитектур Ламплом и др. (2016) превращают свободный текст в маркированные фрагменты, которые могут использоваться последующими инструментами.
Интуиция метода
Документ упоминает имена, места и даты в обычной прозе, но машина видит только поток слов. Цель NER — найти фрагменты, относящиеся к реальным сущностям, и присвоить каждому правильный тип. Вместо того чтобы человек вручную выделял имена, метод сканирует текст, определяет, какие слова составляют сущность, и маркирует ее как человека, организацию, место, дату и т. д.
История
Распознавание именованных сущностей было консолидировано как задача в обзоре Надеу и Секина (2007), который рассмотрел основанные на правилах и признаках методы в этой области. Работа Лампл и др. (2016) на NAACL затем представила нейронные архитектуры для NER, направив область к моделям последовательного маркирования, которые изучают контекстные представления, а не полагаются на вручную созданные признаки.
Когда применять
NER подходит, когда у вас есть текстовые данные и языковая модель, поддерживающая язык этого текста, с предварительной обработкой. Требуется разумное количество текста; при очень маленьком корпусе модель работает плохо, и более безопасным выбором является простое извлечение ключевых слов на основе правил.
Ограничения и замечания
- На небольшом корпусе производительность модели падает, и простое извлечение ключевых слов на основе правил становится лучшим вариантом.
- Производительность зависит от языковой модели, поддерживающей целевой язык текста.
- Требует предварительной обработки; без чистой токенизации границы сущностей обнаруживаются ненадежно.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Преобразует неструктурированный текст в структурированные, типизированные фрагменты сущностей, которые могут быть использованы последующими задачами.
- Охватывает несколько подходов: сопоставление на основе правил для небольших задач, нейронное последовательное маркирование для больших.
- Идентифицирует несколько классов сущностей — людей, организации, места, даты — за один проход по тексту.
Применение
- Извлечение людей, организаций и мест из новостей и отчетов для индексации.
- Идентификация именованных сущностей в клинических или биомедицинских текстах для структурированных записей.
- Извлечение упоминаний компаний, мест и дат из больших коллекций документов.
- Подача маркированных сущностей в последующие конвейеры извлечения информации и отношений.
Как это работает
Как это работает
Исходный текст очищается и сегментируется на анализируемые единицы — предложения разбиваются, а слова токенизируются — так, чтобы границы сущностей можно было последовательно обнаруживать. Выбранная языковая модель должна поддерживать целевой язык, чтобы это работало.
Каждый токен преобразуется в признаки, которые модель может прочитать. В зависимости от подхода это означает вручную написанные правила и справочники, классические векторы признаков или контекстные вложения из нейронной модели — каждый из которых дает теггеру сигнал, необходимый для распознавания сущности.
Модель присваивает метку типа сущности каждому фрагменту токенов. Подход, основанный на правилах, сопоставляет шаблоны и словари, подход машинного обучения использует обученный последовательный маркировщик, а нейронный подход применяет архитектуру, которая улавливает контекст. Результатом является набор текстовых фрагментов, маркированных типами, такими как человек, организация, место и дата.
Маркированные фрагменты оцениваются по размеченным данным с использованием точности (precision), полноты (recall) и F1-меры, а некорректные или пропущенные сущности проверяются перед тем, как полагаться на модель. Это предохраняет от доверия к теггеру, который незаметно пропускает целый класс сущностей.
Частые ошибки
- Запуск NER на небольшом корпусе (менее ~100 документов), где модель работает плохо — вместо этого следует вернуться к извлечению ключевых слов на основе правил.
- Применение модели, которая не поддерживает язык корпуса, что ухудшает распознавание.
- Пропуск предварительной обработки, чтобы шумный или плохо токенизированный текст нарушал границы сущностей.
- Оценка теггера только по точности, когда упускается целый класс сущностей; сообщать о точности, полноте и F1-мере и проверять пропущенные сущности.
Часто задаваемые вопросы
На основе правил, машинное обучение или нейронные — какой подход мне использовать?
Подход, основанный на правилах, сопоставляет шаблоны и словари и работает на небольших задачах без размеченных данных. Последовательный маркировщик машинного обучения учится на размеченных примерах и адаптируется к вашей предметной области. Нейронный подход использует контекстные архитектуры и, как правило, лучше всего работает на больших корпусах при более высоких вычислительных затратах.
Что произойдет, если мой корпус очень мал?
На небольшом корпусе (примерно менее 100 документов) производительность модели NER падает. В этом случае более простой подход извлечения ключевых слов на основе правил предпочтительнее полной модели распознавания сущностей.
Работает ли NER на языках, отличных от английского?
Да, но выбранная языковая модель должна поддерживать целевой язык текста. Модель, которая не охватывает язык корпуса, является частой причиной плохого распознавания.
Как оценивается NER?
Маркированные фрагменты сравниваются с размеченными данными с использованием точности, полноты и F1-меры. Проверка пропущенных и некорректных сущностей имеет значение, поскольку теггер может незаметно не обнаружить целый класс сущностей, при этом выглядя точным в целом.
Похожие методы
Источники
Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.
Открыть ссылку на публикациюСкопировано.Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.
Открыть ссылку DOIСкопировано.