Зависимостный парсинг — анализ синтаксических зависимостей
- Тип
- NLP syntactic-analysis task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Зависимостный парсинг — это задача обработки естественного языка, которая выявляет синтаксические отношения зависимости между словами предложения в виде древовидной структуры.
Рассмотренный в традиции грамматики зависимостей Нивром (2005) и сделанный быстрым и точным с помощью нейронных сетей Чен и Мэннингом (2014), он обычно используется как предварительный этап для извлечения информации и обнаружения отношений.
Интуиция метода
Предложение — это не просто набор слов: каждое слово грамматически связано с другим. Зависимостный парсинг делает эту скрытую грамматику явной, связывая каждое слово с головой, от которой оно зависит, и маркируя отношение — субъект, объект, модификатор и так далее. Результатом является дерево, которое показывает, кто что делает с кем, так что последующие задачи могут читать структуру вместо того, чтобы угадывать по порядку слов.
История
Зависимостный парсинг вырастает из традиции грамматики зависимостей, консолидированной в обзоре Нивра (2005) по грамматике зависимостей и зависимостному парсингу. Важным шагом к практическому применению стал Чен и Мэннинг (2014), чей парсер на основе нейронных сетей сделал анализ зависимостей как быстрым, так и точным.
Когда применять
Зависимостный парсинг подходит, когда у вас есть текстовые данные и языковая модель, доступная для языка этого текста. Он поддерживает объяснительные и описательные цели для текстовых переменных и работает с кросс-секционными или продольными текстами. Предварительная обработка текста должна быть выполнена в первую очередь, и ожидается выборка как минимум из примерно 20 документов. Если языковая модель для целевого языка отсутствует, парсинг не подходит.
Ограничения и замечания
- Требует языковую модель для целевого языка; без нее он не может работать надежно.
- Зависит от предварительной обработки текста — плохая токенизация приводит к неправильным привязкам.
- Качество парсинга ухудшается на зашумленном, неформальном или внедоменном тексте.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Делает грамматическую структуру предложения явной в виде помеченного дерева.
- Служит предварительным этапом, который обеспечивает извлечение информации и обнаружение отношений.
- Нейронные парсеры, следуя Чену и Мэннингу (2014), делают анализ как быстрым, так и точным.
Применение
- Извлечение информации — отслеживание грамматических путей для извлечения фактов из текста.
- Обнаружение отношений между сущностями в предложении.
- Подача синтаксической структуры в последующие задачи, такие как разрешение кореференции и разметка семантических ролей.
- Лингвистический и корпусный анализ синтаксических паттернов в текстах.
Как это работает
Как это работает
Исходный текст очищается и сегментируется на предложения и токены. Поскольку парсинг работает с грамматическими единицами, последовательная токенизация позволяет парсеру прикрепить каждое слово к правильной голове.
Загружается языковая модель для целевого языка. Парсер зависит от этой модели, поэтому модель должна соответствовать языку текста; без доступной модели для этого языка парсинг не может надежно продолжаться.
Каждое предложение парсится в дерево зависимостей: каждый токен связан со своей синтаксической головой, и связь получает метку отношения (например, субъект или объект). Результатом является дерево для каждого предложения, отражающее структуру зависимостей от слова к слову.
Отношения зависимостей считываются для последующей цели — например, отслеживание путей субъект-глагол-объект для извлечения фактов или обнаружения отношений между сущностями. Именно здесь парсинг окупается как предварительный этап для извлечения информации.
Частые ошибки
- Применение парсера, языковая модель которого не соответствует языку корпуса, приводит к бессмысленным деревьям.
- Пропуск или некачественная предварительная обработка — неправильные границы предложений или токенов приводят к тому, что парсер прикрепляет слова к неправильным головам.
- Рассмотрение вывода парсера как истинной метки без проверки ошибок привязки на сложных или доменно-специфичных предложениях.
Часто задаваемые вопросы
Что на самом деле производит зависимостный парсер?
Он производит дерево зависимостей для каждого предложения: каждое слово связано со словом-головой, от которого оно грамматически зависит, и каждая связь несет метку отношения, такую как субъект, объект или модификатор. Это раскрывает синтаксическую структуру предложения для последующего использования.
Нужна ли мне модель для моего конкретного языка?
Да. Зависимостный парсинг полагается на языковую модель для целевого языка. Если для этого языка нет модели, парсер не может производить надежные деревья, поэтому подтвердите доступность модели перед парсингом.
Почему требуется предварительная обработка?
Парсинг работает с предложениями и токенами, поэтому текст должен быть правильно сегментирован заранее. Неправильные границы предложений или токенов приводят к тому, что парсер прикрепляет слова к неправильным головам, искажая результирующее дерево.
Для чего обычно используется зависимостный парсинг?
Чаще всего это предварительный этап: отношения зависимостей, которые он производит, питают извлечение информации и обнаружение отношений, позволяя последующим задачам читать грамматическую структуру, а не выводить ее из порядка слов.
Похожие методы
Источники
Nivre, J. (2005). Dependency Grammar and Dependency Parsing. MSI Report.
Открыть ссылку на публикациюСкопировано.Chen, D. & Manning, C. D. (2014). A Fast and Accurate Dependency Parser Using Neural Networks. EMNLP.
Открыть ссылку DOIСкопировано.