Чанкинг — поверхностный синтаксический анализ
- Автор метода
- Steven Abney
- Год
- 1991
- Тип
- NLP partial-parsing task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Чанкинг, также известный как поверхностный синтаксический анализ, — это задача обработки естественного языка, предложенная Стивеном Эбни в 1991 году, которая разделяет текст на грамматические части — такие как именные и глагольные группы — с использованием тегов частей речи.
Он быстро извлекает полезную синтаксическую структуру без построения полного дерева разбора предложения.
Интуиция метода
Полный синтаксический разбор описывает, как каждое слово связано с каждым другим словом, что является дорогостоящим и часто избыточным для приложения. Чанкинг идет коротким путем: начиная со слов, уже размеченных частями речи, он группирует смежные теги в плоские, непересекающиеся фразы. Вы узнаете, что «маленькая собака» — это именная группа, а «лает» — глагольная группа, не разрешая полную грамматическую структуру, что дает быстрое структурное понимание при низких затратах.
История
Чанкинг был представлен Стивеном Эбни (1991) в статье «Parsing by Chunks», которая представила частичный синтаксический анализ на основе чанков как эффективную альтернативу полному синтаксическому анализу. Задача была позже стандартизирована и популяризирована совместной задачей CoNLL-2000 по чанкингу (Tjong Kim Sang & Buchholz, 2000), которая установила общий набор данных и оценку для проблемы.
Когда применять
Используйте чанкинг, когда у вас есть текст с разметкой частей речи, и вам нужна структура на уровне фраз быстро, без затрат на полный синтаксический разбор. Он подходит для разведочного и описательного анализа текста и требует лишь скромного объема данных (около десяти единиц). Должны выполняться два условия: разметка частей речи должна быть завершена, и для целевого языка должна существовать грамматика чанкинга или модель.
Ограничения и замечания
- Требует предварительного завершения разметки частей речи; ошибки в тегах распространяются на чанки.
- Требует грамматику чанкинга или модель, соответствующую целевому языку.
- Производит только плоские, непересекающиеся фразы — не восстанавливает полную вложенную синтаксическую структуру.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Быстро извлекает полезную синтаксическую структуру без затрат на построение полного дерева разбора.
- Работает с тегами частей речи с простыми, прозрачными правилами шаблонов, которые легко проверить и настроить.
- Предоставляет фразовые строительные блоки (именные и глагольные группы) для последующих задач, таких как извлечение информации.
Применение
- Извлечение информации — выделение именных и глагольных групп в качестве кандидатов на сущности и отношения.
- Предварительная обработка для распознавания именованных сущностей путем выделения границ именных групп.
- Быстрый структурный анализ больших текстовых корпусов, где полный синтаксический анализ слишком дорог.
- Разведочное и описательное исследование грамматических фразовых шаблонов в корпусе.
Как это работает
Как это работает
Метод начинается с текста, который уже был размечен частями речи — каждый токен несет метку, такую как определитель, прилагательное, существительное или глагол. Полная разметка частей речи является предпосылкой, поскольку чанкер работает с этими тегами, а не с необработанными словами.
Для целевого языка задается грамматика чанкинга, обычно в виде шаблонов для тегов частей речи (например, именная группа как необязательный определитель, любые прилагательные, затем существительное). Для успеха должен быть доступен набор правил или обученная модель для данного языка.
Грамматика применяется к размеченной последовательности, группируя смежные теги, соответствующие шаблону, в плоские, непересекающиеся чанки. В отличие от полного разбора, чанки не вложены в полное дерево — разбор остается поверхностным.
Идентифицированные фразовые чанки — именные группы, глагольные группы и тому подобное — считываются как выходные данные. Эти поверхностные структуры используются в последующих задачах, таких как извлечение информации или распознавание именованных сущностей.
Частые ошибки
- Запуск чанкинга на неразмеченном или плохо размеченном тексте — разметка частей речи должна быть выполнена заранее, и ошибки разметки переносятся непосредственно в чанки.
- Повторное использование грамматики чанкинга, созданной для одного языка, на другом; правила шаблонов должны соответствовать целевому языку.
- Ожидание вложенной или полной синтаксической структуры от поверхностного парсера — чанки по своей природе плоские, поэтому используйте полный парсинг, когда требуется глубокая структура.
Часто задаваемые вопросы
Чем чанкинг отличается от полного синтаксического анализа?
Полный синтаксический анализ строит полное синтаксическое дерево, показывающее, как каждое слово связано с каждым другим словом. Чанкинг — это поверхностный разбор: он группирует смежные слова в плоские, непересекающиеся фразы, такие как именные и глагольные группы, без их вложения в полное дерево. Это делает его намного быстрее и часто достаточным для задач, которым требуется только структура на уровне фраз.
Нужна ли мне разметка частей речи перед чанкингом?
Да. Чанкинг работает с тегами частей речи, а не с необработанными словами, поэтому разметка должна быть завершена заранее. Поскольку чанкер полагается на эти теги, любые ошибки в разметке переносятся непосредственно в чанки.
Работает ли чанкинг для любого языка?
Он работает только там, где существует грамматика чанкинга или обученная модель для целевого языка. Правила шаблонов специфичны для языка, поэтому грамматика, написанная для одного языка, не должна применяться к другому.
Что производит чанкинг?
Он производит плоские, непересекающиеся фразовые чанки — обычно именные и глагольные группы — считываемые из размеченной последовательности. Эти поверхностные структуры обычно используются в качестве входных данных для извлечения информации и распознавания именованных сущностей.
Похожие методы
Источники
Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.
ISBN: 978-0-7923-1173-4Скопировано.Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.
Открыть ссылку на публикациюСкопировано.