Частеречная разметка (Part-of-Speech Tagging, POS Tagging)
- Тип
- NLP sequence-labelling task
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Частеречная разметка присваивает каждой словоформе в тексте метку грамматической категории — существительное, глагол, прилагательное и т. д.
Это фундаментальная задача обработки естественного языка, формализованная как статистическая модель Ратнапаркхи (Ratnaparkhi, 1996) и реализованная в широко используемых наборах инструментов, таких как Stanford CoreNLP (Manning et al., 2014), и она служит предварительным этапом для синтаксического анализа и извлечения информации.
Интуиция метода
Когда вы читаете предложение, вы инстинктивно знаете, какие слова являются существительными, а какие — глаголами, и это знание определяет, как вы понимаете предложение. У машины нет такого инстинкта, поэтому частиречная разметка дает ей его: для каждого токена в тексте метод выбирает наиболее вероятную грамматическую категорию, используя окружающие слова в качестве контекста. Как только каждое слово несет метку, последующие задачи могут рассуждать о структуре предложения, а не рассматривать текст как недифференцированный набор слов.
История
Частеречная разметка была прочно статистически обоснована Ратнапаркхи (Ratnaparkhi, 1996), чья модель максимальной энтропии показала, как контекст может быть использован для вероятностного присвоения меток. Задача была позже консолидирована в универсальные конвейеры, такие как набор инструментов Stanford CoreNLP (Manning et al., 2014), что сделало частиречную разметку рутинным первым этапом в современных рабочих процессах обработки текста.
Когда применять
Используйте частиречную разметку, когда у вас есть текстовые данные и модель частиречной разметки, обученная для языка этого текста, и текст уже был токенизирован. Она подходит для исследовательских и описательных работ, где вам нужно знать грамматическую роль каждого слова перед анализом или извлечением информации. Небольшого корпуса (около десяти единиц или более) достаточно; основным требованием является наличие соответствующей языку модели, а не размер корпуса.
Ограничения и замечания
- Требует модель частиречной разметки, обученную для целевого языка; без нее метод не может работать надежно.
- Зависит от предварительной токенизации — плохие границы токенов распространяются на плохие метки.
- Ошибки разметки распространяются вниз по конвейеру, ограничивая качество любого анализа или извлечения, построенного на основе меток.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Фундаментальный, низкосложный этап, который открывает возможности для синтаксического анализа, группировки и извлечения информации.
- Работает с небольшими корпусами — требованием является обученная модель для языка, а не большой набор данных.
- Использует окружающий контекст для разрешения неоднозначности слов, которые могут относиться к более чем одной категории.
Применение
- Подготовка текста для синтаксического анализа путем маркировки грамматической роли каждого слова.
- Обеспечение входными данными группировки и поверхностного анализа, которые группируют размеченные токены в фразы.
- Поддержка извлечения информации, где грамматическая категория помогает идентифицировать сущности и отношения.
- Исследовательский и описательный анализ использования языка в корпусе.
Как это работает
Как это работает
Текст сначала разбивается на токены — отдельные слова и знаки препинания, каждому из которых будет присвоена метка. Токенизация должна быть выполнена до разметки, поскольку теггер размечает токены по одному, и границы единиц, которые он видит здесь, определяют, что будет размечено.
Обученная модель частиречной разметки для целевого языка присваивает каждому токену его наиболее вероятную грамматическую категорию — существительное, глагол, прилагательное и т. д. — рассматривая окружающие токены в качестве контекста для разрешения неоднозначности. Этот шаг требует модели, обученной для языка текста; без нее метки не могут быть получены надежно.
Последовательность полученных меток передается последующим задачам. Частеречные метки являются входными данными, на которых строятся этапы синтаксического анализа, группировки и извлечения информации, поэтому качество разметки напрямую ограничивает эффективность работы этих последующих этапов.
Частые ошибки
- Применение модели, обученной для одного языка, к тексту на другом языке дает ненадежные метки.
- Пропуск или неправильная обработка токенизации на предыдущем этапе молчаливо ухудшает каждую метку.
- Рассмотрение меток как истинных данных без проверки ошибок позволяет ошибкам неоднозначности распространяться на последующий анализ и извлечение.
Часто задаваемые вопросы
Что фактически производит частиречная разметка?
Она прикрепляет метку грамматической категории — такую как существительное, глагол или прилагательное — к каждому токену в тексте, поэтому выходные данные — это метка для каждого слова.
Нужен ли мне большой корпус для ее запуска?
Нет. Небольшого корпуса примерно из десяти единиц или более достаточно. Реальным требованием является модель частиречной разметки, обученная для языка вашего текста, и текст, который уже был токенизирован.
Почему токенизация должна идти первой?
Тэггер размечает токены по одному, поэтому токены, которые он видит, определяют, что получает метку. Если токенизация неправильная, границы неправильные, и метки тоже будут неправильными.
Что произойдет, если модель не соответствует моему языку?
Применение модели, обученной для одного языка, к другому дает ненадежные метки. Частеречная разметка предполагает наличие модели, обученной для целевого языка.
Похожие методы
Источники
Ratnaparkhi, A. (1996). A Maximum Entropy Model for Part-Of-Speech Tagging. EMNLP.
Открыть ссылку на публикациюСкопировано.Manning, C.D. et al. (2014). The Stanford CoreNLP Natural Language Processing Toolkit. ACL.
Открыть ссылку DOIСкопировано.