Skip to content
Назад к результатам поиска

Морфологический анализ — стемминг и лемматизация

Автор метода
M.F. Porter (Porter stemmer)
Год
1980
Тип
Text-normalisation preprocessing task

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Морфологический анализ разделяет слова на их основы и аффиксы, чтобы различные поверхностные формы одного и того же слова могли рассматриваться как единое целое.

Он охватывает два взаимодополняющих подхода — стемминг на основе правил, такой как алгоритмы Портера (Porter, 1980) и Snowball, и лемматизацию с учетом словаря — и является критически важным этапом нормализации текста для агглютинативных языков, таких как турецкий и арабский.

Интуиция метода

Читатель знает, что running, runs и ran относятся к глаголу run, но для машины это три несвязанные строки. Морфологический анализ отбрасывает грамматические окончания слова, чтобы восстановить его базовую форму, так что множество способов, которыми слово может появляться, сводятся к одному токену. Стемминг отсекает суффиксы по правилам; лемматизация ищет слово в словаре, чтобы вернуть его истинную словарную форму. В любом случае, цель состоит в том, чтобы перестать считать одну концепцию несколькими разными словами.

История

Стемминг на основе правил был популяризирован алгоритмом отсечения суффиксов Портера (Porter, 1980), который остается эталоном и впоследствии развился в семейство стеммеров Snowball. За ним последовал вероятностный и модельный морфологический анализ, при этом теггер частей речи на основе дерева решений Шмида (Schmid, 1994) иллюстрирует переход к статистическим подходам, которые лежат в основе современной лемматизации.

Когда применять

Используйте морфологический анализ в качестве этапа нормализации всякий раз, когда у вас есть токенизированный текст и морфологические правила или модель для его языка. Это особенно ценно для агглютинативных языков, таких как турецкий и арабский, где один корень порождает множество поверхностных форм. Для его работы требуется предварительная токенизация текста и морфологический ресурс для целевого языка; без них он не может работать надежно.

Ограничения и замечания

  • Требует, чтобы морфологические правила или модель уже существовали для целевого языка.
  • Текст должен быть токенизирован до начала анализа.
  • Стемминг на основе правил может приводить к избыточному стеммингу (объединению несвязанных слов) или недостаточному стеммингу (пропуску допустимых вариантов).

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Сводит флективные варианты слова к единой форме, сокращая словарный запас для последующего анализа.
  • Предлагает спектр от быстрого стемминга на основе правил (Porter, Snowball) до лемматизации с точностью до словаря.
  • Особенно эффективен для агглютинативных языков, таких как турецкий и арабский, где многие формы имеют один корень.

Применение

  • Нормализация текста перед индексированием, поиском или извлечением информации.
  • Сокращение размера словаря перед классификацией текста или тематическим моделированием.
  • Предварительная обработка корпусов агглютинативных языков (турецкий, арабский), где поверхностные формы умножаются.
  • Очистка и стандартизация текстовых признаков для последующих конвейеров интеллектуального анализа текста.

Как это работает

Как это работает

1

Текст сначала сегментируется на отдельные лексемы (токены). Морфологический анализ оперирует словами, поэтому корпус должен быть уже токенизирован до того, как можно будет извлечь какие-либо основы или леммы; это является заявленным предварительным условием метода.

2

Каждый токен исследуется с учетом морфологии целевого языка для отделения основы от его аффиксов (префиксов, суффиксов, флексий). Этот шаг требует наличия морфологических правил или модели для данного языка, что наиболее важно в языках с богатой флексией и агглютинативных языках.

3

Слово приводится к канонической форме. Подход стемминга (Porter, Snowball) отсекает суффиксы по правилам для получения основы, которая не обязательно является реальным словом, в то время как подход лемматизации возвращает фактическую словарную лемму, опционально руководствуясь частью речи слова.

4

Приведенные формы записываются обратно в корпус, так что варианты поверхностных форм отображаются на один токен. Эта нормализация сокращает словарный запас и позволяет последующим этапам интеллектуального анализа текста рассматривать флективные варианты слова как одну и ту же характеристику.

Частые ошибки

  • Стемминг может производить основы, которые не являются реальными словами; не рассматривайте основу как словарную форму, когда требуется истинная лемма.
  • Применение английского стеммера к тексту на другом языке дает бессмысленные результаты — морфологический ресурс должен соответствовать языку корпуса.
  • Пропуск токенизации приводит к подаче некорректных токенов в анализатор и искажает вывод.
  • Избыточный стемминг объединяет различные слова в одну основу, а недостаточный стемминг оставляет варианты разделенными; выбирайте между стеммингом и лемматизацией в зависимости от того, насколько точной должна быть ваша последующая задача.

Часто задаваемые вопросы

В чем разница между стеммингом и лемматизацией?

Стемминг отсекает суффиксы по правилам (как в алгоритмах Porter или Snowball) для получения основы, которая не обязательно является реальным словом, и он быстр. Лемматизация ищет слово — часто используя его часть речи — для возврата фактической словарной леммы, что более точно, но требует больших ресурсов.

Почему это наиболее важно для таких языков, как турецкий и арабский?

Это агглютинативные языки, где один корень может принимать множество аффиксов и генерировать большое количество поверхностных форм. Морфологический анализ сводит эти формы обратно к корню, что крайне важно для нормализации текста в таких языках.

Нужно ли сначала токенизировать текст?

Да. Морфологический анализ оперирует отдельными словами, поэтому корпус должен быть уже токенизирован. Токенизация является заявленным предварительным условием метода.

Что произойдет, если морфологический ресурс не соответствует языку?

Вывод становится бессмысленным. Правила или модель должны быть созданы для целевого языка; применение, например, английского стеммера к неанглийскому тексту приводит к некорректным основам.

Похожие методы

Источники

  1. Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.

    Открыть ссылку DOI
    Скопировано.
  2. Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).

    Открыть ссылку на публикацию
    Скопировано.