Skip to content
Назад к результатам поиска

N-граммная языковая модель

Тип
Statistical language model

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

N-граммная языковая модель — это статистическая модель, которая предсказывает вероятность следующего слова, основываясь только на предыдущих n−1 словах.

Подробно описанная Юрафски и Мартином (Jurafsky and Martin, Speech and Language Processing), она служит фундаментальной основой для генерации текста, исправления орфографии и распознавания речи.

Интуиция метода

Язык последователен: слова, которые вы только что видели, сильно ограничивают то, что будет дальше. Вместо того чтобы анализировать целое предложение сразу, n-граммная модель делает упрощающее предположение — что только последние несколько слов имеют значение для предсказания следующего. Она подсчитывает, как часто последовательности слов появляются в обучающем корпусе, и преобразует эти подсчеты в вероятности, так что фраза вроде «thank you very» делает «much» вероятным продолжением.

История

N-граммный подход является давним краеугольным камнем статистической обработки естественного языка, рассматриваемым как фундаментальный в книге Юрафски и Мартина «Speech and Language Processing». Ключевой практической проблемой всегда было сглаживание: эмпирическое исследование Чена и Гудмана (Chen and Goodman, 1999) сравнило методы сглаживания и установило, что такие методы, как Кнезер-Ней, являются сильным выбором для обработки невидимых последовательностей. N-граммные модели долгое время служили стандартом, прежде чем нейронные языковые модели стали доминирующими.

Когда применять

Используйте n-граммную модель, когда у вас есть достаточно большой текстовый корпус (источник предполагает не менее 100 документов) и задача, сформулированная как предсказание или объяснение последовательностей слов — автодополнение, исправление орфографии или в качестве базовой языковой модели. Ей требуется достаточно обучающего текста для оценки надежных подсчетов, и необходимо применять сглаживание для обработки разреженности невидимых последовательностей.

Ограничения и замечания

  • Захватывает только краткосрочный контекст (предыдущие n−1 слов) и не может моделировать долгосрочные зависимости.
  • Страдает от разреженности данных: большинство последовательностей слов не встречаются, поэтому сглаживание обязательно.
  • Размер модели и объем памяти быстро растут с увеличением n, в то время как n-граммы более высокого порядка становятся все более разреженными.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Простота, скорость и интерпретируемость — вероятности напрямую выводятся из наблюдаемых подсчетов.
  • Надежная, прозрачная базовая модель для генерации текста, исправления орфографии и распознавания речи.
  • Низкие вычислительные затраты по сравнению с нейронными языковыми моделями, не требуется специализированное оборудование.

Применение

  • Генерация текста и автодополнение на основе изученного распределения последовательностей слов.
  • Исправление орфографии и грамматики путем оценки вероятности последовательностей-кандидатов.
  • Распознавание речи, где языковая модель ранжирует конкурирующие гипотезы транскрипции.
  • Легковесные базовые модели для любой задачи, которая выигрывает от оценки вероятностей последовательностей.

Как это работает

Как это работает

1

Обучающий корпус сегментируется на токены, а предложения дополняются так, чтобы начала и концы последовательностей моделировались явно. Каждое перекрывающееся окно из n последовательных токенов становится одной n-граммой, которая является единицей, которую модель будет подсчитывать и оценивать.

2

Модель подсчитывает, как часто каждая n-грамма и ее (n−1)-словный префикс встречаются в корпусе. Деление количества n-грамм на количество ее префиксов дает условную вероятность последнего слова при условии предыдущих n−1 слов — основную оценку модели.

3

Поскольку большинство возможных последовательностей слов никогда не появляются ни в одном конечном корпусе, необработанные подсчеты присваивают нулевую вероятность невидимым n-граммам (проблема разреженности). Методы сглаживания, такие как аддитивное сглаживание Лапласа (Laplace add-one) или Кнезера-Нея (Kneser-Ney), перераспределяют вероятностную массу так, чтобы невидимые, но правдоподобные последовательности получали небольшую ненулевую вероятность. Этот шаг крайне важен — без него модель не работает с реальным текстом.

4

При наличии контекста из n−1 слов модель возвращает распределение вероятностей для следующего слова, из которого можно выбрать наиболее вероятное продолжение или сгенерировать текст. Тот же механизм оценивает вероятность наблюдаемого предложения, что лежит в основе исправления орфографии и распознавания речи.

Частые ошибки

  • Пропуск сглаживания оставляет невидимые n-граммы с нулевой вероятностью, что приводит к сбою модели на реальном, невидимом тексте.
  • Обучение на слишком малом корпусе (менее примерно 100 документов) приводит к ненадежным подсчетам.
  • Выбор слишком большого n делает подсчеты разреженными, а модель хрупкой; выбор слишком малого n теряет полезный контекст.
  • Неспособность дополнить границы предложений приводит к неправильной обработке начала и конца последовательностей.

Часто задаваемые вопросы

Что означает «n» в n-грамме?

Это количество последовательных слов, рассматриваемых вместе. Биграмма (n=2) обусловливает следующее слово одним предыдущим словом, триграмма (n=3) — двумя предыдущими. Большее n захватывает больше контекста, но требует значительно больше обучающих данных и становится разреженным.

Почему необходимо сглаживание?

Конечный корпус никогда не может содержать каждую правдоподобную последовательность слов, поэтому многие допустимые n-граммы имеют нулевой подсчет и получили бы нулевую вероятность. Методы сглаживания, такие как аддитивное сглаживание Лапласа или Кнезера-Нея, переназначают небольшую вероятность невидимым последовательностям, чтобы модель не ломалась на новом тексте.

Сколько обучающих данных мне нужно?

Источник предполагает минимум около 100 документов. Больше текста дает более надежные подсчеты; n-граммы более высокого порядка, в частности, требуют значительно больше данных, чтобы избежать разреженности.

Чем n-граммная модель отличается от нейронной языковой модели?

N-граммная модель оценивает вероятности следующего слова непосредственно из подсчетов по фиксированному окну предыдущих слов, что делает ее простой, быстрой и интерпретируемой. Нейронные модели изучают распределенные представления и захватывают более длинный контекст, но с более высокими вычислительными затратами. N-граммы остаются полезной прозрачной базовой моделью.

Похожие методы

Источники

  1. Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.

    Открыть ссылку на публикацию
    Скопировано.
  2. Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.

    Открыть ссылку DOI
    Скопировано.