N-граммная языковая модель
- Тип
- Statistical language model
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
N-граммная языковая модель — это статистическая модель, которая предсказывает вероятность следующего слова, основываясь только на предыдущих n−1 словах.
Подробно описанная Юрафски и Мартином (Jurafsky and Martin, Speech and Language Processing), она служит фундаментальной основой для генерации текста, исправления орфографии и распознавания речи.
Интуиция метода
Язык последователен: слова, которые вы только что видели, сильно ограничивают то, что будет дальше. Вместо того чтобы анализировать целое предложение сразу, n-граммная модель делает упрощающее предположение — что только последние несколько слов имеют значение для предсказания следующего. Она подсчитывает, как часто последовательности слов появляются в обучающем корпусе, и преобразует эти подсчеты в вероятности, так что фраза вроде «thank you very» делает «much» вероятным продолжением.
История
N-граммный подход является давним краеугольным камнем статистической обработки естественного языка, рассматриваемым как фундаментальный в книге Юрафски и Мартина «Speech and Language Processing». Ключевой практической проблемой всегда было сглаживание: эмпирическое исследование Чена и Гудмана (Chen and Goodman, 1999) сравнило методы сглаживания и установило, что такие методы, как Кнезер-Ней, являются сильным выбором для обработки невидимых последовательностей. N-граммные модели долгое время служили стандартом, прежде чем нейронные языковые модели стали доминирующими.
Когда применять
Используйте n-граммную модель, когда у вас есть достаточно большой текстовый корпус (источник предполагает не менее 100 документов) и задача, сформулированная как предсказание или объяснение последовательностей слов — автодополнение, исправление орфографии или в качестве базовой языковой модели. Ей требуется достаточно обучающего текста для оценки надежных подсчетов, и необходимо применять сглаживание для обработки разреженности невидимых последовательностей.
Ограничения и замечания
- Захватывает только краткосрочный контекст (предыдущие n−1 слов) и не может моделировать долгосрочные зависимости.
- Страдает от разреженности данных: большинство последовательностей слов не встречаются, поэтому сглаживание обязательно.
- Размер модели и объем памяти быстро растут с увеличением n, в то время как n-граммы более высокого порядка становятся все более разреженными.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Простота, скорость и интерпретируемость — вероятности напрямую выводятся из наблюдаемых подсчетов.
- Надежная, прозрачная базовая модель для генерации текста, исправления орфографии и распознавания речи.
- Низкие вычислительные затраты по сравнению с нейронными языковыми моделями, не требуется специализированное оборудование.
Применение
- Генерация текста и автодополнение на основе изученного распределения последовательностей слов.
- Исправление орфографии и грамматики путем оценки вероятности последовательностей-кандидатов.
- Распознавание речи, где языковая модель ранжирует конкурирующие гипотезы транскрипции.
- Легковесные базовые модели для любой задачи, которая выигрывает от оценки вероятностей последовательностей.
Как это работает
Как это работает
Обучающий корпус сегментируется на токены, а предложения дополняются так, чтобы начала и концы последовательностей моделировались явно. Каждое перекрывающееся окно из n последовательных токенов становится одной n-граммой, которая является единицей, которую модель будет подсчитывать и оценивать.
Модель подсчитывает, как часто каждая n-грамма и ее (n−1)-словный префикс встречаются в корпусе. Деление количества n-грамм на количество ее префиксов дает условную вероятность последнего слова при условии предыдущих n−1 слов — основную оценку модели.
Поскольку большинство возможных последовательностей слов никогда не появляются ни в одном конечном корпусе, необработанные подсчеты присваивают нулевую вероятность невидимым n-граммам (проблема разреженности). Методы сглаживания, такие как аддитивное сглаживание Лапласа (Laplace add-one) или Кнезера-Нея (Kneser-Ney), перераспределяют вероятностную массу так, чтобы невидимые, но правдоподобные последовательности получали небольшую ненулевую вероятность. Этот шаг крайне важен — без него модель не работает с реальным текстом.
При наличии контекста из n−1 слов модель возвращает распределение вероятностей для следующего слова, из которого можно выбрать наиболее вероятное продолжение или сгенерировать текст. Тот же механизм оценивает вероятность наблюдаемого предложения, что лежит в основе исправления орфографии и распознавания речи.
Частые ошибки
- Пропуск сглаживания оставляет невидимые n-граммы с нулевой вероятностью, что приводит к сбою модели на реальном, невидимом тексте.
- Обучение на слишком малом корпусе (менее примерно 100 документов) приводит к ненадежным подсчетам.
- Выбор слишком большого n делает подсчеты разреженными, а модель хрупкой; выбор слишком малого n теряет полезный контекст.
- Неспособность дополнить границы предложений приводит к неправильной обработке начала и конца последовательностей.
Часто задаваемые вопросы
Что означает «n» в n-грамме?
Это количество последовательных слов, рассматриваемых вместе. Биграмма (n=2) обусловливает следующее слово одним предыдущим словом, триграмма (n=3) — двумя предыдущими. Большее n захватывает больше контекста, но требует значительно больше обучающих данных и становится разреженным.
Почему необходимо сглаживание?
Конечный корпус никогда не может содержать каждую правдоподобную последовательность слов, поэтому многие допустимые n-граммы имеют нулевой подсчет и получили бы нулевую вероятность. Методы сглаживания, такие как аддитивное сглаживание Лапласа или Кнезера-Нея, переназначают небольшую вероятность невидимым последовательностям, чтобы модель не ломалась на новом тексте.
Сколько обучающих данных мне нужно?
Источник предполагает минимум около 100 документов. Больше текста дает более надежные подсчеты; n-граммы более высокого порядка, в частности, требуют значительно больше данных, чтобы избежать разреженности.
Чем n-граммная модель отличается от нейронной языковой модели?
N-граммная модель оценивает вероятности следующего слова непосредственно из подсчетов по фиксированному окну предыдущих слов, что делает ее простой, быстрой и интерпретируемой. Нейронные модели изучают распределенные представления и захватывают более длинный контекст, но с более высокими вычислительными затратами. N-граммы остаются полезной прозрачной базовой моделью.
Похожие методы
Источники
Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.
Открыть ссылку на публикациюСкопировано.Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.
Открыть ссылку DOIСкопировано.