Skip to content
返回搜索结果

N-gram语言模型

类型
Statistical language model

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

N-gram语言模型是一种统计模型,它通过仅查看前 n−1 个词来预测下一个词的概率。Jurafsky 和 Martin 在《Speech and Language Processing》一书中对此进行了详细描述,它为文本生成、拼写纠正和语音识别提供了基础性基础设施。

方法背后的直觉

语言是序列性的:你刚刚看到的词强烈地约束着接下来会发生什么。N-gram模型不是一次性对整个句子进行推理,而是做一个简化的假设——即只有最后几个词对预测下一个词很重要。它计算词序列在训练语料库中出现的频率,并将这些计数转化为概率,因此像“thank you very”这样的短语会使“much”成为一个可能的续接。

历史学

N-gram 方法是统计自然语言处理的一个长期基石,在 Jurafsky 和 Martin 的《Speech and Language Processing》中被视为基础。一个关键的实际问题一直是平滑:Chen 和 Goodman (1999) 的实证研究比较了各种平滑技术,并将 Kneser-Ney 等成熟方法确立为处理未见序列的有力选择。在神经网络语言模型占主导地位之前,N-gram 模型长期以来一直是标准。

何时使用

当拥有一个相当大的文本语料库(文献建议至少约 100 篇文档)并且任务被构建为预测或解释词序列时(例如自动补全、拼写纠正或作为基线语言模型),就可以使用 n-gram 模型。它需要足够的训练文本来估计可靠的计数,并且必须应用平滑来处理未见序列的稀疏性。

局限与注意事项

  • 仅捕获短期上下文(前 n−1 个词),无法模拟长距离依赖关系。
  • 存在数据稀疏性问题:大多数词序列未被见过,因此必须进行平滑处理。
  • 随着 n 的增加,模型大小和内存会迅速增长,而高阶 n-gram 的稀疏性会越来越严重。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 简单、快速且可解释——概率直接来自观察到的计数。
  • 为文本生成、拼写纠正和语音识别提供了一个强大、透明的基线。
  • 与神经网络语言模型相比,计算成本低,且不需要专用硬件。

应用

  • 从学习到的词序列分布进行文本生成和自动补全。
  • 通过评估候选序列的概率来纠正拼写和语法错误。
  • 语音识别,其中语言模型对竞争性的转录假设进行排序。
  • 对任何受益于估计序列概率的任务,提供轻量级基线。

使用方式

使用方式

1

训练语料库被分割成词元(tokens),句子会被填充(padded),以便序列的开头和结尾能够被显式地建模。每连续 n 个词元的重叠窗口就构成一个 n-gram,这是模型将要计数和评分的单元。

2

该模型计算每个 n-gram 及其 (n−1) 词前缀在语料库中出现的频率。将 n-gram 的计数除以其前缀的计数,即可得到给定前 n−1 个词的最后一个词的条件概率——这是模型的核心估计。

3

由于大多数可能的词序列在任何有限的语料库中都不会出现,原始计数会将零概率分配给未见过的 n-gram(稀疏性问题)。平滑方法(如 Laplace add-one 或 Kneser-Ney)会重新分配概率质量,使得未见过但可能出现的序列获得一个小的非零概率。这一步至关重要——没有它,模型在处理真实文本时就会失效。

4

给定 n−1 个词的上下文,模型会返回一个关于下一个词的概率分布,从中可以选择最可能的续接或生成文本。同样的机制可以评估一个已观察到的句子的可能性,这正是拼写纠正和语音识别所依赖的。

常见陷阱

  • 跳过平滑处理会导致未见过的 n-gram 的概率为零,这会在处理真实、未见过的文本时导致模型崩溃。
  • 在过小的语料库(低于约 100 篇文档)上训练会产生不可靠的计数。
  • 选择过大的 n 会导致计数稀疏且模型脆弱;选择过小的 n 会丢失有用的上下文。
  • 未能填充句子边界会错误处理序列的开头和结尾。

常见问题

N-gram 中的“n”是什么意思?

它表示一起考虑的连续词的数量。二元语法(bigram, n=2)基于前一个词来条件化下一个词,三元语法(trigram, n=3)基于前两个词。较大的 n 可以捕获更多上下文,但需要更多训练数据,并且会变得稀疏。

为什么需要平滑?

有限的语料库永远无法包含所有可能的词序列,因此许多有效的 n-gram 的计数为零,并且会获得零概率。像 Laplace add-one 或 Kneser-Ney 这样的平滑方法会为未见过的序列重新分配一小部分概率,这样模型在处理新文本时就不会失效。

我需要多少训练数据?

文献建议至少约 100 篇文档作为最低要求。更多的文本可以提供更可靠的计数;特别是高阶 n-gram 需要更多的数据来避免稀疏性。

N-gram 模型与神经网络语言模型有何不同?

N-gram 模型直接从固定窗口内前词的计数中估计下一个词的概率,使其简单、快速且可解释。神经网络模型学习分布式表示并捕获更长的上下文,但计算成本更高。N-gram 仍然是一个有用的透明基线。

相关方法

参考文献

  1. Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.

    打开出版物文献
    已复制。
  2. Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.

    打开 DOI 文献
    已复制。