何をする手法か?
N-gram言語モデルは、直前のn-1個の単語のみを見て、次に来る単語の確率を予測する統計モデルである。JurafskyとMartin (Speech and Language Processing) によって詳細に記述されており、テキスト生成、スペル訂正、音声認識のための基盤インフラストラクチャを提供する。
手法の背後にある直感
言語は逐次的である:直前に見た単語群は、次に何が来るかを強く制約する。N-gramモデルは、文全体を一度に推論するのではなく、単純化された仮説を立てる――次の単語を予測するためには、直前の数個の単語だけが重要であると。これは、訓練コーパス内で単語列がどれくらいの頻度で出現するかを数え、それらのカウントを確率に変換する。例えば、「thank you very」のようなフレーズは、「much」を可能性の高い継続として導き出す。
歴史学
N-gramアプローチは、統計的自然言語処理の長年にわたる礎であり、JurafskyとMartinのSpeech and Language Processingでは基礎として扱われている。重要な実用上の懸念は常にスムージングであった:ChenとGoodman (1999) の経験的研究はスムージング技術を比較し、Kneser-Neyのような確立された手法が出現しないシーケンスを処理するための強力な選択肢であることを示した。N-gramモデルは、ニューラル言語モデルが主流になるまで、長らく標準として機能していた。
使うべき場面
比較的大きなテキストコーパス(出典では約100文書以上を推奨)があり、単語列の予測または説明として定式化されたタスク(自動補完、スペル訂正、またはベースライン言語モデルとして)がある場合に、N-gramモデルを使用する。信頼性の高いカウントを推定するのに十分な訓練テキストが必要であり、出現しないシーケンスを処理するためにスムージングを適用する必要がある。
限界と注意点
- 短い範囲のコンテキスト(直前のn-1個の単語)しか捉えられず、長距離の依存関係をモデル化できない。
- データスパース性に悩まされる:ほとんどの単語列は出現しないため、スムージングは必須である。
- nが増加するにつれて、モデルサイズとメモリ使用量が急速に増加し、高次のn-gramはますますスパースになる。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- シンプルで高速、解釈可能――確率は観測されたカウントから直接得られる。
- テキスト生成、スペル訂正、音声認識のための強力で透明性の高いベースライン。
- ニューラル言語モデルと比較して計算コストが低く、特殊なハードウェアは不要。
応用
- 学習された単語列分布からのテキスト生成および自動補完。
- 候補シーケンスの確率をスコアリングすることによるスペルおよび文法訂正。
- 競合する転写仮説をランク付けする言語モデルである音声認識。
- シーケンス確率の推定から利益を得るあらゆるタスクのための軽量ベースライン。
使い方
使い方
訓練コーパスはトークンに分割され、シーケンスの開始と終了が明示的にモデル化されるようにパディングが施される。連続するn個のトークンの重なり合う各ウィンドウが1つのn-gramとなり、これがモデルがカウントしスコアリングする単位となる。
モデルは、各n-gramとその(n-1)単語のプレフィックスがコーパス内でどれくらいの頻度で出現するかを数える。(n-1)単語のプレフィックスのカウントでn-gramのカウントを割ることで、先行する(n-1)単語が与えられた場合の最後の単語の条件付き確率が得られる――これがモデルの核となる推定値である。
ほとんどの可能な単語列は有限コーパスには決して現れないため、生のカウントは出現しないn-gramにゼロ確率を割り当てる(スパース性の問題)。Laplace add-oneやKneser-Neyのようなスムージング手法は、出現しないが妥当なシーケンスに小さな非ゼロ確率を与えるように確率質量を再配分する。このステップは不可欠である――これなしでは、モデルは実際のテキストで破綻する。
n-1個の単語のコンテキストが与えられると、モデルは次の単語に対する確率分布を返し、そこから最も可能性の高い継続を選択するか、テキストを生成することができる。同じ仕組みで、観測された文の確率をスコアリングすることもでき、これがスペル訂正や音声認識を駆動する。
よくある落とし穴
- スムージングを省略すると、出現しないn-gramの確率はゼロとなり、実際の未知のテキストでモデルが破綻する。
- 小さすぎるコーパス(約100文書未満)での訓練は、信頼性の低いカウントをもたらす。
- nを大きすぎるとカウントがスパースになりモデルが脆くなり、nを小さすぎると有用なコンテキストが失われる。
- 文境界のパディングを怠ると、シーケンスの開始と終了の処理が不適切になる。
よくある質問
N-gramの「n」は何を意味しますか?
それは一緒に考慮される連続した単語の数です。バイグラム(n=2)は次の単語を前の単語1つに条件付け、トライグラム(n=3)は前の単語2つに条件付けます。nが大きいほどコンテキストは多く捉えられますが、はるかに多くの訓練データが必要になり、スパースになります。
スムージングはなぜ必要なのでしょうか?
有限コーパスは、考えられるすべての単語列を含むことは決してできないため、多くの有効なn-gramのカウントはゼロとなり、確率もゼロになります。Laplace add-oneやKneser-Neyのようなスムージング手法は、出現しないシーケンスに小さな確率を再割り当てするため、モデルは新しいテキストで破綻しません。
どのくらいの訓練データが必要ですか?
出典では最低約100文書を推奨しています。より多くのテキストはより信頼性の高いカウントをもたらします。特に高次のn-gramは、スパース性を回避するために実質的により多くのデータを必要とします。
N-gramモデルはニューラル言語モデルとどう違いますか?
N-gramモデルは、前の単語の固定ウィンドウに対するカウントから直接次の単語の確率を推定するため、シンプルで高速、解釈可能です。ニューラルモデルは分散表現を学習し、より長いコンテキストを捉えますが、計算コストは高くなります。N-gramは、有用な透明性の高いベースラインとして依然として重要です。