Zum Inhalt springen
Zurück zu den Suchergebnissen

N-Gramm-Sprachmodell

Typ
Statistical language model

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Ein N-Gramm-Sprachmodell ist ein statistisches Modell, das die Wahrscheinlichkeit des nächsten Wortes vorhersagt, indem es nur die vorhergehenden n−1 Wörter betrachtet.

Detailliert beschrieben von Jurafsky und Martin (Speech and Language Processing), bietet es eine grundlegende Infrastruktur für Textgenerierung, Rechtschreibkorrektur und Spracherkennung.

Die Intuition hinter der Methode

Sprache ist sequenziell: die gerade gesehenen Wörter schränken stark ein, was als Nächstes kommt. Anstatt eine ganze Sätze auf einmal zu analysieren, trifft ein N-Gramm-Modell eine vereinfachende Annahme – dass nur die letzten paar Wörter für die Vorhersage des nächsten relevant sind. Es zählt, wie oft Wortsequenzen in einem Trainingskorpus vorkommen, und wandelt diese Zählungen in Wahrscheinlichkeiten um, sodass eine Phrase wie 'vielen Dank' 'für' als wahrscheinliche Fortsetzung macht.

Geschichte

Der N-Gramm-Ansatz ist ein langjähriger Eckpfeiler der statistischen Verarbeitung natürlicher Sprache und wird in Jurafsky und Martins 'Speech and Language Processing' als grundlegend behandelt. Ein zentrales praktisches Anliegen war schon immer die Glättung: Chen und Goodmans (1999) empirische Studie verglich Glättungstechniken und etablierte Methoden wie Kneser-Ney als starke Wahl für die Behandlung unsichtbarer Sequenzen. N-Gramm-Modelle dienten lange als Standard, bevor neuronale Sprachmodelle dominant wurden.

Wann wird sie eingesetzt?

Verwenden Sie ein N-Gramm-Modell, wenn Sie einen ausreichend großen Textkorpus haben (die Quelle schlägt mindestens etwa 100 Dokumente vor) und eine Aufgabe haben, die als Vorhersage oder Erklärung von Wortsequenzen formuliert ist – Autovervollständigung, Rechtschreibkorrektur oder als Basis-Sprachmodell. Es benötigt genügend Trainingsdaten, um zuverlässige Zählungen zu schätzen, und Glättung muss angewendet werden, um die Sparsity unsichtbarer Sequenzen zu behandeln.

Grenzen und Hinweise

  • Erfasst nur kurzfristigen Kontext (die vorhergehenden n−1 Wörter) und kann keine Langzeitabhängigkeiten modellieren.
  • Leidet unter Daten-Sparsity: die meisten Wortsequenzen sind unsichtbar, daher ist Glättung zwingend erforderlich.
  • Modellgröße und Speicherbedarf wachsen schnell mit zunehmendem n, während höherrangige N-Gramme zunehmend spärlich werden.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Einfach, schnell und interpretierbar – Wahrscheinlichkeiten ergeben sich direkt aus beobachteten Zählungen.
  • Eine starke, transparente Basis für Textgenerierung, Rechtschreibkorrektur und Spracherkennung.
  • Geringe Rechenkosten im Vergleich zu neuronalen Sprachmodellen, ohne dass spezialisierte Hardware erforderlich ist.

Anwendungen

  • Textgenerierung und Autovervollständigung aus einer gelernten Wortsequenzverteilung.
  • Rechtschreib- und Grammatikkorrektur durch Bewertung der Wahrscheinlichkeit von Kandidatensequenzen.
  • Spracherkennung, bei der ein Sprachmodell konkurrierende Transkriptionshypothesen rangiert.
  • Leichtgewichtige Baselines für jede Aufgabe, die von der Schätzung von Sequenzwahrscheinlichkeiten profitiert.

So funktioniert es

So funktioniert es

1

Der Trainingskorpus wird in Token segmentiert und Sätze werden aufgefüllt (padded), sodass Anfänge und Enden von Sequenzen explizit modelliert werden. Jedes überlappende Fenster von n aufeinanderfolgenden Token wird zu einem N-Gramm, der Einheit, die das Modell zählt und bewertet.

2

Das Modell zählt, wie oft jedes N-Gramm und sein (n−1)-Wort-Präfix im Korpus vorkommen. Die Division der N-Gramm-Zählung durch die Zählung seines Präfixes ergibt die bedingte Wahrscheinlichkeit des letzten Wortes gegeben die vorhergehenden n−1 Wörter – die Kernschätzung des Modells.

3

Da die meisten möglichen Wortsequenzen in keinem endlichen Korpus vorkommen, weisen rohe Zählungen unsichtbaren N-Grammen eine Wahrscheinlichkeit von Null zu (das Sparsity-Problem). Glättungsmethoden wie Laplace Add-One oder Kneser-Ney verteilen die Wahrscheinlichkeitsmasse neu, sodass unsichtbare, aber plausible Sequenzen eine kleine, von Null verschiedene Wahrscheinlichkeit erhalten. Dieser Schritt ist unerlässlich – ohne ihn versagt das Modell bei realem Text.

4

Gegeben einem Kontext von n−1 Wörtern gibt das Modell eine Wahrscheinlichkeitsverteilung über das nächste Wort zurück, aus der die wahrscheinlichste Fortsetzung ausgewählt oder Text generiert werden kann. Dieselbe Maschinerie bewertet, wie wahrscheinlich ein beobachteter Satz ist, was die Rechtschreibkorrektur und Spracherkennung antreibt.

Häufige Fallstricke

  • Das Auslassen der Glättung belässt unsichtbare N-Gramme bei einer Wahrscheinlichkeit von Null, was das Modell bei realem, unsichtbarem Text zusammenbrechen lässt.
  • Das Training auf einem zu kleinen Korpus (unter etwa 100 Dokumenten) liefert unzuverlässige Zählungen.
  • Die Wahl eines zu großen n macht die Zählungen spärlich und das Modell brüchig; die Wahl eines zu kleinen n verliert nützlichen Kontext.
  • Das Nicht-Auffüllen von Satzgrenzen führt zu einer falschen Handhabung von Sequenzanfängen und -enden.

Häufig gestellte Fragen

Was bedeutet das 'n' in N-Gramm?

Es ist die Anzahl der aufeinanderfolgenden Wörter, die zusammen betrachtet werden. Ein Bigramm (n=2) konditioniert das nächste Wort auf das einzelne vorhergehende Wort, ein Trigramm (n=3) auf die vorhergehenden zwei. Ein größeres n erfasst mehr Kontext, benötigt aber weitaus mehr Trainingsdaten und wird spärlich.

Warum ist Glättung notwendig?

Ein endlicher Korpus kann niemals jede plausible Wortsequenz enthalten, sodass viele gültige N-Gramme eine Zählung von Null haben und eine Wahrscheinlichkeit von Null erhalten würden. Glättungsmethoden wie Laplace Add-One oder Kneser-Ney weisen unsichtbaren Sequenzen eine kleine Wahrscheinlichkeit zu, damit das Modell bei neuem Text nicht versagt.

Wie viele Trainingsdaten benötige ich?

Die Quelle schlägt mindestens etwa 100 Dokumente als Minimum vor. Mehr Text liefert zuverlässigere Zählungen; insbesondere höherrangige N-Gramme benötigen erheblich mehr Daten, um Sparsity zu vermeiden.

Wie unterscheidet sich ein N-Gramm-Modell von einem neuronalen Sprachmodell?

Ein N-Gramm-Modell schätzt die Wahrscheinlichkeiten des nächsten Wortes direkt aus Zählungen über ein festes Fenster vorhergehender Wörter, was es einfach, schnell und interpretierbar macht. Neuronale Modelle lernen verteilte Repräsentationen und erfassen längeren Kontext bei höheren Rechenkosten. N-Gramme bleiben eine nützliche, transparente Baseline.

Verwandte Methoden

Quellen

  1. Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.

    Publikationsreferenz öffnen
    Kopiert.
  2. Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.

    DOI-Referenz öffnen
    Kopiert.