Zum Inhalt springen
Zurück zu den Suchergebnissen

Part-of-Speech-Tagging (POS-Tagging)

Typ
NLP sequence-labelling task

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Das Part-of-Speech-Tagging weist jedem Wort in einem Text ein grammatisches Kategorielabel zu – Nomen, Verb, Adjektiv und so weiter.

Es ist eine grundlegende Aufgabe der natürlichen Sprachverarbeitung, die von Ratnaparkhi (1996) als statistisches Modell formalisiert und in weit verbreitete Toolkits wie Stanford CoreNLP (Manning et al., 2014) integriert wurde. Es dient als vorbereitender Schritt für die syntaktische Analyse und die Informationsextraktion.

Die Intuition hinter der Methode

Wenn Sie einen Satz lesen, wissen Sie instinktiv, welche Wörter Nomen und welche Verben sind, und dieses Wissen prägt Ihr Verständnis des Satzes. Eine Maschine hat keinen solchen Instinkt, daher gibt ihr das POS-Tagging einen: Für jedes Token im Text wählt die Methode die wahrscheinlichste grammatische Kategorie, wobei die umgebenden Wörter als Kontext dienen. Sobald jedes Wort ein Tag trägt, können nachgelagerte Aufgaben die Satzstruktur berücksichtigen, anstatt den Text als undifferenzierten Wortsalat zu behandeln.

Geschichte

Das Part-of-Speech-Tagging wurde von Ratnaparkhi (1996) auf eine solide statistische Grundlage gestellt, dessen Maximum-Entropie-Modell zeigte, wie Kontext zur probabilistischen Zuweisung von Tags genutzt werden konnte. Die Aufgabe wurde später in allgemeine Pipelines wie das Stanford CoreNLP Toolkit (Manning et al., 2014) integriert, wodurch POS-Tagging zu einer routinemäßigen ersten Stufe in modernen Textverarbeitungsworkflows wurde.

Wann wird sie eingesetzt?

Verwenden Sie POS-Tagging, wenn Sie Textdaten und ein für die Sprache dieses Textes trainiertes POS-Modell haben und der Text bereits tokenisiert wurde. Es eignet sich für explorative und deskriptive Arbeiten, bei denen Sie die grammatische Rolle jedes Wortes vor dem Parsen oder der Informationsextraktion kennen müssen. Ein kleines Korpus ist ausreichend (etwa zehn Einheiten oder mehr); die entscheidende Anforderung ist die Verfügbarkeit eines sprachlich passenden Modells, nicht die Korpusgröße.

Grenzen und Hinweise

  • Erfordert ein für die Zielsprache trainiertes POS-Modell; ohne ein solches kann die Methode nicht zuverlässig ausgeführt werden.
  • Hängt von einer vorherigen Tokenisierung ab – schlechte Token-Grenzen führen zu schlechten Tags.
  • Tagging-Fehler setzen sich nachgelagert fort und begrenzen die Qualität jeder auf den Tags aufbauenden Analyse oder Extraktion.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Grundlegender, einfacher Schritt, der syntaktisches Parsen, Chunking und Informationsextraktion ermöglicht.
  • Funktioniert mit kleinen Korpora – die Anforderung ist ein trainiertes Modell für die Sprache, nicht ein großer Datensatz.
  • Verwendet den umgebenden Kontext, um Wörter zu disambiguieren, die zu mehr als einer Kategorie gehören könnten.

Anwendungen

  • Vorbereitung von Text für die syntaktische Analyse durch Kennzeichnung der grammatischen Rolle jedes Wortes.
  • Einspeisung in Chunking und Shallow Parsing, die getaggte Token zu Phrasen gruppieren.
  • Unterstützung der Informationsextraktion, wobei die grammatische Kategorie hilft, Entitäten und Relationen zu identifizieren.
  • Explorative und deskriptive Analyse der Sprachverwendung in einem Korpus.

So funktioniert es

So funktioniert es

1

Der Text wird zunächst in Token aufgeteilt – die einzelnen Wörter und Satzzeichen, die jeweils ein Tag erhalten. Die Tokenisierung muss bereits vor dem Tagging erfolgt sein, da der Tagger Token für Token labelt und die hier von ihm erkannten Einheitsgrenzen bestimmen, was gelabelt wird.

2

Ein trainiertes POS-Modell für die Zielsprache weist jedem Token seine wahrscheinlichste grammatische Kategorie zu – Nomen, Verb, Adjektiv und so weiter –, wobei die umgebenden Token als Kontext zur Auflösung von Mehrdeutigkeiten gelesen werden. Dieser Schritt erfordert ein für die Sprache des Textes trainiertes Modell; ohne ein solches können die Tags nicht zuverlässig erzeugt werden.

3

Die resultierende Tag-Sequenz wird an nachgelagerte Aufgaben übergeben. POS-Tags sind die Eingabe, auf der syntaktische Analyse, Chunking und Informationsextraktionsschritte aufbauen, sodass die Qualität des Taggings direkt die Leistungsfähigkeit dieser späteren Phasen begrenzt.

Häufige Fallstricke

  • Die Anwendung eines für eine Sprache trainierten Modells auf Text in einer anderen Sprache führt zu unzuverlässigen Tags.
  • Das Überspringen oder fehlerhafte Behandeln der Tokenisierung im Vorfeld verschlechtert stillschweigend jedes Tag.
  • Die Behandlung von Tags als Ground Truth ohne Überprüfung von Fehlern lässt Mehrdeutigkeitsfehler in nachgelagerte Parsing- und Extraktionsschritte gelangen.

Häufig gestellte Fragen

Was genau erzeugt das POS-Tagging?

Es weist jedem Token im Text ein grammatisches Kategorielabel zu – wie Nomen, Verb oder Adjektiv –, sodass die Ausgabe ein Tag für jedes Wort ist.

Benötige ich ein großes Korpus, um es auszuführen?

Nein. Ein kleines Korpus von etwa zehn Einheiten oder mehr ist ausreichend. Die eigentliche Anforderung ist ein für die Sprache Ihres Textes trainiertes POS-Modell und ein bereits tokenisierter Text.

Warum muss die Tokenisierung zuerst erfolgen?

Der Tagger labelt Token für Token, daher definieren die von ihm gesehenen Token, was ein Tag erhält. Wenn die Tokenisierung falsch ist, sind die Grenzen falsch und die Tags werden es auch sein.

Was passiert, wenn das Modell nicht zu meiner Sprache passt?

Die Anwendung eines für eine Sprache trainierten Modells auf eine andere führt zu unzuverlässigen Tags. POS-Tagging setzt voraus, dass ein für die Zielsprache trainiertes Modell verfügbar ist.

Verwandte Methoden

Quellen

  1. Ratnaparkhi, A. (1996). A Maximum Entropy Model for Part-Of-Speech Tagging. EMNLP.

    Publikationsreferenz öffnen
    Kopiert.
  2. Manning, C.D. et al. (2014). The Stanford CoreNLP Natural Language Processing Toolkit. ACL.

    DOI-Referenz öffnen
    Kopiert.