Zum Inhalt springen
Zurück zu den Suchergebnissen

Morphologische Analyse — Stemming und Lemmatisierung

Eingeführt von
M.F. Porter (Porter stemmer)
Jahr
1980
Typ
Text-normalisation preprocessing task

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Die morphologische Analyse zerlegt Wörter in ihre Stämme und Affixe, sodass verschiedene Oberflächenformen desselben Wortes als eine Einheit behandelt werden können.

Sie umfasst zwei komplementäre Ansätze – regelbasiertes Stemming, wie die Algorithmen von Porter (1980) und Snowball, und wörterbuchbasierte Lemmatisierung – und ist ein kritischer Schritt zur Textnormalisierung für agglutinierende Sprachen wie Türkisch und Arabisch.

Die Intuition hinter der Methode

Ein Leser weiß, dass „running“, „runs“ und „ran“ alle auf das Verb „run“ zurückgehen, aber für eine Maschine sind dies drei unabhängige Zeichenketten. Die morphologische Analyse entfernt die grammatischen Endungen eines Wortes, um die zugrunde liegende Form wiederherzustellen, sodass die vielen Erscheinungsformen eines Wortes zu einem einzigen Token zusammenfallen. Stemming kürzt Suffixe regelbasiert ab; Lemmatisierung schlägt das Wort nach, um seine wahre Wörterbuchform zurückzugeben. In beiden Fällen ist das Ziel, ein Konzept nicht als mehrere verschiedene Wörter zu zählen.

Geschichte

Regelbasiertes Stemming wurde durch Porters (1980) Suffix-Entfernungsalgorithmus populär, der ein Referenzpunkt bleibt und sich später zur Snowball-Familie von Stemmern entwickelte. Probabilistische und modellbasierte morphologische Analyse folgten, wobei Schmids (1994) Entscheidungsbaum-Part-of-Speech-Tagger den Übergang zu statistischen Ansätzen veranschaulicht, die die moderne Lemmatisierung prägen.

Wann wird sie eingesetzt?

Verwenden Sie die morphologische Analyse als Normalisierungsschritt, wann immer Sie tokenisierten Text und Morphologieregeln oder ein Modell für dessen Sprache haben. Sie ist besonders wertvoll für agglutinierende Sprachen wie Türkisch und Arabisch, wo eine einzelne Wurzel viele Oberflächenformen erzeugt. Sie erfordert, dass der Text zuerst tokenisiert wird und eine Morphologieressource für die Zielsprache vorhanden ist; ohne diese kann sie nicht zuverlässig ausgeführt werden.

Grenzen und Hinweise

  • Erfordert, dass Morphologieregeln oder ein Modell für die Zielsprache bereits existieren.
  • Der Text muss tokenisiert werden, bevor die Analyse beginnen kann.
  • Regelbasiertes Stemming kann zu Über-Stemming (Zusammenführung nicht verwandter Wörter) oder Unter-Stemming (Verpassen gültiger Varianten) führen.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Führt flektierte Varianten eines Wortes zu einer einzigen Form zusammen, wodurch der Wortschatz für die nachgelagerte Analyse verkleinert wird.
  • Bietet ein Spektrum von schnellem regelbasiertem Stemming (Porter, Snowball) bis hin zu wörterbuchgenauer Lemmatisierung.
  • Besonders leistungsstark für agglutinierende Sprachen wie Türkisch und Arabisch, wo viele Formen eine Wurzel teilen.

Anwendungen

  • Normalisierung von Text vor der Indexierung, Suche oder Informationsabfrage.
  • Reduzierung der Vokabulargröße vor der Textklassifikation oder Topic Modeling.
  • Vorverarbeitung von Korpora agglutinierender Sprachen (Türkisch, Arabisch), wo sich Oberflächenformen vervielfachen.
  • Bereinigung und Standardisierung von Textmerkmalen für nachgelagerte Text-Mining-Pipelines.

So funktioniert es

So funktioniert es

1

Der Text wird zunächst in einzelne Wort-Tokens segmentiert. Die morphologische Analyse arbeitet mit Wörtern, daher muss der Korpus bereits tokenisiert sein, bevor Stämme oder Lemmata extrahiert werden können; dies ist eine explizite Voraussetzung der Methode.

2

Jedes Token wird anhand der Morphologie der Zielsprache untersucht, um den Stamm von seinen Affixen (Präfixen, Suffixen, Flexionen) zu trennen. Dieser Schritt erfordert, dass morphologische Regeln oder ein Modell für die betreffende Sprache existieren, was besonders in reich flektierenden, agglutinierenden Sprachen von Bedeutung ist.

3

Das Wort wird auf eine kanonische Form reduziert. Ein Stemming-Ansatz (Porter, Snowball) entfernt Suffixe regelbasiert, um einen Stamm zu erzeugen, der kein echtes Wort sein muss, während ein Lemmatisierung-Ansatz das tatsächliche Wörterbuchlemma zurückgibt, optional geleitet durch die Wortart des Wortes.

4

Die reduzierten Formen werden in den Korpus zurückgeschrieben, sodass variantenreiche Oberflächenformen auf ein Token abgebildet werden. Diese Normalisierung verkleinert den Wortschatz und ermöglicht es nachgelagerten Text-Mining-Schritten, flektierte Varianten eines Wortes als dasselbe Merkmal zu behandeln.

Häufige Fallstricke

  • Stemming kann Stämme erzeugen, die keine echten Wörter sind; behandeln Sie einen Stamm nicht als Wörterbuchform, wenn ein echtes Lemma benötigt wird.
  • Die Anwendung eines englischen Stemmers auf Text in einer anderen Sprache führt zu bedeutungslosen Ergebnissen – die Morphologieressource muss zur Korpus-Sprache passen.
  • Das Überspringen der Tokenisierung führt zu fehlerhaften Tokens im Analysator und korrumpiert die Ausgabe.
  • Über-Stemming führt unterschiedliche Wörter zu einem Stamm zusammen, und Unter-Stemming lässt Varianten getrennt; wählen Sie zwischen Stemming und Lemmatisierung, je nachdem, wie exakt Ihre nachgelagerte Aufgabe sein muss.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Stemming und Lemmatisierung?

Stemming entfernt Suffixe regelbasiert (wie bei den Porter- oder Snowball-Algorithmen), um einen Stamm zu erhalten, der kein echtes Wort sein muss, und ist schnell. Lemmatisierung schlägt das Wort nach – oft unter Verwendung seiner Wortart – um das tatsächliche Wörterbuchlemma zurückzugeben, was genauer, aber aufwendiger ist.

Warum ist dies besonders wichtig für Sprachen wie Türkisch und Arabisch?

Dies sind agglutinierende Sprachen, in denen eine einzelne Wurzel viele Affixe annehmen und eine große Anzahl von Oberflächenformen erzeugen kann. Die morphologische Analyse führt diese Formen auf die Wurzel zurück, was für die Textnormalisierung in solchen Sprachen unerlässlich ist.

Muss ich den Text zuerst tokenisieren?

Ja. Die morphologische Analyse arbeitet mit einzelnen Wörtern, daher muss der Korpus bereits tokenisiert sein. Die Tokenisierung ist eine explizite Voraussetzung der Methode.

Was geht schief, wenn die Morphologieressource nicht zur Sprache passt?

Die Ausgabe wird bedeutungslos. Die Regeln oder das Modell müssen für die Zielsprache erstellt werden; die Anwendung beispielsweise eines englischen Stemmers auf nicht-englischen Text erzeugt falsche Stämme.

Verwandte Methoden

Quellen

  1. Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.

    DOI-Referenz öffnen
    Kopiert.
  2. Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).

    Publikationsreferenz öffnen
    Kopiert.