Text Frequency Analysis — Wort- und N-Gramm-Zählungen
- Eingeführt von
- George K. Zipf (frequency-distribution foundation)
- Jahr
- 1949
- Typ
- Descriptive text-mining analysis
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Textfrequenzanalyse ist eine deskriptive Text-Mining-Methode, die zählt, wie oft Wörter, N-Gramme und Phrasen in einem Korpus vorkommen, um Inhaltmuster und dominante Themen aufzudecken.
Sie beruht auf der Einsicht in die Häufigkeitsverteilung, die von George K. Zipf (1949) formalisiert wurde, dass wenige Begriffe sehr häufig vorkommen, während die meisten selten sind, und sie ist einer der grundlegendsten und am weitesten verbreiteten Einstiegspunkte in die quantitative Textanalyse.
Die Intuition hinter der Methode
Wenn Sie einen Textkorpus lesen, verraten Ihnen die immer wiederkehrenden Wörter, worum es geht. Die Textfrequenzanalyse macht diese Intuition explizit und reproduzierbar: Anstatt zu überfliegen, zählen Sie jedes Token, jede Zwei- oder Drei-Wort-Sequenz und jede wiederkehrende Phrase und ordnen sie dann nach ihrer Häufigkeit. Das Ergebnis ist eine Häufigkeitstabelle, die auf einen Blick das dominante Vokabular und die Themen eines Korpus aufzeigt, ohne subjektives Lesen.
Geschichte
Die Textfrequenzanalyse baut auf Zipfs (1949) Beobachtung in 'Human Behavior and the Principle of Least Effort' auf, dass Worthäufigkeiten einer charakteristischen Verteilung folgen, bei der wenige Wörter sehr oft vorkommen und die meisten selten sind. Manning und Schütze (1999) etablierten in 'Foundations of Statistical Natural Language Processing' die Frequenzzählung als grundlegendes Werkzeug der statistischen NLP, auf dem reichhaltigere Methoden wie TF-IDF und Topic Modelling aufbauen.
Wann wird sie eingesetzt?
Verwenden Sie Textfrequenzanalyse, wenn Sie Textdaten haben und einen deskriptiven oder explorativen ersten Blick auf das dominante Vokabular, N-Gramme oder Phrasen wünschen. Sie eignet sich für Querschnitts- und Längsschnittkorpora und benötigt nur eine moderate Textmenge (etwa 10 Dokumente oder mehr). Eine ordnungsgemäße Vorverarbeitung – Tokenisierung, Entfernung von Stoppwörtern und Lemmatisierung – sollte zuerst erfolgen, und Sie sollten bedenken, dass Korpusgröße und sprachliche Vielfalt die Zuverlässigkeit der Häufigkeiten beeinflussen.
Grenzen und Hinweise
- Korpusgröße und sprachliche Vielfalt beeinflussen die Zuverlässigkeit der Häufigkeiten.
- Rohzählungen erfassen Oberflächenvokabular, aber nicht Kontext, Bedeutung oder Sentiment.
- Ergebnisse hängen stark von Vorverarbeitungsentscheidungen wie Stoppwortlisten und Lemmatisierung ab.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Einfach, transparent und leicht zu interpretieren – sie ist der grundlegendste Einstieg in die quantitative Textanalyse.
- Deckt Inhaltmuster und dominante Themen direkt aus Rohzählungen auf, ohne dass beschriftete Trainingsdaten erforderlich sind.
- Funktioniert gleichermaßen für Wörter, N-Gramme und Phrasen, sodass sie sich an verschiedene Bedeutungseinheiten anpasst.
Anwendungen
- Identifizierung des dominanten Vokabulars und der Themen einer Dokumentensammlung.
- Erforschung von N-Gramm- und Phrasenmustern in Umfrageantworten oder Interviewtranskripten.
- Profilierung von Inhalten in Korpora aus den Bereichen Soziales, Gesundheit, Bildung, Ingenieurwesen und Wirtschaft.
- Dient als deskriptiver erster Schritt vor fortgeschritteneren Text-Mining-Methoden.
So funktioniert es
So funktioniert es
Der Rohtext wird vorbereitet, bevor etwas gezählt wird: Er wird in Wörter tokenisiert, Stoppwörter (hochfrequente Funktionswörter wie 'der' oder 'und') werden entfernt, und die verbleibenden Token werden zu einer gemeinsamen Grundform lemmatisiert. Eine konsistente Vorverarbeitung macht die endgültigen Zählungen vergleichbar und aussagekräftig, anstatt von grammatikalischen Füllwörtern dominiert zu werden.
Jede Einheit von Interesse wird im gesamten Korpus gezählt. Einzelne Token werden für die Worthäufigkeit gezählt, benachbarte Token-Sequenzen für die N-Gramm-Häufigkeit (Bigramme, Trigramme) und wiederkehrende mehrwortige Ausdrücke als Phrasen gezählt. Das Ergebnis dieser Stufe ist eine Rohzählung für jeden einzelnen Begriff.
Die gezählten Begriffe werden von der häufigsten zur seltensten geordnet, typischerweise als Liste der häufigsten Begriffe berichtet. Diese Rangliste zeigt die charakteristische Verteilung – ein kleines Kopfsegment mit sehr häufigen Begriffen und einen langen Schwanz mit seltenen, im Einklang mit Zipfs Gesetz.
Die Rangfolgen der Häufigkeiten werden auf Inhaltmuster und dominante Themen hin gelesen. Die Größe des Korpus und seine sprachliche Vielfalt beeinflussen die Zuverlässigkeit der Zählungen, daher berücksichtigt die Interpretation die Korpusgröße und den langen Schwanz seltener Wörter, anstatt einzelne Zählungen zu überinterpretieren.
Häufige Fallstricke
- Das Überspringen der Vorverarbeitung lässt hochfrequente Funktionswörter und flektierte Varianten die Tabelle dominieren und den eigentlichen Inhalt verdecken.
- Das Lesen von Häufigkeiten aus einem zu kleinen oder zu engen Korpus liefert instabile Zählungen, die nicht verallgemeinert werden können.
- Überinterpretation des langen Schwanzes – seltene Begriffe (der Zipfianische Schwanz) tragen wenig Frequenzsignal und werden leicht mit Rauschen oder Bedeutung verwechselt.
- Der Vergleich von Rohzählungen über Korpora unterschiedlicher Größe ohne Normalisierung führt zu irreführenden Schlussfolgerungen.
Häufig gestellte Fragen
Was zählt die Textfrequenzanalyse eigentlich?
Sie zählt, wie oft einzelne Wörter, benachbarte Wortsequenzen (N-Gramme wie Bigramme und Trigramme) und wiederkehrende Phrasen in einem Korpus vorkommen, und ordnet sie dann. Das Ergebnis ist eine Häufigkeitstabelle, die die dominanten Begriffe und Themen aufzeigt.
Warum muss ich den Text zuerst vorverarbeiten?
Ohne Tokenisierung, Entfernung von Stoppwörtern und Lemmatisierung dominieren hochfrequente Funktionswörter und flektierte Varianten desselben Wortes die Zählungen und verdecken den eigentlichen Inhalt. Eine konsistente Vorverarbeitung hält die Häufigkeiten vergleichbar und aussagekräftig.
Was ist Zipfs Gesetz und warum ist es hier wichtig?
Zipfs Gesetz beschreibt das typische Muster, dass eine kleine Anzahl von Wörtern sehr häufig vorkommt, während die meisten Wörter selten sind und einen langen Schwanz bilden. Es erklärt die Form der Rangliste der Häufigkeiten und warnt davor, den Schwanz seltener Wörter zu überinterpretieren.
Wie viel Text benötige ich?
Ein moderater Korpus von etwa zehn Dokumenten oder mehr ist machbar, aber die Korpusgröße und die sprachliche Vielfalt beeinflussen die Zuverlässigkeit der Häufigkeiten – größere und repräsentativere Korpora liefern stabilere Zählungen.
Verwandte Methoden
Quellen
Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.
Publikationsreferenz öffnenKopiert.Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609Kopiert.