Lexikalische Diversität – Messung des Wortschatzreichtums
- Typ
- Text quantification / lexical richness measurement
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Die Analyse der lexikalischen Diversität quantifiziert, wie variantenreich der Wortschatz eines Textes ist – wie reichhaltig die Wortwahl eines Autors ist.
Dies geschieht mittels Maßen wie dem Type-Token-Ratio (TTR), MTLD, vocd-D und Yule's K. Die Maße MTLD und vocd-D wurden von McCarthy und Jarvis (2010) validiert, aufbauend auf früheren Arbeiten von Tweedie und Baayen (1998) zur Stabilität von Maßen des lexikalischen Reichtums.
Die Intuition hinter der Methode
Zählt man die Anzahl der unterschiedlichen Wörter, die ein Text verwendet, im Verhältnis zur Gesamtzahl der enthaltenen Wörter, erhält man einen Eindruck von dessen Wortschatzreichtum: Ein Text, der immer wieder dieselben wenigen Wörter wiederholt, ist weniger divers als einer, der viele verschiedene Wörter nutzt. Der Haken ist, dass dieses einfache Verhältnis schrumpft, je länger ein Text wird. Daher verwendet die Methode längenrobuste Maße und gleicht die Textlängen an, bevor ein Text mit einem anderen verglichen wird.
Geschichte
Die Quantifizierung des Wortschatzreichtums hat eine lange Geschichte in der Stilometrie und Korpuslinguistik. Tweedie und Baayen (1998) untersuchten, wie stabil verschiedene Maße des lexikalischen Reichtums in Abhängigkeit von der Textlänge sind, und zeigten die Grenzen längensensitiver Verhältnisse auf. McCarthy und Jarvis (2010) validierten dann anspruchsvollere Ansätze – MTLD, vocd-D und HD-D – und etablierten längenrobuste Maße als Standard für die Diversitätsbewertung.
Wann wird sie eingesetzt?
Verwenden Sie lexikalische Diversität, wenn Sie tokenisierten Text haben und den Reichtum seines Wortschatzes beschreiben oder vergleichen möchten – über Autoren, Dokumente oder Gruppen hinweg. Sie eignet sich für deskriptive und vergleichende Ziele und benötigt nur eine moderate Textmenge (mindestens etwa zehn Tokens), aber für einen fairen Vergleich müssen die zu vergleichenden Texte auf gleiche Länge gebracht und nach Sprache und Genre abgeglichen werden.
Grenzen und Hinweise
- Die Textlänge beeinflusst die TTR-Berechnung; rohes TTR ist unzuverlässig beim Vergleich von Texten unterschiedlicher Größe.
- Vergleichende Analysen erfordern zur Validität angeglichene Textlängen (Standardausschnitte oder Rarefizierung).
- Sprache und Genre verschieben Diversitätswerte, daher können unkontrollierte Vergleiche irreführend sein.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Wandelt den Wortschatzreichtum eines Textes mithilfe gut validierter Maße (TTR, MTLD, vocd-D, Yule's K) in eine einzige vergleichbare Zahl um.
- MTLD und vocd-D sind so konzipiert, dass sie robuster gegenüber der Textlänge sind als das rohe Type-Token-Ratio.
- Einfach anzuwenden und nützlich sowohl für deskriptive Profilerstellung als auch für den Vergleich zwischen Autoren oder Gruppen.
Anwendungen
- Profilierung des Wortschatzreichtums eines Autors in stilometrischen und Autorschaftsstudien.
- Vergleich der lexikalischen Diversität über Schriftsteller, Dokumente oder Genres hinweg in den Geisteswissenschaften.
- Beurteilung der Wortschatzentwicklung in der Sprachlern- und Bildungsforschung.
- Charakterisierung der Wortverwendungskonzentration in sozialwissenschaftlichen und geschäftlichen Textkorpora.
So funktioniert es
So funktioniert es
Der Text wird in Tokens (Wörter) aufgeteilt. Das Zählen der unterschiedlichen Worttypen im Verhältnis zur Gesamtzahl der Tokens ist die Grundlage, auf der jedes Diversitätsmaß aufbaut. Eine konsistente Tokenisierung über die zu vergleichenden Texte hinweg ist daher die erste Anforderung.
Ein oder mehrere Maße der lexikalischen Diversität werden berechnet. Das Type-Token-Ratio (TTR) teilt die Anzahl der unterschiedlichen Worttypen durch die Gesamtzahl der Tokens; MTLD und vocd-D schätzen die Diversität auf eine Weise, die weniger empfindlich auf die Textlänge reagiert; und Yule's K charakterisiert die Konzentration wiederholter Wörter. Zusammen beschreiben sie den Reichtum des Wortschatzes aus verschiedenen Blickwinkeln.
Da das TTR mit zunehmender Textlänge schrumpft, sind Rohwerte über Texte unterschiedlicher Größe hinweg nicht direkt vergleichbar. MTLD und vocd-D sind von Natur aus längenunabhängiger, aber für jeden Vergleich sollten die Texte auf eine gleiche Basis gestellt werden – zum Beispiel durch Angleichung der Längen mit standardisierten Textausschnitten oder Rarefizierung –, damit Unterschiede den Wortschatz und nicht die Dokumentlänge widerspiegeln.
Normalisierte Werte werden über Texte, Autoren oder Gruppen hinweg verglichen. Da Sprache und Genre ebenfalls die Diversität beeinflussen, werden diese Faktoren konstant gehalten oder kontrolliert, sodass der Vergleich das Signal des Wortschatzreichtums isoliert und nicht durch Störfaktoren verfälscht wird.
Häufige Fallstricke
- Vergleich von rohem TTR über Texte unterschiedlicher Länge hinweg – längere Texte zeigen unweigerlich ein niedrigeres TTR, sodass der Vergleich die Länge und nicht den Wortschatz widerspiegelt; verwenden Sie MTLD oder vocd-D oder gleichen Sie zuerst die Längen an.
- Das Versäumnis, Textlängen in einem Vergleich anzugleichen (kein Standardausschnitt oder Rarefizierung), macht den Diversitätsunterschied uninterpretierbar.
- Das Ignorieren von Sprach- und Genreunterschieden beim Vergleich von Texten vermischt das Signal des Wortschatzreichtums mit stilistischen Faktoren.
Häufig gestellte Fragen
Warum nicht einfach das Type-Token-Ratio (TTR) verwenden?
TTR ist intuitiv, schrumpft aber, wenn ein Text wächst, da jeder Text irgendwann gängige Wörter wiederverwendet. Das macht rohes TTR unzuverlässig für den Vergleich von Texten unterschiedlicher Länge. MTLD und vocd-D sind so konzipiert, dass sie weitaus weniger empfindlich auf die Textlänge reagieren, weshalb sie für Vergleiche bevorzugt werden.
Wie viel Text benötige ich?
Die Methode funktioniert mit einer moderaten Textmenge – mindestens etwa zehn Tokens –, aber mehr Text führt zu stabileren Schätzungen. Für den Vergleich ist am wichtigsten, dass die Texte auf eine gleiche Länge gebracht werden, und nicht, dass ein einzelner Text sehr lang ist.
Kann ich die Diversität zweier verschiedener Texte direkt vergleichen?
Nur nachdem sie auf eine gleiche Basis gestellt wurden. Gleichen Sie ihre Längen mit standardisierten Textausschnitten oder Rarefizierung an und kontrollieren Sie Sprache und Genre, da alle drei Faktoren die Diversitätswerte unabhängig vom Wortschatzreichtum beeinflussen.
Welches Maß sollte ich berichten?
MTLD und vocd-D sind die validierten, längenrobusten Optionen und werden in der Regel bevorzugt. Yule's K beschreibt, wie konzentriert wiederholte Wörter sind, und TTR bleibt eine nützliche einfache deskriptive Größe, wenn Texte in der Länge abgeglichen sind. Das Berichten mehrerer Maße vermittelt ein vollständigeres Bild.
Verwandte Methoden
Quellen
McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.
DOI-Referenz öffnenKopiert.Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.
DOI-Referenz öffnenKopiert.