Kollokationsanalyse — Wortassoziation
- Eingeführt von
- Church & Hanks
- Jahr
- 1990
- Typ
- Statistical text-mining technique
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Kollokationsanalyse ist eine statistische Text-Mining-Technik, die Wortpaare oder Ausdrücke identifiziert, die häufig zusammen auftreten, und dabei Assoziationsmaße anstelle von zufälliger Kookkurrenz verwendet.
Eingeführt in der lexikografischen Arbeit von Church und Hanks (1990), wird sie zur Terminologieextraktion und Sprachanalyse eingesetzt, um die mehrwortigen Einheiten aufzudecken, die in einem Korpus Bedeutung tragen.
Die Intuition hinter der Methode
Manche Wörter gehören einfach zusammen – 'starker Tee' klingt natürlich, während 'mächtiger Tee' nicht natürlich klingt, auch wenn die Bedeutung ähnlich ist. Kollokationsanalyse geht über die reine Häufigkeit hinaus und fragt, welche Wortpaare viel häufiger zusammen auftreten, als der Zufall vorhersagen würde. Durch statistisches Bewerten der Kookkurrenz werden die bedeutungsvollen Phrasen und festen Ausdrücke, die in einem Textkorpus verborgen sind, extrahiert, anstatt nur häufige Wörter aufzulisten.
Geschichte
Kollokationsanalyse als statistische Technik wurde von Church und Hanks (1990) etabliert, die Wortassoziationsnormen und wechselseitige Information für die Lexikografie einführten und zeigten, wie Kookkurrenzstatistiken bedeutungsvolle Wortpaare aufdecken können. Der Ansatz wurde im breiteren Feld der statistischen natürlichen Sprachverarbeitung von Manning und Schütze (1999) gefestigt.
Wann wird sie eingesetzt?
Kollokationsanalyse eignet sich, wenn Sie einen ausreichend großen Textkorpus (etwa 50 oder mehr Dokumente) haben und bedeutungsvolle mehrwortige Einheiten anstelle von einzelwortbezogenen Häufigkeiten finden möchten. Sie eignet sich für explorative und deskriptive Arbeiten zur Terminologieextraktion und linguistischen Analyse. Sie setzt genügend Text für stabile Kookkurrenzstatistiken voraus und dass Stoppwörter zuvor bereinigt wurden; bei sehr wenig Text werden die Assoziationswerte unzuverlässig.
Grenzen und Hinweise
- Benötigt einen ausreichend großen Korpus, damit die Kookkurrenzstatistiken stabil sind.
- Die Ergebnisse hängen stark von der Vorverarbeitung ab – verbleibende Stoppwörter verzerren die Assoziationen.
- Maße wie PMI können seltene Wortpaare überbewerten, die zufällig ein paar Mal zusammen auftreten.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Deckt bedeutungsvolle mehrwortige Ausdrücke und feste Phrasen auf, die reine Einzelworthäufigkeiten übersehen.
- Statistische Assoziationsmaße trennen echte Wortassoziationen von zufälligen Aneinanderreihungen.
- Konzeptionell einfach und leicht anzuwenden für Terminologieextraktion und Sprachanalyse.
Anwendungen
- Terminologieextraktion – Identifizierung domänenspezifischer mehrwortiger Begriffe in einem Korpus.
- Lexikografie und Wörterbucherstellung, Aufdeckung charakteristischer Wortassoziationen.
- Linguistische und diskursanalytische Untersuchung, wie Wörter in einem Textkorpus kombiniert werden.
- Vorbereitung von Kandidatenphrasen für nachgelagerte Text-Mining- und Informationsextraktionsaufgaben.
So funktioniert es
So funktioniert es
Der Korpus wird tokenisiert und bereinigt, wobei Stoppwörter entfernt werden, damit hochfrequente Funktionswörter nicht die bedeutungsvollen Assoziationen überdecken. Eine konsistente Vorverarbeitung hält die Kookkurrenzzählungen vergleichbar und die resultierenden Kollokationen interpretierbar.
Kandidatenwortpaare (typischerweise Bigramme) werden gebildet und ihre Kookkurrenzzählungen im gesamten Korpus gesammelt, zusammen mit den individuellen Häufigkeiten jedes Wortes. Diese Zählungen sind das Rohmaterial, aus dem jedes Assoziationsmaß aufgebaut ist.
Jedes Kandidatenpaar wird mit einem statistischen Assoziationsmaß bewertet – wie der punktweisen wechselseitigen Information (PMI) –, das vergleicht, wie oft die Wörter zusammen auftreten, verglichen mit der Erwartung, wie oft sie zufällig zusammen auftreten würden. Ein hoher Wert kennzeichnet eine echte Assoziation und keine zufällige Aneinanderreihung.
Kandidatenkollokationen werden nach ihren Assoziationswerten geordnet und die stärksten Paare ausgewählt (z. B. die Top-N nach PMI). Das Ergebnis ist eine Rangliste bedeutungsvoller Wortpaare und mehrwortiger Ausdrücke für die Terminologieextraktion oder Sprachanalyse.
Häufige Fallstricke
- Das Überspringen der Stoppwortentfernung lässt hochfrequente Funktionswörter dominieren und echte Kollokationen begraben.
- Die Durchführung der Analyse auf zu wenig Text liefert instabile, unzuverlässige Assoziationswerte.
- PMI bläht die Werte sehr seltener Paare auf, wenden Sie daher vor der Rangliste eine Mindestkookkurrenzzahl an.
- Die Behandlung eines hochfrequenten Paares als Kollokation ohne Assoziationstest verwechselt Häufigkeit mit bedeutungsvoller Assoziation.
Häufig gestellte Fragen
Was genau ist eine Kollokation?
Eine Kollokation ist ein Paar oder eine Sequenz von Wörtern, die häufiger zusammen auftreten, als der Zufall vorhersagen würde – eine habituelle Wortassoziation wie 'starker Tee' oder 'eine Entscheidung treffen'. Kollokationsanalyse findet diese, indem sie die Kookkurrenz statistisch bewertet, anstatt sie aus einer Häufigkeitsliste abzulesen.
Wie unterscheidet sich Kollokationsanalyse von Häufigkeitsanalyse?
Häufigkeitsanalyse zählt, wie oft Wörter oder N-Gramme vorkommen. Kollokationsanalyse geht weiter: Sie fragt, ob zwei Wörter häufiger zusammen auftreten als zufällig erwartet, unter Verwendung eines Assoziationsmaßes, und deckt so bedeutungsvolle Paarungen anstelle von lediglich häufigen auf.
Was ist PMI und warum wird es verwendet?
Punktweise wechselseitige Information (PMI) vergleicht, wie oft zwei Wörter zusammen auftreten, verglichen mit der Erwartung, wie oft sie unabhängig voneinander auftreten würden. Ein hoher PMI kennzeichnet eine starke Assoziation. Da PMI seltene Paare überbewerten kann, wird vor der Rangliste üblicherweise eine Mindestkookkurrenzzahl angewendet.
Wie viel Text benötige ich?
Die Technik erwartet einen ausreichend großen Korpus – in der Größenordnung von 50 oder mehr Dokumenten –, damit die Kookkurrenzzählungen stabil sind. Bei zu wenig Text schwanken die Assoziationswerte und die extrahierten Kollokationen werden unzuverlässig.
Verwandte Methoden
Quellen
Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.
Publikationsreferenz öffnenKopiert.Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN: 9780262133609Kopiert.