TF-IDF — Termfrequenz–Inverse Dokumentfrequenz
- Eingeführt von
- Salton & Buckley
- Jahr
- 1988
- Typ
- Text vectorization / term-weighting scheme
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
TF-IDF, eingeführt von Salton und Buckley (1988), ist ein Termgewichtungsschema, das jedes Wort in einem Dokument danach bewertet, wie oft es dort vorkommt und wie selten es in der gesamten Sammlung ist.
Es wandelt Roh-Text in gewichtete Dokumentenvektoren um und weist Begriffen, die in einem Dokument häufig, aber anderswo selten vorkommen, ein hohes Gewicht zu.
Die Intuition hinter der Methode
Nicht jedes Wort, das oft vorkommt, ist informativ – Wörter wie „der“ kommen überall vor und sagen wenig darüber aus, worum es in einem Dokument geht. TF-IDF erfasst die Idee, dass ein Begriff am wichtigsten ist, wenn er in einem bestimmten Dokument häufig, aber im Rest der Sammlung selten vorkommt. Durch die Multiplikation der lokalen Häufigkeit eines Begriffs mit seiner globalen Einzigartigkeit hebt das Schema die Wörter hervor, die jedes Dokument tatsächlich charakterisieren, und reduziert die Gewichtung allgemeiner Wörter.
Geschichte
TF-IDF entstand aus der Arbeit von Salton und Buckley (1988) im Bereich Information Retrieval, die systematisch Termgewichtungsansätze für die automatische Textwiederauffindung verglichen und die Kombination von Termfrequenz mit inverser Dokumentfrequenz als effektives Dokumentrepräsentationsschema etablierten. Es wurde zu einer grundlegenden Basis für die Textvektorisierung und wird nach wie vor weithin als transparente Merkmalsrepräsentation verwendet.
Wann wird sie eingesetzt?
Verwenden Sie TF-IDF, wenn Sie einen Textkorpus haben und Dokumente für die Abfrage, Klassifizierung oder Ähnlichkeitsvergleich in numerische Merkmale umwandeln müssen. Es beruht auf der Bag-of-Words-Annahme und erfordert eine vorherige Textvorverarbeitung. Die Sammlung sollte einigermaßen groß sein – bei weniger als etwa 100 Dokumenten werden die IDF-Gewichte instabil und eine einfache Worthäufigkeitsanalyse ist zuverlässiger. Ohne Textdaten überhaupt kann TF-IDF nicht berechnet werden.
Grenzen und Hinweise
- Basiert auf der Bag-of-Words-Annahme und ignoriert Wortreihenfolge und Kontext.
- IDF-Gewichte werden bei sehr kleinen Korpora instabil und bedeutungslos.
- Erfordert sorgfältige Textvorverarbeitung; verrauschte Token verschlechtern die Gewichte.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Einfach, schnell und interpretierbar – jedes Gewicht ist direkt auf die lokale Häufigkeit und die globale Seltenheit zurückzuführen.
- Wandelt Roh-Text in numerische Dokumentenvektoren um, die von Such-, Klassifizierungs- und Clustering-Methoden verwendet werden können.
- Reduziert die Gewichtung allgegenwärtiger, uninformativen Wörter und hebt gleichzeitig Terme hervor, die ein Dokument unterscheiden.
Anwendungen
- Repräsentation von Dokumenten als Merkmalsvektoren für die Textklassifizierung.
- Ranking und Abrufen von Dokumenten in Suchanwendungen.
- Identifizierung der unterscheidendsten Schlüsselwörter, die ein Dokument charakterisieren.
- Erstellung von Eingaben für Dokumenten-Clustering und Ähnlichkeitsvergleich.
So funktioniert es
So funktioniert es
Der Textkorpus wird bereinigt und in Terme zerlegt – der Text wird normalisiert und in die Worteinheiten aufgeteilt, die gewichtet werden. Da TF-IDF auf der Bag-of-Words-Annahme beruht, macht eine konsistente Vorverarbeitung aller Dokumente die resultierenden Zählungen vergleichbar.
Für jedes Dokument zählt die Termfrequenz (TF), wie oft jeder Term in diesem Dokument vorkommt. Ein Term, der innerhalb eines einzelnen Dokuments viele Male vorkommt, erhält ein höheres lokales Gewicht, was seine Zentralität für den Inhalt dieses Dokuments widerspiegelt.
Über die gesamte Sammlung hinweg misst die inverse Dokumentfrequenz (IDF), wie selten jeder Term ist – Terme, die in vielen Dokumenten vorkommen, erhalten eine niedrige IDF, während Terme, die auf wenige Dokumente beschränkt sind, eine hohe IDF erhalten. Dies unterdrückt allgegenwärtige, uninformativen Wörter und belohnt unterscheidende.
Die TF- und IDF-Komponenten werden zu einem einzigen Gewicht pro Term kombiniert, und jedes Dokument wird zu einem Vektor dieser gewichteten Scores. Die resultierenden Dokument-Term-Vektoren sind die Repräsentation, die nachgelagerte Aufgaben – Suche, Klassifizierung, Clustering – verbrauchen.
Häufige Fallstricke
- Ausführung von TF-IDF auf einem Korpus unter ca. 100 Dokumenten – IDF-Gewichte werden bedeutungslos, daher Rückgriff auf eine einfache Worthäufigkeitsanalyse.
- Überspringen oder inkonsistente Vorverarbeitung über Dokumente hinweg, was die Termzählungen unvergleichbar macht.
- Versuch, TF-IDF anzuwenden, wenn keine Textdaten vorhanden sind – kategoriale Kodierung mit Inhaltsanalyse ist der geeignete Weg.
- Erwartung, dass TF-IDF Bedeutung oder Kontext erfasst: Es gewichtet isolierte Terme und kann Wortreihenfolge oder Semantik nicht modellieren.
Häufig gestellte Fragen
Was messen TF und IDF jeweils?
Termfrequenz (TF) misst, wie oft ein Term innerhalb eines einzelnen Dokuments vorkommt und erfasst seine lokale Zentralität. Inverse Dokumentfrequenz (IDF) misst, wie selten der Term in der gesamten Sammlung ist, und reduziert die Gewichtung von Wörtern, die in vielen Dokumenten vorkommen. Ihre Multiplikation ergibt ein hohes Gewicht für Terme, die in einem Dokument häufig, aber anderswo selten sind.
Wie groß muss mein Korpus sein?
TF-IDF benötigt eine einigermaßen große Sammlung – etwa 100 Dokumente oder mehr. Darunter werden die IDF-Gewichte instabil und verlieren an Bedeutung, und eine einfachere Worthäufigkeitsanalyse ist die zuverlässigere Wahl.
Versteht TF-IDF Bedeutung oder Kontext?
Nein. TF-IDF beruht auf der Bag-of-Words-Annahme: Es gewichtet einzelne Terme nach Häufigkeit und Seltenheit und ignoriert Wortreihenfolge, Syntax und Semantik. Für Kontext oder semantische Ähnlichkeit sind Embedding-Methoden wie Word2Vec besser geeignet.
Welche Vorverarbeitung ist erforderlich?
Der Korpus muss vor der Gewichtung konsistent bereinigt und tokenisiert werden – Text normalisieren und in vergleichbare Termeinheiten aufteilen. Das Überspringen dieses Schritts hinterlässt verrauschte Token, die die Gewichte verschlechtern.
Verwandte Methoden
Quellen
Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.
DOI-Referenz öffnenKopiert.