Zum Inhalt springen
Zurück zu den Suchergebnissen

Semantische Ähnlichkeit — Messung von Bedeutung zwischen Texten

Eingeführt von
Nils Reimers & Iryna Gurevych (Sentence-BERT)
Jahr
2019
Typ
NLP text-comparison task

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Die semantische Ähnlichkeitsanalyse misst, wie nah zwei Texte in ihrer Bedeutung sind, anstatt wie viele Wörter sie an der Oberfläche teilen.

Aufbauend auf der Sentence-BERT-Arbeit von Reimers und Gurevych (2019) repräsentiert sie jeden Text als Vektor und vergleicht diese Vektoren, sodass Paraphrasen hohe Werte erzielen, auch wenn ihre Wortwahl unterschiedlich ist.

Die Intuition hinter der Methode

Zwei Sätze können völlig unterschiedliche Wörter verwenden und doch dasselbe sagen, während zwei andere Wörter teilen, aber etwas anderes bedeuten können. Das Zählen überlappender Wörter verfehlt dies. Die Idee ist, jeden Text in einem Bedeutungsraum zu platzieren – mithilfe eines Einbettungsmodells –, sodass Texte mit ähnlicher Bedeutung nahe beieinander liegen. Der Abstand zwischen diesen Punkten wird dann zu einem Ähnlichkeitswert: hoch für Paraphrasen, niedrig für unzusammenhängende Passagen.

Geschichte

Die semantische Ähnlichkeit entstand aus den gemeinsamen Aufgaben zur semantischen textuellen Ähnlichkeit (Semantic Textual Similarity), die auf *SEM und SemEval (Agirre et al., 2013) eingeführt wurden und das Problem der Bewertung der Ähnlichkeit zweier Sätze in ihrer Bedeutung formulierten. Das Feld entwickelte sich mit Sentence-BERT (Reimers & Gurevych, 2019) rasant weiter, das Satz-Einbettungen erzeugte, die direkt mit Kosinus-Ähnlichkeit verglichen werden können, wodurch semantische Vergleiche in großem Maßstab praktikabel wurden.

Wann wird sie eingesetzt?

Verwenden Sie semantische Ähnlichkeit, wenn Sie Textpaare haben und wissen möchten, wie nah sie in der Bedeutung sind, anstatt wie viele Wörter sie teilen – zur Plagiatserkennung und Duplikaterkennung, zur Absatzabgleichung oder zur Informationsbeschaffung. Sie erfordert ein Einbettungsmodell, das die Sprache der Texte unterstützt, und mindestens eine kleine Menge von Textpaaren zum Vergleichen; ohne Textdaten kann sie nicht ausgeführt werden.

Grenzen und Hinweise

  • Erfordert Textpaare zum Vergleichen; es gilt nicht, wenn keine Textdaten vorhanden sind.
  • Die Qualität hängt vollständig vom Einbettungsmodell ab, das die Sprache der Texte abgleicht.
  • Ein Ähnlichkeitswert spiegelt die Vorstellung von Bedeutung des Modells wider, die möglicherweise nicht mit einer domänenspezifischen oder rechtlichen Definition von 'gleich' übereinstimmt.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Erfasst Bedeutung statt oberflächlicher Wortüberschneidung, sodass Paraphrasen mit unterschiedlicher Wortwahl immer noch als ähnlich eingestuft werden.
  • Funktioniert sprachübergreifend, wenn ein mehrsprachiges Einbettungsmodell verwendet wird.
  • Erzeugt einen einzelnen, vergleichbaren Wert pro Paar, der für Aufgaben wie Duplikaterkennung oder Abfrage leicht zu schwellenwertieren ist.

Anwendungen

  • Plagiat- und Kopiererkennung durch Vergleich von eingereichtem Text mit Referenzquellen.
  • Abgleich von Absätzen und Passagen über Dokumente hinweg.
  • Informationsbeschaffung – Rangfolge von Dokumenten nach Bedeutungsnähe zu einer Anfrage.
  • Deduplizierung von nahezu identischem Inhalt in großen Textsammlungen.

So funktioniert es

So funktioniert es

1

Man beginnt mit Textpaaren, die man vergleichen möchte – zum Beispiel einem eingereichten Absatz gegen eine Referenzpassage oder einer Anfrage gegen Kandidatendokumente. Für einen aussagekräftigen Vergleich ist mindestens eine moderate Anzahl von Paaren erforderlich, und die beiden Mitglieder jedes Paares müssen zusammen verfügbar sein.

2

Jeder Text wird durch ein Einbettungsmodell geleitet, das ihn in einen numerischen Vektor umwandelt, der seine Bedeutung erfasst. Das Einbettungsmodell muss die Sprache der Texte unterstützen; ein mehrsprachiges Satz-Einbettungsmodell wird verwendet, wenn der Korpus nicht englischsprachig ist. Dies ist der Schritt, der es ermöglicht, dass Paraphrasen mit unterschiedlichen Wörtern dennoch nahe Vektoren zugeordnet werden.

3

Die Vektoren der beiden Texte werden verglichen, am häufigsten mit Kosinus-Ähnlichkeit, was eine einzelne Zahl ergibt, die die Nähe der Texte in der Bedeutung zusammenfasst. Höhere Werte deuten auf engere Bedeutung hin; der Wert ist begrenzt und über Paare hinweg vergleichbar.

4

Die Ähnlichkeitswerte werden im Kontext gelesen – zur Kennzeichnung wahrscheinlicher Kopien, zur Rangfolge übereinstimmender Absätze oder zur Abfrage der relevantesten Passagen. Für die jeweilige Aufgabe wird in der Regel ein Schwellenwert gewählt, und grenzwertige Paare werden inspiziert, bevor eine Entscheidung getroffen wird.

Häufige Fallstricke

  • Die Anwendung eines Einbettungsmodells, das die Sprache des Korpus nicht unterstützt, liefert unzuverlässige Werte; passen Sie das Modell an die Sprache an.
  • Behandeln Sie einen Ähnlichkeitswert als endgültiges Urteil – wählen Sie einen aufgabengerechten Schwellenwert und inspizieren Sie grenzwertige Paare, anstatt sich allein auf die Zahl zu verlassen.
  • Der Vergleich zu weniger Paaren bietet wenig Grundlage für die Wahl eines sinnvollen Schwellenwerts.

Häufig gestellte Fragen

Wie unterscheidet sich dies vom Vergleich gemeinsamer Wörter?

Wortüberschneidungsmaße zählen nur übereinstimmende Token und verfehlen daher Paraphrasen, die mit unterschiedlichen Wörtern dieselbe Bedeutung haben. Semantische Ähnlichkeit bettet jeden Text in einen Bedeutungsraum ein und vergleicht die Vektoren, sodass die Nähe in der Bedeutung erfasst wird, auch wenn die Wortwahl unterschiedlich ist.

Funktioniert es auch in anderen Sprachen als Englisch?

Ja, vorausgesetzt, das Einbettungsmodell unterstützt die Zielsprache. Ein mehrsprachiges Satz-Einbettungsmodell wird verwendet, wenn der Korpus nicht englischsprachig ist; die Anwendung eines Modells, das die Sprache nicht abdeckt, liefert unzuverlässige Werte.

Wie wandle ich einen Ähnlichkeitswert in eine Entscheidung um?

Wählen Sie einen Schwellenwert, der für die Aufgabe geeignet ist – zum Beispiel einen hohen Grenzwert für die Kennzeichnung wahrscheinlicher Kopien – und inspizieren Sie grenzwertige Paare, bevor Sie handeln. Der Rohwert ist über Paare hinweg vergleichbar, ist aber selbst kein Urteil.

Wie wird der Ähnlichkeitswert berechnet?

Jeder Text wird von einem Einbettungsmodell in einen Vektor kodiert, und die beiden Vektoren werden verglichen, am häufigsten mit Kosinus-Ähnlichkeit, was eine einzelne, begrenzte Zahl ergibt, bei der höhere Werte eine engere Bedeutung bedeuten.

Verwandte Methoden

Quellen

  1. Reimers, N. & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP.

    Publikationsreferenz öffnen
    Kopiert.
  2. Agirre, E. et al. (2013). *SEM 2013 shared task: Semantic Textual Similarity. ACL (*SEM).

    Publikationsreferenz öffnen
    Kopiert.