Zum Inhalt springen
Zurück zu den Suchergebnissen

GloVe Embeddings — Global Vectors for Word Representation

Eingeführt von
Pennington, Socher & Manning
Jahr
2014
Typ
Static word-embedding model

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

GloVe (Global Vectors for Word Representation) ist ein statisches Wort-Einbettungsmodell, das von Pennington, Socher und Manning (2014) eingeführt wurde und Wortvektoren direkt aus globalen Wort-Wort-Kookkurrenzstatistiken lernt, die über einen gesamten Korpus gesammelt wurden.

Die resultierenden Vektoren platzieren semantisch verwandte Wörter nahe beieinander und erzielen starke Ergebnisse bei semantischen Analogieaufgaben.

Die Intuition hinter der Methode

Wörter, die in ähnlichen Kontexten vorkommen, bedeuten tendenziell ähnliche Dinge. Anstatt Text ein kleines Fenster nach dem anderen zu durchsuchen, zählt GloVe zunächst, wie oft jedes Wortpaar im gesamten Korpus zusammen vorkommt, und passt dann Vektoren so an, dass die Beziehungen zwischen diesen Zählungen als geometrische Beziehungen zwischen Wortvektoren erfasst werden. Der Vorteil ist, dass einfache Vektorarithmetik Bedeutung widerspiegelt – die Struktur, die Analogien wie „König ist zu Königin wie Mann zu Frau“ aus der Geometrie hervorgehen lässt.

Geschichte

GloVe wurde von Pennington, Socher und Manning auf der EMNLP 2014 vorgestellt. Es wurde als ein Modell positioniert, das die Stärken von globalen Matrixfaktorisierungsmethoden und lokalen Kontextfenstermethoden kombiniert, indem es direkt auf der globalen Wort-Wort-Kookkurrenzmatrix trainiert, und es wurde zu einer weit verbreiteten Quelle für vortrainierte statische Wortvektoren.

Wann wird sie eingesetzt?

GloVe eignet sich für Textdaten, wenn Sie einen festen, wiederverwendbaren Vektor für jedes Wort wünschen und entweder über einen großen Textkorpus zum Trainieren verfügen oder sich auf vortrainierte GloVe-Vektoren verlassen können. Es benötigt eine angemessene Menge an Text – ungefähr hundert Dokumente oder mehr – und die Textvorverarbeitung muss zuerst erfolgen. Es eignet sich für explorative Arbeiten zu semantischen Beziehungen und Wortähnlichkeit; wenn keine Textdaten vorhanden sind, kann GloVe nicht ausgeführt werden.

Grenzen und Hinweise

  • Vektoren sind statisch: Jedes Wort erhält einen einzigen Vektor unabhängig vom Kontext, sodass Wortbedeutungen nicht disambiguiert werden.
  • Das Training von Grund auf erfordert einen großen Textkorpus, um zuverlässige Vektoren zu erzeugen.
  • Kookkurrenzstatistiken hängen vom Korpus ab, sodass ein auf eine Domäne trainiertes Modell schlecht auf eine andere übertragen werden kann.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Lernt aus globalen Korpus-weiten Kookkurrenzstatistiken statt nur aus lokalen Kontextfenstern.
  • Erzielt starke Ergebnisse bei semantischen Analogie- und Wortähnlichkeitsaufgaben.
  • Vortrainierte GloVe-Vektoren können direkt geladen werden, wodurch die Notwendigkeit entfällt, auf einem großen Korpus zu trainieren.

Anwendungen

  • Berechnung der Wortähnlichkeit und nächstgelegenen Nachbarn innerhalb eines Vokabulars.
  • Lösung semantischer Analogieaufgaben durch Vektorarithmetik.
  • Bereitstellung vortrainierter Wortmerkmale als Eingabe für nachgelagerte Textklassifizierungs- oder Clustering-Modelle.
  • Erkundung semantischer Strukturen und Beziehungen in einem großen Textkorpus.

So funktioniert es

So funktioniert es

1

Der Korpus wird tokenisiert und bereinigt, damit das Vokabular konsistent ist. Textvorverarbeitung ist erforderlich, bevor mit dem Zählen begonnen wird, da die Qualität der Kookkurrenzstatistiken von einem sauberen, gut definierten Vokabular abhängt.

2

Eine globale Wort-Wort-Kookkurrenzmatrix wird erstellt, indem gezählt wird, wie oft jedes Wortpaar innerhalb eines Kontextfensters über den gesamten Korpus hinweg zusammen vorkommt. Diese Matrix ist die globale Statistik, die GloVe seinen Namen gibt und es von rein lokalen, Fenster-für-Fenster-Ansätzen unterscheidet.

3

GloVe passt Wortvektoren an die Kookkurrenzmatrix an, sodass das Skalarprodukt zweier Wortvektoren den Logarithmus ihrer Kookkurrenzzahl annähert. Häufige Kookkurrenzen werden heruntergewichtet, damit sehr häufige Paare nicht dominieren, wodurch dichte statische Vektoren einer gewählten Dimensionalität erzeugt werden.

4

Die trainierten (oder vortrainierten) Vektoren werden dann nachgelagert verwendet: zur Messung der Wortähnlichkeit, zur Lösung von Analogien oder als Eingabemerkmale für andere Modelle. Ein großer Korpus kann von Grund auf trainiert werden, oder fertige vortrainierte GloVe-Vektoren können direkt geladen werden.

Häufige Fallstricke

  • Das Überspringen der Textvorverarbeitung hinterlässt ein verrauschtes Vokabular und verschlechtert die Kookkurrenzzählungen, auf die sich das Modell verlässt.
  • Das Training mit zu wenig Text (deutlich unter ca. 100 Dokumenten) liefert instabile Vektoren – bevorzugen Sie vortrainierte Vektoren, wenn der Korpus klein ist.
  • Behandlung von GloVe als kontextbezogen: Es weist jedem Wort einen festen Vektor zu, sodass es unterschiedliche Bedeutungen desselben Wortes nicht trennen kann, wie es kontextbezogene Modelle tun.
  • Anwendung von Vektoren, die auf einer Domäne oder Sprache trainiert wurden, auf eine andere, ohne zu prüfen, ob das Vokabular übereinstimmt.

Häufig gestellte Fragen

Wie unterscheidet sich GloVe von word2vec?

Beide erzeugen statische Wortvektoren, aber GloVe trainiert auf einer globalen Wort-Wort-Kookkurrenzmatrix, die aus dem gesamten Korpus erstellt wird, während word2vec aus lokalen Kontextfenstern lernt, die durch den Text gescannt werden. GloVe wurde entwickelt, um die globale Statistikansicht der Matrixfaktorisierung mit der Kontextfensteransicht zu kombinieren.

Muss ich GloVe selbst trainieren?

Nicht unbedingt. Sie können von Grund auf auf einem großen Korpus trainieren oder fertige vortrainierte GloVe-Vektoren direkt laden. Wenn Ihr Korpus klein ist, sind vortrainierte Vektoren die sicherere Wahl.

Warum werden die Vektoren als 'statisch' bezeichnet?

Jedes Wort erhält einen einzigen festen Vektor, unabhängig vom Satz, in dem es vorkommt. Das bedeutet, dass GloVe unterschiedliche Bedeutungen desselben Wortes nicht aus dem Kontext unterscheiden kann, im Gegensatz zu kontextbezogenen Einbettungsmodellen.

Wie viel Text benötige ich?

Das Training von Grund auf erfordert einen großen Korpus, um zuverlässige Kookkurrenzstatistiken zu liefern; ungefähr hundert Dokumente oder mehr sind eine praktische Untergrenze, und die Vorverarbeitung muss zuerst erfolgen. Darunter sollten Sie sich auf vortrainierte Vektoren verlassen.

Verwandte Methoden

Quellen

  1. Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.

    DOI-Referenz öffnen
    Kopiert.