Word2Vec — Wort-Einbettungen
- Eingeführt von
- Tomas Mikolov et al.
- Jahr
- 2013
- Typ
- Neural word-embedding model
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Word2Vec ist eine neuronale Technik zur Wort-Einbettung, die 2013 von Mikolov und Kollegen eingeführt wurde und jedes Wort in einem Textkorpus auf einen dichten numerischen Vektor abbildet.
Wörter, die in ähnlichen Kontexten vorkommen, landen im Vektorraum nahe beieinander, sodass die Einbettungen semantische Ähnlichkeit erfassen, die arithmetisch gemessen werden kann.
Die Intuition hinter der Methode
Ein Computer kann die Bedeutung von Wörtern nicht direkt vergleichen, aber er kann aus der Gesellschaft, die Wörter pflegen, lernen. Word2Vec liest einen großen Korpus und bemerkt, welche Wörter welche anderen Wörter umgeben. Wörter, die in ähnlichen Kontexten verwendet werden, erhalten ähnliche Vektoren, sodass „König“ nahe bei „Königin“ und weit weg von „Banane“ landet. Bedeutung wird als Position im Raum kodiert, und Ähnlichkeit wird zu einer berechenbaren Distanz.
Geschichte
Word2Vec wurde 2013 von Mikolov und Kollegen als effiziente Methode zur Schätzung von Wortrepräsentationen im Vektorraum eingeführt und bot die Skip-Gram- und Continuous Bag-of-Words-Architekturen. Es popularisierte dichte verteilte Wort-Einbettungen und wurde von verwandten Ansätzen wie GloVe und später von kontextuellen Einbettungen gefolgt.
Wann wird sie eingesetzt?
Verwenden Sie Word2Vec, wenn Sie einen großen unbeschrifteten Textkorpus haben und dichte Vektorrepräsentationen wünschen, die die semantische Ähnlichkeit zwischen Wörtern erfassen. Es eignet sich für die explorative und relationale Textanalyse. Ein einigermaßen großer Korpus (ungefähr hundert Dokumente oder mehr, idealerweise weit mehr) ist erforderlich; bei kleinen Korpora kann das Modell keine aussagekräftigen Einbettungen lernen, und vortrainierte Vektoren wie GloVe sind die bessere Wahl. Ohne jegliche Textdaten können keine Wort-Einbettungen erstellt werden.
Grenzen und Hinweise
- Benötigt einen großen Textkorpus; kleine Korpora ergeben instabile, bedeutungslose Einbettungen.
- Erfordert sorgfältige Textvorverarbeitung vor dem Training.
- Weist jedem Wort einen Vektor zu, kann also verschiedene Bedeutungen desselben Wortes aus dem Kontext nicht unterscheiden.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Erfasst semantische Ähnlichkeit, sodass verwandte Wörter im Vektorraum nahe beieinander liegen.
- Erzeugt kompakte dichte Vektoren, die als numerische Merkmale für nachgelagerte Textaufgaben dienen.
- Lernt allein aus unbeschriftetem Text – keine manuelle Annotation ist erforderlich.
Anwendungen
- Messung der semantischen Ähnlichkeit zwischen Wörtern für Suche und Empfehlung.
- Generierung numerischer Wortmerkmale, die Text-Clustering und -Klassifizierung speisen.
- Erforschung von Beziehungen und Analogien in einem großen Textkorpus.
- Aufbau lexikalischer Ressourcen aus domänenspezifischen Korpora in Forschung und Industrie.
So funktioniert es
So funktioniert es
Ein großer Textkorpus wird bereinigt und in eine Wortsequenz zerlegt (tokenisiert). Word2Vec benötigt einen beträchtlichen Korpus – mindestens einige tausend Sätze –, da die Einbettungen rein aus Kookkurrenzmuster gelernt werden und zu wenig Text instabile, bedeutungslose Vektoren ergibt.
Jedes Wort wird mit den Wörtern gepaart, die es innerhalb eines gleitenden Kontextfensters umgeben. Diese (Zielwort, Kontextwort)-Paare sind das Trainingssignal: Sie kodieren, welche Wörter zusammen vorkommen, und bilden die Grundlage für das Lernen, dass kontextuell ähnliche Wörter ähnliche Vektoren haben sollten.
Ein flaches neuronales Netz wird auf den Kontextpaaren trainiert, entweder unter Verwendung der Skip-Gram-Architektur (Vorhersage umgebender Wörter aus einem Zielwort) oder des Continuous Bag-of-Words (Vorhersage eines Zielworts aus seiner Umgebung). Die Gewichte des Netzes werden angepasst, bis Wörter in ähnlichen Kontexten ähnliche Vektoren erhalten.
Nach dem Training wird jedes Wort durch seinen gelernten dichten Vektor repräsentiert – üblicherweise 100 bis 300 Dimensionen. Diese Einbettungen können dann mit Kosinus-Ähnlichkeit verglichen werden, um verwandte Wörter zu finden, oder als numerische Merkmale für nachgelagerte Aufgaben wie Clustering oder Klassifizierung verwendet werden.
Häufige Fallstricke
- Das Training auf einem zu kleinen Korpus (unter ca. 100 Dokumenten) erzeugt Rauschen statt Bedeutung – bevorzugen Sie stattdessen vortrainierte GloVe-Vektoren.
- Das Überspringen der Vorverarbeitung hinterlässt verrauschte Token, die die gelernten Vektoren verunreinigen.
- Der Versuch, Einbettungen ohne Textdaten zu erstellen – Word2Vec hat nichts zu lernen; clustern Sie stattdessen strukturierte Daten.
- Die Behandlung eines einzelnen statischen Vektors pro Wort, als ob er jede Bedeutung dieses Wortes erfasst hätte.
Häufig gestellte Fragen
Was ist der Unterschied zwischen Skip-Gram und CBOW?
Beide sind flache neuronale Architekturen zum Erlernen von Einbettungen. Skip-Gram sagt die umgebenden Kontextwörter aus einem gegebenen Zielwort voraus, während Continuous Bag-of-Words (CBOW) das Zielwort aus seinem umgebenden Kontext vorhersagt. Sie erzeugen vergleichbare Einbettungen, wobei Skip-Gram bei kleineren Korpora und seltenen Wörtern oft besser funktioniert.
Wie groß muss mein Korpus sein?
Word2Vec lernt rein aus Kookkurrenz, daher benötigt es einen beträchtlichen Korpus. Bei sehr kleinen Texten (unter etwa hundert Dokumenten) kann es keine aussagekräftigen Vektoren lernen; in diesem Fall sind vortrainierte Einbettungen wie GloVe die sicherere Wahl.
Wie messe ich die Ähnlichkeit zwischen zwei Wörtern?
Vergleichen Sie ihre gelernten Vektoren mit Kosinus-Ähnlichkeit. Wörter, die in ähnlichen Kontexten verwendet werden, erhalten ähnliche Vektoren, sodass eine hohe Kosinus-Ähnlichkeit semantisch verwandte Wörter anzeigt.
Kann Word2Vec verschiedene Bedeutungen desselben Wortes unterscheiden?
Nein. Es weist jedem Wort einen einzigen statischen Vektor zu, der alle Bedeutungen vermischt. Die Unterscheidung von Wortbedeutungen aus dem Kontext erfordert kontextuelle Einbettungsmodelle anstelle von Word2Vec.
Verwandte Methoden
Quellen
Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.
Publikationsreferenz öffnenKopiert.