Przejdź do treści
Wróć do wyników wyszukiwania

Word2Vec — Osadzenia słów

Autor metody
Tomas Mikolov et al.
Rok
2013
Typ
Neural word-embedding model

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Word2Vec to technika neuronowego osadzania słów wprowadzona przez Mikolova i współpracowników w 2013 roku, która mapuje każde słowo w korpusie tekstowym na gęsty wektor liczbowy.

Słowa występujące w podobnych kontekstach znajdują się blisko siebie w przestrzeni wektorowej, dzięki czemu osadzenia wychwytują podobieństwo semantyczne, które można mierzyć arytmetycznie.

Intuicja stojąca za metodą

Komputer nie może bezpośrednio porównywać znaczenia słów, ale może uczyć się na podstawie tego, jakie słowa występują razem. Word2Vec analizuje duży korpus i zauważa, które słowa mają tendencję do otaczania których innych słów. Słowa używane w podobnych kontekstach otrzymują podobne wektory, więc „król” ląduje blisko „królowej” i daleko od „bananów”. Znaczenie jest kodowane jako pozycja w przestrzeni, a podobieństwo staje się odległością, którą można obliczyć.

Historia

Word2Vec został wprowadzony przez Mikolova i współpracowników w 2013 roku jako efektywny sposób szacowania reprezentacji słów w przestrzeni wektorowej, oferując architektury skip-gram i ciągły worek słów. Spopularyzował gęste, rozproszone osadzenia słów i był następowany przez powiązane podejścia, takie jak GloVe, a później osadzenia kontekstowe.

Kiedy stosować

Używaj Word2Vec, gdy masz duży nieoznakowany korpus tekstowy i chcesz uzyskać gęste reprezentacje wektorowe, które wychwytują podobieństwo semantyczne między słowami. Nadaje się do eksploracyjnej i relacyjnej analizy tekstu. Wymagany jest stosunkowo duży korpus (mniej więcej sto dokumentów lub więcej, idealnie znacznie większy); na małych korpusach model nie może nauczyć się znaczących osadzeń, a lepszym wyborem są wstępnie wytrenowane wektory, takie jak GloVe. Bez żadnych danych tekstowych osadzenia słów nie mogą być zbudowane.

Ograniczenia i uwagi

  • Potrzebuje dużego korpusu tekstowego; małe korpusy dają niestabilne, bezsensowne osadzenia.
  • Wymaga starannego przetwarzania wstępnego tekstu przed treningiem.
  • Przypisuje jeden wektor na słowo, więc nie może rozróżniać różnych znaczeń tego samego słowa na podstawie kontekstu.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Wychwytuje podobieństwo semantyczne, dzięki czemu powiązane słowa znajdują się blisko siebie w przestrzeni wektorowej.
  • Produkuje zwarte, gęste wektory, które służą jako cechy liczbowe dla zadań tekstowych niższego poziomu.
  • Uczy się wyłącznie na nieoznakowanym tekście — nie jest potrzebna żadna ręczna adnotacja.

Zastosowania

  • Pomiar podobieństwa semantycznego między słowami na potrzeby wyszukiwania i rekomendacji.
  • Generowanie liczbowych cech słów, które zasilają klasteryzację i klasyfikację tekstu.
  • Eksploracja relacji i analogii w dużym korpusie tekstowym.
  • Budowanie zasobów leksykalnych z korpusów specyficznych dla dziedziny w badaniach i przemyśle.

Jak to działa

Jak to działa

1

Duży korpus tekstowy jest czyszczony i tokenizowany do sekwencji słów. Word2Vec potrzebuje sporego korpusu — co najmniej kilku tysięcy zdań — ponieważ osadzenia są uczone wyłącznie na podstawie wzorców współwystępowania, a zbyt mała ilość tekstu daje niestabilne, bezsensowne wektory.

2

Każde słowo jest parowane ze słowami, które je otaczają w przesuwającym się oknie kontekstowym. Te pary (słowo docelowe, słowo kontekstowe) stanowią sygnał treningowy: kodują, które słowa występują razem i stanowią podstawę do nauki, że słowa kontekstowo podobne powinny mieć podobne wektory.

3

Płytka sieć neuronowa jest trenowana na parach kontekstowych, używając albo architektury skip-gram (przewidywanie otaczających słów na podstawie słowa docelowego), albo ciągłego worka słów (continuous bag-of-words, CBOW) (przewidywanie słowa docelowego na podstawie jego otoczenia). Wagi sieci są dostosowywane, dopóki słowa w podobnych kontekstach nie otrzymają podobnych wektorów.

4

Po treningu każde słowo jest reprezentowane przez swój nauczony gęsty wektor — zazwyczaj od 100 do 300 wymiarów. Te osadzenia można następnie porównywać za pomocą podobieństwa kosinusowego, aby znaleźć powiązane słowa, lub używać jako cech liczbowych zasilających zadania niższego poziomu, takie jak klasteryzacja lub klasyfikacja.

Częste pułapki

  • Trening na zbyt małym korpusie (poniżej ok. 100 dokumentów) daje szum zamiast znaczenia — zamiast tego preferuj wstępnie wytrenowane wektory GloVe.
  • Pominięcie przetwarzania wstępnego pozostawia zaszumione tokeny, które zanieczyszczają nauczone wektory.
  • Próba zbudowania osadzeń bez żadnych danych tekstowych — Word2Vec nie ma się z czego uczyć; zamiast tego klasteryzuj dane strukturalne.
  • Traktowanie pojedynczego, statycznego wektora na słowo tak, jakby wychwytywał każde znaczenie tego słowa.

Najczęściej zadawane pytania

Jaka jest różnica między skip-gram a CBOW?

Obie są płytkimi architekturami neuronowymi do uczenia osadzeń. Skip-gram przewiduje otaczające słowa kontekstowe na podstawie danego słowa docelowego, podczas gdy ciągły worek słów (CBOW) przewiduje słowo docelowe na podstawie jego otoczenia. Dają porównywalne osadzenia, przy czym skip-gram często działa lepiej na mniejszych korpusach i rzadkich słowach.

Jak duży musi być mój korpus?

Word2Vec uczy się wyłącznie na podstawie współwystępowania, więc potrzebuje sporego korpusu. Na bardzo małej ilości tekstu (poniżej około stu dokumentów) nie może nauczyć się znaczących wektorów; w takim przypadku wstępnie wytrenowane osadzenia, takie jak GloVe, są bezpieczniejszym wyborem.

Jak zmierzyć podobieństwo między dwoma słowami?

Porównaj ich nauczone wektory za pomocą podobieństwa kosinusowego. Słowa używane w podobnych kontekstach otrzymują podobne wektory, więc wysokie podobieństwo kosinusowe wskazuje na semantycznie powiązane słowa.

Czy Word2Vec potrafi rozróżnić różne znaczenia tego samego słowa?

Nie. Przypisuje pojedynczy, statyczny wektor na słowo, mieszając wszystkie znaczenia razem. Rozróżnianie znaczeń słów na podstawie kontekstu wymaga modeli osadzeń kontekstowych, a nie Word2Vec.

Pokrewne metody

Źródła

  1. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.

    Otwórz odnośnik do publikacji
    Skopiowano.