Przejdź do treści
Wróć do wyników wyszukiwania

GloVe — Global Vectors for Word Representation

Autor metody
Pennington, Socher & Manning
Rok
2014
Typ
Static word-embedding model

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

GloVe (Global Vectors for Word Representation) to statyczny model osadzania słów wprowadzony przez Penningtona, Sochera i Manninga (2014), który uczy się wektorów słów bezpośrednio z globalnych statystyk współwystępowania słów zebranych w całym korpusie.

Uzyskane wektory umieszczają semantycznie powiązane słowa blisko siebie i dobrze sprawdzają się w zadaniach analogii semantycznych.

Intuicja stojąca za metodą

Słowa, które pojawiają się w podobnych kontekstach, zazwyczaj oznaczają podobne rzeczy. Zamiast skanować tekst jedno małe okno na raz, GloVe najpierw zlicza, jak często każda para słów współwystępuje w całym korpusie, a następnie dopasowuje wektory tak, aby relacje między tymi liczbami były uchwycone jako relacje geometryczne między wektorami słów. Korzyścią jest to, że prosta arytmetyka wektorowa odzwierciedla znaczenie — struktura, która pozwala na analogie takie jak 'król do królowej jak mężczyzna do kobiety' wynikające z geometrii.

Historia

GloVe został wprowadzony przez Penningtona, Sochera i Manninga na konferencji EMNLP w 2014 roku. Został pozycjonowany jako model, który łączy mocne strony globalnych metod faktoryzacji macierzy i lokalnych metod okien kontekstowych, trenując bezpośrednio na globalnej macierzy współwystępowania słów, i stał się szeroko stosowanym źródłem wstępnie wytrenowanych statycznych wektorów słów.

Kiedy stosować

GloVe pasuje do danych tekstowych, gdy chcesz mieć stały, wielokrotnego użytku wektor dla każdego słowa i albo masz duży korpus tekstowy do trenowania, albo możesz polegać na wstępnie wytrenowanych wektorach GloVe. Potrzebuje rozsądnej ilości tekstu — około stu dokumentów lub więcej — i najpierw musi zostać wykonane przetwarzanie wstępne tekstu. Nadaje się do prac eksploracyjnych nad relacjami semantycznymi i podobieństwem słów; jeśli nie ma danych tekstowych, GloVe nie może działać.

Ograniczenia i uwagi

  • Wektory są statyczne: każde słowo otrzymuje jeden wektor niezależnie od kontekstu, więc znaczenia słów nie są rozstrzygane.
  • Trenowanie od podstaw wymaga dużego korpusu tekstowego do produkcji wiarygodnych wektorów.
  • Statystyki współwystępowania zależą od korpusu, więc model wytrenowany na jednym obszarze może słabo przenosić się na inny.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Uczy się na podstawie globalnych statystyk współwystępowania w całym korpusie, a nie tylko lokalnych okien kontekstowych.
  • Dobrze sprawdza się w zadaniach analogii semantycznych i podobieństwa słów.
  • Wstępnie wytrenowane wektory GloVe można załadować bezpośrednio, unikając potrzeby trenowania na dużym korpusie.

Zastosowania

  • Obliczanie podobieństwa słów i najbliższych sąsiadów w obrębie słownictwa.
  • Rozwiązywanie zadań analogii semantycznych za pomocą arytmetyki wektorowej.
  • Dostarczanie wstępnie wytrenowanych cech słów jako wejścia do modeli klasyfikacji tekstu lub klastrowania w dalszych etapach.
  • Eksploracja struktury semantycznej i relacji w dużym korpusie tekstowym.

Jak to działa

Jak to działa

1

Korpus jest tokenizowany i czyszczony, aby zapewnić spójność słownictwa. Przetwarzanie wstępne tekstu jest wymagane przed rozpoczęciem zliczania, ponieważ jakość statystyk współwystępowania zależy od czystego, dobrze zdefiniowanego słownictwa.

2

Globalna macierz współwystępowania słów jest budowana przez zliczanie, jak często każda para słów pojawia się razem w oknie kontekstowym w całym korpusie. Ta macierz jest globalną statystyką, która nadaje GloVe jego nazwę i odróżnia go od podejść czysto lokalnych, opartych na oknach.

3

GloVe dopasowuje wektory słów do macierzy współwystępowania tak, aby iloczyn skalarny dwóch wektorów słów przybliżał logarytm ich liczby współwystępowania. Częste współwystępowania są ważone w dół, aby bardzo powszechne pary nie dominowały, co daje gęste statyczne wektory o wybranej wymiarowości.

4

Wytrenowane (lub wstępnie wytrenowane) wektory są następnie wykorzystywane w dalszych etapach: do mierzenia podobieństwa słów, rozwiązywania analogii lub jako cechy wejściowe dla innych modeli. Duży korpus można wytrenować od podstaw, lub można bezpośrednio załadować gotowe, wstępnie wytrenowane wektory GloVe.

Częste pułapki

  • Pominięcie przetwarzania wstępnego tekstu pozostawia zaszumione słownictwo i pogarsza zliczanie współwystępowania, na którym polega model.
  • Trenowanie na zbyt małej ilości tekstu (znacznie poniżej ~100 dokumentów) daje niestabilne wektory — preferuj wstępnie wytrenowane wektory, gdy korpus jest mały.
  • Traktowanie GloVe jako świadomego kontekstu: przypisuje jeden stały wektor na słowo, więc nie może oddzielić różnych znaczeń tego samego słowa, tak jak modele kontekstowe.
  • Stosowanie wektorów wytrenowanych na jednym obszarze lub języku do innego bez sprawdzenia zgodności słownictwa.

Najczęściej zadawane pytania

Czym GloVe różni się od word2vec?

Oba generują statyczne wektory słów, ale GloVe trenuje na globalnej macierzy współwystępowania słów zbudowanej z całego korpusu, podczas gdy word2vec uczy się z lokalnych okien kontekstowych skanowanych przez tekst. GloVe został zaprojektowany, aby połączyć globalny widok statystyk faktoryzacji macierzy z widokiem okna kontekstowego.

Czy muszę sam trenować GloVe?

Niekoniecznie. Możesz trenować na dużym korpusie od podstaw lub bezpośrednio załadować gotowe, wstępnie wytrenowane wektory GloVe. Gdy Twój korpus jest mały, wstępnie wytrenowane wektory są bezpieczniejszym wyborem.

Dlaczego wektory nazywane są 'statycznymi'?

Każde słowo otrzymuje jeden stały wektor niezależnie od zdania, w którym się pojawia. Oznacza to, że GloVe nie może rozróżniać różnych znaczeń tego samego słowa na podstawie kontekstu, w przeciwieństwie do modeli osadzania kontekstowego.

Ile tekstu potrzebuję?

Trenowanie od podstaw wymaga dużego korpusu, aby zapewnić wiarygodne statystyki współwystępowania; praktyczne minimum to około stu dokumentów lub więcej, a najpierw musi zostać wykonane przetwarzanie wstępne. Poniżej tego progu polegaj na wstępnie wytrenowanych wektorach.

Pokrewne metody

Źródła

  1. Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.

    Otwórz odnośnik DOI
    Skopiowano.