Skip to content
Назад к результатам поиска

Встраивания GloVe — Global Vectors for Word Representation

Автор метода
Pennington, Socher & Manning
Год
2014
Тип
Static word-embedding model

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

GloVe (Global Vectors for Word Representation) — это модель статических векторных представлений слов, представленная Пеннингтоном, Сохером и Мэннингом (Pennington, Socher and Manning, 2014), которая обучает векторные представления слов непосредственно на основе глобальной статистики совместной встречаемости слов, собранной по всему корпусу.

Полученные векторы располагают семантически связанные слова близко друг к другу и демонстрируют высокую эффективность в задачах семантических аналогий.

Интуиция метода

Слова, которые появляются в схожих контекстах, как правило, имеют схожие значения. Вместо сканирования текста по одному небольшому окну за раз, GloVe сначала подсчитывает, как часто каждая пара слов встречается вместе во всем корпусе, а затем подбирает векторы таким образом, чтобы отношения между этими подсчетами отражались в геометрических отношениях между векторами слов. Преимущество заключается в том, что простая векторная арифметика отражает смысл — структура, которая позволяет аналогиям типа «король относится к королеве так же, как мужчина к женщине» вытекать из геометрии.

История

GloVe был представлен Пеннингтоном, Сохером и Мэннингом на конференции EMNLP в 2014 году. Он был позиционирован как модель, сочетающая в себе сильные стороны методов глобальной матричной факторизации и методов локальных контекстных окон путем обучения непосредственно на глобальной матрице совместной встречаемости слов, и стал широко используемым источником предварительно обученных статических векторных представлений слов.

Когда применять

GloVe подходит для текстовых данных, когда вам нужен фиксированный, повторно используемый вектор для каждого слова, и у вас есть большой текстовый корпус для обучения или вы можете полагаться на предварительно обученные векторы GloVe. Он требует разумного объема текста — примерно сто документов или более — и предварительная обработка текста должна быть выполнена в первую очередь. Он подходит для исследовательских работ по семантическим отношениям и сходству слов; если текстовых данных нет, GloVe не может работать.

Ограничения и замечания

  • Векторы являются статическими: каждое слово получает один вектор независимо от контекста, поэтому смыслы слов не разрешаются неоднозначно.
  • Обучение с нуля требует большого текстового корпуса для получения надежных векторов.
  • Статистика совместной встречаемости зависит от корпуса, поэтому модель, обученная на одном домене, может плохо переноситься на другой.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Обучается на глобальной статистике совместной встречаемости по всему корпусу, а не только на локальных контекстных окнах.
  • Демонстрирует высокую эффективность в задачах семантических аналогий и сходства слов.
  • Предварительно обученные векторы GloVe могут быть загружены напрямую, что избавляет от необходимости обучения на большом корпусе.

Применение

  • Вычисление сходства слов и ближайших соседей в пределах словаря.
  • Решение задач семантических аналогий посредством векторной арифметики.
  • Предоставление предварительно обученных векторных представлений слов в качестве входных данных для последующих моделей классификации или кластеризации текстов.
  • Исследование семантической структуры и отношений в большом текстовом корпусе.

Как это работает

Как это работает

1

Корпус токенизируется и очищается для обеспечения согласованности словаря. Предварительная обработка текста необходима перед началом подсчета, поскольку качество статистики совместной встречаемости зависит от чистого, четко определенного словаря.

2

Глобальная матрица совместной встречаемости слов строится путем подсчета того, как часто каждая пара слов появляется вместе в пределах контекстного окна по всему корпусу. Эта матрица является глобальной статистикой, которая дает GloVe его название и отличает его от чисто локальных подходов, основанных на окнах.

3

GloVe подбирает векторные представления слов к матрице совместной встречаемости таким образом, чтобы скалярное произведение двух векторов слов аппроксимировало логарифм их количества совместной встречаемости. Частые совместные встречаемости имеют пониженный вес, чтобы очень распространенные пары не доминировали, что приводит к получению плотных статических векторов выбранной размерности.

4

Обученные (или предварительно обученные) векторы затем используются для последующих задач: измерения сходства слов, решения задач на аналогии или в качестве входных признаков для других моделей. Большой корпус может быть обучен с нуля, или готовые предварительно обученные векторы GloVe могут быть загружены напрямую.

Частые ошибки

  • Пропуск предварительной обработки текста оставляет зашумленный словарь и ухудшает подсчет совместной встречаемости, на который полагается модель.
  • Обучение на недостаточном объеме текста (значительно меньше ~100 документов) приводит к нестабильным векторам — предпочтительнее использовать предварительно обученные векторы, когда корпус мал.
  • Рассмотрение GloVe как контекстно-зависимого: он присваивает один фиксированный вектор каждому слову, поэтому не может разделять различные смыслы одного и того же слова, как это делают контекстные модели.
  • Применение векторов, обученных на одном домене или языке, к другому без проверки соответствия словаря.

Часто задаваемые вопросы

Чем GloVe отличается от word2vec?

Обе модели производят статические векторные представления слов, но GloVe обучается на глобальной матрице совместной встречаемости слов, построенной по всему корпусу, в то время как word2vec обучается на локальных контекстных окнах, сканируемых по тексту. GloVe был разработан для объединения взгляда на глобальную статистику матричной факторизации с видом контекстного окна.

Нужно ли мне обучать GloVe самостоятельно?

Не обязательно. Вы можете обучить модель на большом корпусе с нуля или напрямую загрузить готовые предварительно обученные векторы GloVe. Когда ваш корпус мал, предварительно обученные векторы являются более безопасным выбором.

Почему векторы называются «статическими»?

Каждое слово получает один фиксированный вектор независимо от предложения, в котором оно появляется. Это означает, что GloVe не может различать разные смыслы одного и того же слова по контексту, в отличие от моделей контекстных векторных представлений.

Сколько текста мне нужно?

Обучение с нуля требует большого корпуса для получения надежной статистики совместной встречаемости; примерно сто документов или более — это практический минимум, и предварительная обработка должна быть выполнена в первую очередь. Ниже этого порога полагайтесь на предварительно обученные векторы.

Похожие методы

Источники

  1. Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.

    Открыть ссылку DOI
    Скопировано.