Skip to content
Назад к результатам поиска

Word2Vec — Векторные представления слов

Автор метода
Tomas Mikolov et al.
Год
2013
Тип
Neural word-embedding model

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Word2Vec — это техника нейронного вложения слов, представленная Миколовым и его коллегами в 2013 году, которая отображает каждое слово в текстовом корпусе в плотный числовой вектор.

Слова, встречающиеся в схожих контекстах, оказываются близко друг к другу в векторном пространстве, поэтому вложения улавливают семантическую близость, которую можно измерить арифметически.

Интуиция метода

Компьютер не может напрямую сравнивать значения слов, но он может учиться на основе окружения слов. Word2Vec обрабатывает большой корпус и определяет, какие слова имеют тенденцию окружать какие другие слова. Слова, используемые в схожих контекстах, получают схожие векторы, поэтому «король» оказывается рядом с «королевой» и далеко от «банана». Значение кодируется как положение в пространстве, а сходство становится вычислимым расстоянием.

История

Word2Vec был представлен Миколовым и его коллегами в 2013 году как эффективный способ оценки векторных представлений слов в векторном пространстве, предлагая архитектуры skip-gram и continuous bag-of-words. Он популяризировал плотные распределенные векторные представления слов и за ним последовали связанные подходы, такие как GloVe, а позднее — контекстуальные вложения.

Когда применять

Используйте Word2Vec, когда у вас есть большой неразмеченный текстовый корпус и вам нужны плотные векторные представления, улавливающие семантическую близость между словами. Он подходит для разведочного и реляционного анализа текста. Требуется достаточно большой корпус (примерно сто документов или более, в идеале гораздо больше); на малых корпусах модель не может выучить осмысленные вложения, и лучше выбрать предварительно обученные векторы, такие как GloVe. При полном отсутствии текстовых данных вложения слов построить невозможно.

Ограничения и замечания

  • Требует большого текстового корпуса; малые корпуса дают нестабильные, бессмысленные вложения.
  • Требует тщательной предварительной обработки текста перед обучением.
  • Присваивает один вектор на слово, поэтому не может различать разные значения одного и того же слова в зависимости от контекста.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Улавливает семантическую близость, так что связанные слова располагаются близко друг к другу в векторном пространстве.
  • Производит компактные плотные векторы, служащие числовыми признаками для последующих текстовых задач.
  • Обучается исключительно на неразмеченном тексте — ручная разметка не требуется.

Применение

  • Измерение семантической близости между словами для поиска и рекомендаций.
  • Генерация числовых признаков слов, которые используются для кластеризации и классификации текстов.
  • Исследование отношений и аналогий в большом текстовом корпусе.
  • Создание лексических ресурсов из отраслевых корпусов в исследованиях и промышленности.

Как это работает

Как это работает

1

Большой текстовый корпус очищается и токенизируется в последовательность слов. Word2Vec требует значительного корпуса — по крайней мере, несколько тысяч предложений — поскольку вложения изучаются исключительно на основе паттернов совместной встречаемости, а слишком малый объем текста дает нестабильные, бессмысленные векторы.

2

Каждое слово сопоставляется со словами, которые его окружают в пределах скользящего контекстного окна. Эти пары (целевое слово, контекстное слово) служат обучающим сигналом: они кодируют, какие слова встречаются вместе, и формируют основу для обучения тому, что контекстуально схожие слова должны иметь схожие векторы.

3

На парах контекстов обучается неглубокая нейронная сеть, используя либо архитектуру skip-gram (предсказание окружающих слов по целевому слову), либо continuous bag-of-words (предсказание целевого слова по его окружению). Веса сети настраиваются до тех пор, пока слова в схожих контекстах не получат схожие векторы.

4

После обучения каждое слово представляется своим выученным плотным вектором — обычно от 100 до 300 измерений. Эти вложения затем можно сравнивать с помощью косинусного сходства для поиска связанных слов или использовать в качестве числовых признаков для последующих задач, таких как кластеризация или классификация.

Частые ошибки

  • Обучение на корпусе, который слишком мал (менее ~100 документов), порождает шум, а не смысл — вместо этого предпочтите предварительно обученные векторы GloVe.
  • Пропуск предварительной обработки оставляет шумные токены, которые загрязняют выученные векторы.
  • Попытка построить вложения без каких-либо текстовых данных — Word2Vec не из чего учиться; вместо этого кластеризуйте структурированные данные.
  • Рассмотрение одного статического вектора на слово как будто он охватывает все значения этого слова.

Часто задаваемые вопросы

В чем разница между skip-gram и CBOW?

Обе являются неглубокими нейронными архитектурами для изучения вложений. Skip-gram предсказывает окружающие контекстные слова по заданному целевому слову, в то время как continuous bag-of-words (CBOW) предсказывает целевое слово по его окружению. Они производят сопоставимые вложения, причем skip-gram часто работает лучше на меньших корпусах и редких словах.

Насколько большим должен быть мой корпус?

Word2Vec обучается исключительно на совместной встречаемости, поэтому ему нужен значительный корпус. На очень малом объеме текста (менее примерно ста документов) он не может выучить осмысленные векторы; в этом случае предварительно обученные вложения, такие как GloVe, являются более безопасным выбором.

Как измерить сходство между двумя словами?

Сравните их выученные векторы с помощью косинусного сходства. Слова, используемые в схожих контекстах, получают схожие векторы, поэтому высокое косинусное сходство указывает на семантически связанные слова.

Может ли Word2Vec различать разные значения одного и того же слова?

Нет. Он присваивает одно статическое векторное представление на слово, объединяя все значения. Различение значений слов по контексту требует моделей контекстуальных вложений, а не Word2Vec.

Похожие методы

Источники

  1. Mikolov, T., Chen, K., Corrado, G. & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space.

    Открыть ссылку на публикацию
    Скопировано.