Doc2Vec — Векторные представления документов
- Автор метода
- Quoc V. Le & Tomas Mikolov
- Год
- 2014
- Тип
- Document-embedding representation learning
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Doc2Vec, также известный как Paragraph Vector, — это метод обучения представлений, представленный Ли и Миколовым (2014), который отображает целые документы в плотные векторы фиксированной длины.
Эти векторы располагают похожие документы близко друг к другу в пространстве, поддерживая сравнение и классификацию документов.
Интуиция метода
Документ состоит из множества слов различной длины, но большинству моделей требуется, чтобы каждый документ был представлен в виде одного набора чисел фиксированного размера. Doc2Vec изучает один плотный вектор для каждого документа, обучая его вместе со словами предсказывать содержащийся в нем текст. Документы, посвященные схожим темам, в итоге получают схожие векторы, поэтому геометрическое расстояние между двумя векторами становится измеримой величиной степени связанности документов.
История
Doc2Vec, или Paragraph Vector, был представлен Куоком Ли и Томасом Миколовым в их статье 2014 года на конференции ICML "Distributed Representations of Sentences and Documents". Он расширил идею изучения плотных векторных представлений слов на целые предложения и документы, придав каждому фрагменту текста собственное изученное представление фиксированной длины.
Когда применять
Doc2Vec подходит, когда у вас есть текстовый корпус, и вам нужен один плотный вектор на документ для сравнения, классификации или анализа взаимосвязей. Он предполагает достаточное количество и длину документов — примерно 100 или более — и что предварительная обработка текста была выполнена. При слишком малом количестве или очень коротких документах изученные векторы ненадежны.
Ограничения и замечания
- Требует достаточного количества и длины документов для изучения стабильных векторов; малые корпуса дают ненадежные векторные представления.
- Требует надлежащей предварительной обработки текста перед обучением.
- Производительность зависит от выбора параметров обучения, таких как размер вектора и количество эпох.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Производит один плотный вектор фиксированной длины для всего документа, независимо от его исходной длины.
- Векторные представления располагают похожие документы рядом друг с другом, позволяя прямое сравнение и поиск по сходству.
- Результирующие векторы естественно подаются на вход задачам классификации и анализа взаимосвязей.
Применение
- Сравнение документов по сходству для поиска и извлечения информации.
- Классификация документов с использованием их изученных векторов в качестве признаков.
- Кластеризация или исследование больших текстовых корпусов по семантической близости.
- Изучение взаимосвязей между документами в гуманитарных, социальных и деловых областях.
Как это работает
Как это работает
Корпус очищается и токенизируется на единицы, которые модель будет изучать. Требуется последовательная предварительная обработка текста, чтобы документы были сопоставимы, а изученные векторы были стабильными.
Каждый документ сопоставляется с уникальным тегом (идентификатором). Этот тег — то, что модель будет ассоциировать с изученным вектором, позволяя каждому документу сохранять свое собственное отличительное представление на протяжении всего обучения.
Модель обучается на размеченных тегами документах в течение нескольких проходов (эпох), совместно изучая векторные представления слов и документов, так что каждый вектор документа помогает предсказывать содержащиеся в нем слова. Выбранный размер вектора определяет размерность результирующих векторных представлений.
После обучения каждый документ представляется своим плотным вектором фиксированной длины. Эти векторные представления можно сравнивать напрямую — например, по расстоянию или сходству — и подавать на вход последующим задачам классификации или анализа взаимосвязей.
Частые ошибки
- Работа с недостаточным количеством документов (менее ~100) приводит к зашумленным, нестабильным векторам.
- Пропуск или непоследовательное применение предварительной обработки затрудняет сравнение изученных векторов.
- Очень короткие документы несут слишком мало информации для осмысленного векторного представления.
- Использование размера вектора и количества эпох как фиксированных значений по умолчанию вместо их настройки под корпус.
Часто задаваемые вопросы
Чем Doc2Vec отличается от векторных представлений слов?
Методы векторных представлений слов изучают вектор для каждого слова. Doc2Vec изучает дополнительный вектор для каждого целого документа, поэтому вы получаете одно представление фиксированной длины для каждого документа, вместо того чтобы комбинировать векторы слов самостоятельно.
Сколько документов мне нужно?
Метод предполагает достаточное количество и длину документов — примерно 100 или более. При гораздо меньшем количестве документов или очень коротких документах изученные векторы становятся ненадежными.
Нужна ли мне предварительная обработка текста?
Да. Корпус должен быть последовательно очищен и токенизирован перед обучением, иначе изученные векторы документов будет трудно сравнивать.
Что я могу сделать с результирующими векторами?
Каждый документ становится плотным вектором фиксированной длины, который вы можете сравнивать по расстоянию или сходству, или использовать непосредственно в качестве входных признаков для классификации и анализа взаимосвязей.
Похожие методы
Источники
Le, Q. V. & Mikolov, T. (2014). Distributed Representations of Sentences and Documents. Proceedings of the 31st International Conference on Machine Learning (ICML), 1188-1196.
Открыть ссылку на публикациюСкопировано.