Skip to content
Назад к результатам поиска

Векторные представления предложений

Автор метода
Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
Год
2015–2019
Тип
Representation learning / embedding
Семейство
Deep learning / NLP / CV

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Векторные представления предложений (Sentence Embeddings) преобразуют предложение или короткий текст в единый плотный вектор фиксированной длины, который отражает его семантическое значение.

Эти векторы позволяют последующим задачам — семантической близости, кластеризации, поиску и классификации — работать с числовыми представлениями вместо необработанного текста, что делает их одним из наиболее универсальных строительных блоков в современных конвейерах обработки естественного языка (NLP).

Интуиция метода

Представьте каждое предложение как точку в многомерном пространстве, где значение определяет близость: два предложения, выражающие одну и ту же мысль разными словами, окажутся очень близко друг к другу, в то время как несвязанные предложения будут расположены далеко. Модель векторных представлений предложений изучает эту геометрию на больших корпусах текстов. После обучения модели преобразование нового предложения в вектор представляет собой один прямой проход (forward pass) — дальнейшее обучение не требуется — и любая последующая задача просто работает с этими координатами. Такое повторное использование предварительно обученной геометрии делает векторные представления предложений мощным инструментом: вы можете сравнивать, кластеризовать или классифицировать миллионы текстов без меток, специфичных для конкретной задачи.

История

Ранние представления предложений использовали усредненные векторные представления слов (word2vec, GloVe). Skip-Thought Vectors (Kiros et al., 2015) обучили кодировщик-декодер для предсказания окружающих предложений, создав первые глубокие контекстуальные векторные представления предложений. InferSent (Conneau et al., 2017) дообучили на парах NLI и показали сильную переносимость. Sentence-BERT (Reimers & Gurevych, 2019) применил сиамскую архитектуру BERT к данным NLI и значительно улучшил качество векторных представлений, полученных из BERT, сократив время вычисления сходства для 10 000 пар предложений с 65 часов примерно до 5 секунд.

Когда применять

Используйте векторные представления предложений, когда вам нужно измерить семантическую близость, кластеризовать документы, выполнить плотный поиск (dense retrieval) или подать текст в классификатор без меток, специфичных для задачи, для каждого примера. Они отлично подходят, когда у вас есть умеренный или большой объем текста, и вам нужно универсальное представление, которое переносится между задачами. Не используйте необработанные векторные представления предложений — без дообучения или головки задачи (task head) — когда вам нужны калиброванные вероятности или интерпретируемые веса признаков. Они также плохо подходят для очень коротких текстов (одно-два слова), для языков, для которых нет предварительно обученного кодировщика, или когда вычислительные ресурсы сильно ограничены, поскольку кодирование миллионов длинных документов может быть дорогостоящим.

Ограничения и замечания

  • Качество векторных представлений сильно зависит от качества и домена предварительно обученной модели; тексты вне домена ухудшают производительность.
  • Представление очень длинных документов в виде одного фиксированного вектора приводит к потере детальной локальной информации.
  • Пороги косинусного сходства для принятия решений в последующих задачах должны быть откалиброваны эмпирически и не являются универсальными.
  • Большие модели кодировщиков требуют памяти GPU; хранение векторных представлений для миллионов документов требует значительного дискового пространства.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Захватывают богатое семантическое значение, которое упускают мешок слов (bag-of-words) и TF-IDF, такое как синонимия и парафразирование.
  • Предварительно обученные модели работают «из коробки» в новых доменах с небольшим количеством размеченных данных или без них.
  • Быстро на этапе вывода: после кодирования поиск сходства по миллионам векторов занимает миллисекунды с использованием индексов типа FAISS.
  • Универсальность: одни и те же векторные представления служат для кластеризации, поиска, семантической дедупликации и классификации.
  • Многоязычные варианты (например, paraphrase-multilingual-mpnet) обрабатывают кросс-языковое сходство с помощью одной модели.

Применение

  • Семантическое сходство текстов и обнаружение парафразов в академических и коммерческих текстовых корпусах.
  • Плотный поиск по фрагментам (dense passage retrieval) в задачах ответа на вопросы в открытом домене и в поисковых системах.
  • Кластеризация документов и абзацев для обнаружения тем без предопределенных категорий.
  • Классификация текстов с нулевым или несколькими примерами (zero-shot и few-shot) путем сравнения векторных представлений с прототипами меток.
  • Обнаружение и дедупликация почти дубликатов в больших библиографических базах данных.
  • Кросс-языковое семантическое выравнивание в многоязычном синтезе исследований.

Как это работает

Как это работает

1

Входное предложение разбивается на токены (подслова или слова) в соответствии со словарем кодировщика — обычно это токенизатор типа WordPiece или SentencePiece в стиле BERT. Специальные токены, такие как [CLS] и [SEP], вставляются для обозначения границ предложений, подготавливая последовательность для кодировщика.

2

Глубокий кодировщик — чаще всего предварительно обученный Transformer, такой как BERT или RoBERTa — обрабатывает последовательность токенов и генерирует контекстное скрытое состояние для каждой позиции. Каждое скрытое состояние несет информацию о своем токене в контексте всего предложения.

Формула
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^d
3

Скрытые состояния для каждого токена объединяются в один вектор фиксированного размера посредством операции пулинга (pooling). Средний пулинг (усреднение всех векторов токенов) и извлечение вектора токена [CLS] являются двумя наиболее распространенными вариантами. Sentence-BERT показал, что средний пулинг по всем скрытым состояниям токенов стабильно превосходит исходный вектор [CLS].

4

Для получения высококачественных векторных представлений кодировщик дообучается с использованием контрастивной цели или цели семантической близости. Sentence-BERT использует сиамскую сеть, обученную на парах предложений из задач вывода на естественном языке (natural-language inference, NLI), сближая семантически близкие предложения и отдаляя несхожие в пространстве векторных представлений.

5

На этапе вывода (inference) два вектора предложений сравниваются с помощью косинусного сходства: скалярного произведения нормализованных до единичной длины векторов. Оценки, близкие к 1, указывают на семантическую эквивалентность; оценки, близкие к 0, указывают на ортогональность. Это единое число управляет задачами поиска, дедупликации, кластеризации и классификации.

Формула
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}

Частые ошибки

  • Использование необработанного токена [CLS] из базовой модели BERT в качестве векторного представления предложения без дообучения — это приводит к низкому качеству, неизотропных векторных представлений.
  • Сравнение векторных представлений, полученных разными архитектурами кодировщиков или стратегиями пулинга, что делает оценки косинусного сходства несравнимыми.
  • Выбор порога сходства (например, 0.85 означает «дубликат») без калибровки на отложенных данных из вашего домена.
  • Игнорирование необходимости нормализации векторов перед вычислением косинусного сходства при использовании индексов поиска, основанных только на скалярном произведении.
  • Рассмотрение векторного представления как интерпретируемого: отдельные измерения сами по себе не несут семантического значения.

Часто задаваемые вопросы

Какую предварительно обученную модель мне следует использовать?

Для общего назначения на английском языке 'all-mpnet-base-v2' из библиотеки sentence-transformers является надежным выбором по умолчанию. Для многоязычных задач 'paraphrase-multilingual-mpnet-base-v2' охватывает более 50 языков. Всегда проводите тестирование на небольшой выборке из вашего целевого домена, прежде чем выбрать модель.

Чем это отличается от прямого использования BERT?

Стандартный BERT генерирует представления для каждого токена, оптимизированные для задач на уровне токенов. Использование его необработанного вывода (например, вектора [CLS]) в качестве векторного представления предложения дает плохие результаты косинусного сходства. Sentence-BERT дообучает BERT с контрастивной целью, поэтому результирующие векторы явно структурированы для сравнения на уровне предложений.

Сколько размеченных примеров мне нужно?

Готовые к использованию модели векторных представлений предложений из библиотеки sentence-transformers не требуют размеченных примеров для вывода. Если вы дообучаете модель на своем домене, даже несколько сотен пар предложений с метками сходства могут заметно улучшить производительность.

Могу ли я использовать векторные представления предложений для длинных документов?

Большинство кодировщиков имеют ограничение по количеству токенов (512 токенов для моделей на основе BERT). Для более длинных текстов вы можете разбить документ на предложения или абзацы, получить векторные представления для каждого фрагмента и выполнить пулинг этих векторов. Альтернативно, модели, такие как Longformer, обрабатывают более длинные контексты нативно.

Как оценить качество моих векторных представлений?

Стандартные эталонные тесты включают STS-B (Semantic Textual Similarity Benchmark) и MTEB (Massive Text Embedding Benchmark). На ваших собственных данных пары предложений, аннотированные людьми с оценками сходства, позволят вам вычислить корреляцию Спирмена между оценками модели и суждениями человека.

Похожие методы

Источники

  1. Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.

    Открыть ссылку DOI
    Скопировано.
  2. Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.

    Открыть ссылку на публикацию
    Скопировано.