Векторные представления графов знаний (Knowledge Graph Embeddings; TransE и другие модели)
- Автор метода
- Bordes, Usunier, García-Durán, Weston & Yakhnenko
- Год
- 2013
- Тип
- Graph representation learning via low-dimensional vector embeddings
- Семейство
- Graph representation
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Векторные представления графов знаний (Knowledge Graph Embeddings, KGE) — это семейство методов, которые представляют сущности и отношения в графе знаний в виде плотных низкоразмерных векторов в непрерывном пространстве.
Базовая модель TransE была представлена Бордесом, Юньером, Гарсиа-Дураном, Вестоном и Яхненко в 2013 году. TransE рассматривает каждое отношение как трансляцию в пространстве вложений: вектор головной сущности плюс вектор отношения должны аппроксимировать вектор хвостовой сущности для любой истинной тройки (h, r, t). Этот простой геометрический принцип позволил эффективно предсказывать связи и завершать базы знаний в больших масштабах.
Интуиция метода
Представьте, что вы размещаете страны, столицы и отношение «является-столицей» на карте. TransE говорит: если вы начнете с вектора для Франции и пойдете в направлении, обозначенном как «столица», вы должны оказаться рядом с Парижем. Сущности — это точки; отношения — это стрелки, которые их связывают. Модель обучает эти положения так, чтобы известные стрелки указывали правильно, что позволяет легко угадывать неизвестные факты — например, находить не отмеченную на карте столицу — следуя тем же стрелкам.
История
TransE был представлен на NeurIPS 2013 Бордесом и его коллегами как масштабируемая альтернатива более ранним методам тензорной факторизации, таким как RESCAL. Его элегантная метафора трансляции вдохновила волну преемников: TransH и TransR (2014) позволили использовать гиперплоскости, специфичные для отношений; DistMult и ComplEx (2015–2016) исследовали билинейные оценки; RotatE (2019) моделировал отношения как вращения в комплексном пространстве. Сегодня KGE остается фундаментальным ориентиром в литературе по пополнению графов знаний.
Когда применять
Используйте векторные представления графов знаний, когда у вас есть большая коллекция троек (субъект, предикат, объект) и вам нужно выводить недостающие связи, ранжировать кандидатные факты или получать низкоразмерные признаки для последующих задач, таких как классификация сущностей или ответы на вопросы. Методы KGE опираются на допущение об открытом мире для недостающих фактов. Они менее подходят, когда паттерны отношений сильно не транзитивны или когда граф чрезвычайно разрежен с малым количеством троек на сущность. Альтернативы включают графовые нейронные сети для более богатой агрегации соседей или системы на основе правил, когда требуется явное логическое рассуждение.
Ограничения и замечания
- TransE плохо моделирует симметричные отношения или отношения типа 1-ко-многим, поскольку ограничение трансляции заставляет головную и хвостовую сущности совпадать для симметричных предикатов.
- Качество вложений ухудшается для малочастотных сущностей, которые появляются в очень немногих тройках, — проблема длинного хвоста, распространенная в реальных графах знаний.
- Статические вложения не могут улавливать временные или контекстуальные изменения в отношениях без существенных архитектурных расширений.
- Обучение требует тщательно сконструированных отрицательных выборок; наивное случайное искажение дает легкие отрицательные примеры, которые дают слабый градиентный сигнал.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Масштабируется до миллионов сущностей и отношений с линейной пространственной и временной сложностью по размерности вложений.
- Создает повторно используемые плотные представления, которые могут использоваться в классификаторах, рекомендательных системах или других последующих моделях.
- Функция оценки TransE вычислительно дешева во время вывода, что обеспечивает быстрое предсказание связей на очень больших графах.
- Обширный набор моделей (TransR, RotatE, DistMult, ComplEx) позволяет практикам выбирать вариант, наилучшим образом соответствующий паттернам отношений в их данных.
Применение
- Предсказание связей и пополнение графов знаний — вывод недостающих троек (h, r, t) в Freebase, Wikidata или предметно-ориентированных онтологиях.
- Биомедицинские графы знаний — предсказание взаимодействий лекарств и мишеней, ассоциаций генов и заболеваний, а также взаимодействий белков.
- Рекомендательные системы — обогащение коллаборативной фильтрации семантическими вложениями сущностей, извлеченными из графов знаний продуктов или пользователей.
- Ответы на вопросы по графам знаний — кодирование структуры графа для поддержки многошаговых рассуждений и разрешения неоднозначности сущностей.
- Сопоставление сущностей между многоязычными графами знаний — сопоставление эквивалентных сущностей в DBpedia, Wikidata и языковых энциклопедиях.
Как это работает
Как это работает
Все вложения сущностей и отношений инициализируются случайным образом как векторы в d-мерном вещественном пространстве. Вложения сущностей ограничены единичной сферой (норма L2 равна 1), чтобы предотвратить тривиальное минимизацию потерь путем увеличения величин векторов. Векторы отношений не нормализуются, что позволяет им кодировать величины направленных трансляций, которые различаются в зависимости от типа отношения.
Формула
\mathbf{e}, \mathbf{r} \in \mathbb{R}^d, \quad \|\mathbf{e}\|_2 = 1Для каждой кандидатной тройки (h, r, t) TransE вычисляет показатель несходства (dissimilarity) как норму L1 или L2 вектора остатка h + r − t. Низкое значение указывает на то, что добавление вектора отношения r к вложению головной сущности h точно воспроизводит вложение хвостовой сущности t, что означает правдоподобность тройки. Эта метафора трансляции является определяющей геометрической интуицией семейства TransE.
Формула
f_r(h, t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|_{L_1/L_2}Обучение использует парные ранжирующие потери с зазором (margin). Для каждой наблюдаемой положительной тройки (h, r, t) генерируется искаженная отрицательная тройка (h', r, t') путем случайной замены головной или хвостовой сущности на другую. Модель штрафуется всякий раз, когда показатель положительной тройки превышает показатель отрицательной тройки менее чем на величину зазора γ, что приводит к низким показателям для правильных троек и высоким показателям для искаженных троек.
Формула
\mathcal{L} = \sum_{(h,r,t) \in S} \sum_{(h',r,t') \in S'} \left[\gamma + f_r(h,t) - f_r(h',t')\right]_+Параметры модели обновляются с помощью стохастического градиентного спуска на мини-батчах. После каждого шага градиента вложения сущностей проецируются обратно на единичную сферу путем нормализации L2, что обеспечивает выполнение ограничения, согласно которому ни одна сущность не может доминировать только за счет величины. Скорость обучения η и величина зазора γ являются ключевыми гиперпараметрами, контролирующими сходимость и качество разделения.
Формула
\theta \leftarrow \theta - \eta \nabla_{\theta} \mathcal{L}, \quad \mathbf{e} \leftarrow \frac{\mathbf{e}}{\|\mathbf{e}\|_2}Частые ошибки
- Выбор слишком маленькой размерности вложений приводит к коллапсу семантически различных сущностей; слишком большая увеличивает риск переобучения на разреженных сущностях.
- Использование только головной или только хвостовой коррекции при отрицательном семплировании может привести к систематическим смещениям — чередуйте или используйте обе стратегии на батч.
- Нормализация векторов отношений, а также векторов сущностей противоречит формулировке TransE и обычно ухудшает качество.
- Оценка только по MRR или Hits@k без проверки распределений обратных рангов может маскировать сбои для конкретных типов отношений.
Часто задаваемые вопросы
Чем TransE отличается от более новых моделей, таких как RotatE или ComplEx?
TransE моделирует отношения как аддитивные трансляции в вещественном пространстве, что затрудняет работу с симметричными отношениями и отношениями 1-ко-многим. RotatE представляет отношения как вращения в комплексном пространстве, естественным образом обрабатывая симметрию, антисимметрию и инверсию. ComplEx использует комплексные вложения и эрмитово скалярное произведение, описывая асимметричные отношения, которые TransE не может. Несмотря на эти достижения, TransE остается сильным базовым уровнем благодаря своей простоте и скорости.
Какова роль гиперпараметра зазора (margin) γ при обучении?
Зазор γ устанавливает минимальный требуемый разрыв в оценках между положительными и отрицательными тройками. Большее γ требует большего разделения, что может улучшить дискриминацию, но рискует чрезмерно штрафовать сложные отрицательные примеры на ранних этапах обучения. Меньшее γ может привести к недообучению. Типичные значения варьируются от 0,5 до 10, и γ обычно настраивается по качеству на валидационной выборке по Hits@10 или MRR.
Могут ли векторные представления графов знаний обрабатывать многошаговые рассуждения?
Однослойные модели KGE, такие как TransE, захватывают одношаговые оценки, но испытывают трудности с явными многошаговыми цепочками. Расширения, такие как модели на основе путей (PTransE) или нейросимволические гибриды, составляют вложения отношений вдоль путей для обработки двух- и трехшаговых рассуждений. Варианты графовых нейронных сетей, которые распространяют информацию о соседях через несколько слоев, часто предпочтительны для задач глубокого многошагового вывода.
Похожие методы
Источники
Bordes, A., Usunier, N., García-Durán, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in Neural Information Processing Systems, 26.
Открыть ссылку на публикациюСкопировано.