Skip to content
返回搜索结果

知识图谱嵌入

提出者
Bordes, Usunier, García-Durán, Weston & Yakhnenko
年份
2013
类型
Graph representation learning via low-dimensional vector embeddings
类别
Graph representation

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

知识图谱嵌入(Knowledge Graph Embeddings, KGE)是一类方法,它将知识图谱中的实体和关系表示为连续空间中的密集低维向量。其基础模型TransE由Bordes、Usunier、García-Durán、Weston和Yakhnenko于2013年提出。TransE将每个关系视为嵌入空间中的一种“翻译”——对于任何真实的三元组(h, r, t),头实体向量加上关系向量应近似于尾实体向量。这种简单的几何原理使得大规模的链接预测和知识库补全成为可能。

方法背后的直觉

想象一下将国家、首都和“是……的首都”这一关系放置在一张地图上。TransE的理念是:如果你从代表法国的向量出发,沿着标记为“首都”的方向移动,你应该会到达巴黎附近。实体是点;关系是连接它们的箭头。模型学习这些位置,使得已知的箭头指向正确,从而通过遵循相同的箭头,可以很容易地猜测未知的事实——比如找到一个未标记的首都。

历史学

TransE由Bordes及其同事在NeurIPS 2013上提出,作为早期张量分解方法(如RESCAL)的可扩展替代方案。其优雅的翻译隐喻启发了一系列后续模型:TransH和TransR(2014)允许关系特定的超平面;DistMult和ComplEx(2015-2016)探索了双线性评分;RotatE(2019)将关系建模为复数空间中的旋转。如今,KGE仍然是知识图谱补全文献中的一个基础性基准。

何时使用

当您拥有大量(主语、谓语、宾语)三元组并需要推断缺失链接、对候选事实进行排序或为实体分类或问答等下游任务生成低维特征时,请使用知识图谱嵌入。KGE方法对缺失事实采用开放世界假设。当关系模式高度非传递性或图非常稀疏(每个实体只有少量三元组)时,它们不太适用。替代方法包括用于更丰富邻域聚合的图神经网络,或在需要显式逻辑推理时使用基于规则的系统。

局限与注意事项

  • TransE无法很好地建模对称或1对N关系,因为翻译约束会强制对称谓词的头实体和尾实体指向同一点。
  • 对于出现在极少数三元组中的低频实体,嵌入质量会下降,这是现实世界知识库中常见的长尾问题。
  • 静态嵌入无法在没有显著架构扩展的情况下捕获关系中的时间或上下文变化。
  • 训练需要精心构建的负样本;朴素的随机破坏会产生容易的负样本,对梯度信号贡献甚微。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 可扩展到数百万实体和关系,嵌入维度具有线性空间和时间复杂度。
  • 生成可重用的密集表示,可输入分类器、推荐系统或其他下游模型。
  • TransE评分函数在推理时计算成本低,能够对超大型图进行快速链接预测。
  • 丰富的模型库(TransR、RotatE、DistMult、ComplEx)允许实践者选择最适合其数据中关系模式的变体。

应用

  • 链接预测和知识库补全——在Freebase、Wikidata或领域特定本体中推断缺失的(h, r, t)三元组。
  • 生物医学知识图谱——预测药物-靶点相互作用、基因-疾病关联和蛋白质-蛋白质关系。
  • 推荐系统——通过从产品或用户知识图谱中提取的语义实体嵌入来丰富协同过滤。
  • 基于知识库的问答——编码图结构以支持多跳推理和实体消歧。
  • 多语言知识图谱间的实体对齐——匹配DBpedia、Wikidata和特定语言百科全书中的等效实体。

使用方式

使用方式

1

所有实体和关系嵌入都被随机初始化为d维实数空间中的向量。实体嵌入被限制在单位球面上(L2范数等于1),以防止模型通过简单地增大向量幅度来最小化损失。关系向量不进行归一化,这使得它们能够编码随关系类型变化的定向翻译幅度。

公式
\mathbf{e}, \mathbf{r} \in \mathbb{R}^d, \quad \|\mathbf{e}\|_2 = 1
2

对于每个候选三元组(h, r, t),TransE计算其相异度分数,即残差向量h + r − t的L1或L2范数。低分表示将关系向量r加到头实体嵌入h后能很好地重现尾实体嵌入t,表明该三元组是合理的。这种翻译隐喻是TransE系列模型定义性的几何直觉。

公式
f_r(h, t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|_{L_1/L_2}
3

训练使用基于间隔的成对排序损失。对于每个观测到的正三元组(h, r, t),通过随机替换头实体或尾实体来生成一个被破坏的负三元组(h', r, t')。当正三元组的分数与负三元组的分数之差小于间隔γ时,模型会受到惩罚,这促使正确的三元组获得低分,而被破坏的三元组获得高分。

公式
\mathcal{L} = \sum_{(h,r,t) \in S} \sum_{(h',r,t') \in S'} \left[\gamma + f_r(h,t) - f_r(h',t')\right]_+
4

模型参数通过小批量随机梯度下降进行更新。在每次梯度步长之后,实体嵌入通过L2归一化重新投影回单位球体,从而强制执行任何实体都不能仅通过幅度来主导的约束。学习率η和间隔γ是控制收敛和分离质量的关键超参数。

公式
\theta \leftarrow \theta - \eta \nabla_{\theta} \mathcal{L}, \quad \mathbf{e} \leftarrow \frac{\mathbf{e}}{\|\mathbf{e}\|_2}

常见陷阱

  • 选择过小的嵌入维度会使语义上不同的实体崩溃;过大会增加稀疏实体上的过拟合风险。
  • 在负采样期间仅使用头实体或仅使用尾实体破坏可能会引入系统偏差——应交替使用或在每个批次中同时使用两种策略。
  • 对关系向量和实体向量都进行归一化与TransE的公式相矛盾,并且通常会损害性能。
  • 仅通过MRR或Hits@k进行评估而不检查倒数排名分布可能会掩盖特定关系类型上的失败。

常见问题

TransE与RotatE或ComplEx等最新模型有何不同?

TransE将关系建模为实值空间中的加性翻译,这在处理对称和1对N关系时存在困难。RotatE将关系表示为复数空间中的旋转,自然地处理对称性、反对称性和反演模式。ComplEx使用复值嵌入和厄米点积,捕获TransE无法处理的非对称关系。尽管有这些进展,TransE因其简单性和速度仍然是一个强大的基线。

间隔超参数γ在训练中的作用是什么?

间隔γ设置了正三元组和负三元组之间所需的最小分数差距。较大的γ要求更宽的分离,这可以提高区分度,但可能在训练早期过度惩罚困难的负样本。较小的γ可能导致欠拟合。典型值范围为0.5到10,γ通常通过验证集上Hits@10或MRR的性能进行调整。

知识图谱嵌入能否处理多跳推理?

TransE等单层KGE模型捕获单跳评分,但在显式多跳链方面存在困难。基于路径的模型(PTransE)或神经符号混合模型等扩展通过沿路径组合关系嵌入来处理两跳和三跳推理。图神经网络变体通过多层传播邻域信息,通常更适用于深度多跳推理任务。

相关方法

参考文献

  1. Bordes, A., Usunier, N., García-Durán, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in Neural Information Processing Systems, 26.

    打开出版物文献
    已复制。