Skip to content
返回搜索结果

知识图谱分析

提出者
Ehrlinger, L. & Wöß, W.; Google (popularized)
年份
2012–2016
类型
Graph-based knowledge representation and analysis
类别
Network science

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

知识图谱分析是一种框架,用于将结构化的事实知识表示、存储和推理为由实体和类型化关系组成的有向图。实体(节点)和关系(边)表示为主语-谓语-宾语三元组,从而能够跨生物医学研究、电子商务和科学文献等领域的异构数据源进行丰富的查询、推理和集成。

方法背后的直觉

将知识图谱视为一个巨大的、机器可读的百科全书,其中每个事实都存储为结构化的三元组:“爱因斯坦 — 出生于 — 乌尔姆”。与扁平表不同,这种图结构允许您通过简单的图遍历(而不是复杂的 SQL 连接)来导航意义链——查找在德国学习过的诺贝尔奖获得者后来任教的所有机构。分析任务然后询问:哪些实体连接最多,哪些概念社区聚集在一起,哪些事实可能缺失,以及可以从现有事实中推断出哪些新关系?

历史学

“知识图谱”一词由谷歌在 2012 年推出其知识图谱以增强搜索结果中的结构化事实时普及。Ehrlinger 和 Wöß 于 2016 年提出了一个正式的学术定义。该领域建立在早期(2000 年代初)语义网技术(RDF、OWL)和符号人工智能知识库(如 Cyc (1984))的早期工作之上。自 2017 年以来,图神经网络和基于 Transformer 的嵌入已大大推进了知识图谱补全和推理。

何时使用

当您的研究问题涉及来自多个来源的异构、相互链接的实体,并且您需要跨关系链进行查询、推断缺失事实或集成领域本体时,请使用知识图谱分析——例如,映射合著者和引文网络、药物-基因-疾病相互作用网络或产品-客户-属性图。当数据以关系三元组形式到达或可以自然地以这种方式表达时,它表现出色。当您的数据是一个没有有意义的实体-关系结构的简单扁平表时,当您需要具有 p 值和置信区间的透明统计推断(请改用回归或 ERGM)时,或者当图足够小以至于关系数据库查询就足够时,请不要使用它。

局限与注意事项

  • 构建需要大量数据工程工作:实体提取、共指消解和本体设计并非易事。
  • 图的质量取决于源数据的完整性和正确性;稀疏或嘈杂的三元组会降低推理质量。
  • 基于嵌入的链接预测模型是黑箱;解释为什么预测了一个三元组需要额外的可解释性工具。
  • 没有内置的统计显著性框架——与 ERGM 或回归不同,没有单个边或路径的 p 值。
  • 维护开销:随着底层事实的变化,必须更新图以避免陈旧或矛盾的知识。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在统一的语义模式下集成来自多个来源的异构数据。
  • 支持扁平表和关系数据库难以支持的多跳查询和推理。
  • 通过图嵌入支持链接预测和知识补全,揭示隐式事实。
  • 与标准网络科学指标(中心性、社区检测)兼容,用于结构分析。
  • 高度可扩展:Wikidata 或 Google Knowledge Graph 等大规模图包含数十亿个三元组。
  • 通过开放标准(RDF、OWL、SPARQL)促进互操作性。

应用

  • 文献计量学和引文网络分析:绘制科学领域的研究前沿、关键作者和概念集群。
  • 生物医学知识图谱:整合药物-基因-疾病相互作用,用于药物再利用和不良反应预测。
  • 问答和信息检索:将大型语言模型的响应建立在结构化的事实知识基础上。
  • 电子商务推荐:链接产品、属性、用户偏好和购买历史,以实现可解释的推荐。
  • 企业数据集成:通过共享的语义模式统一跨部门的数据孤岛。
  • 社会科学研究:将政策参与者、立法文本和机构隶属关系表示为相互链接的实体,用于关系分析。

使用方式

使用方式

1

该过程首先从源文本、数据库或本体中识别实体——人、地点、概念、出版物、化学品。每个唯一的实体都成为图中的一个节点,并分配一个规范标识符(URI 或内部 ID)来解析同义词和表面形式变体(例如,“WHO”和“世界卫生组织”合并为一个节点)。

2

在实体之间创建类型化的有向边来编码事实关系(例如,作者是、位于、相互作用)。形式三元组结构 G = (E, R, T),其中 T 是一个由(主语、谓语、宾语)三元组组成的集合,主语和宾语取自实体集 E,谓语取自关系集 R,它支撑着 RDF 和属性图的实现。

公式
G = (E, R, T), \; T \subseteq E \times R \times E
3

模式层——本体或分类法——约束允许的实体类型和关系类型,从而实现跨源的一致查询。对齐算法检测并合并来自不同模式的重叠或等效概念,这在集成多个知识库(例如,DBpedia + Wikidata)时至关重要。

4

使用 TransE、RotatE 或 ComplEx 等方法将实体和关系映射到连续的向量表示(嵌入)。这些嵌入捕获结构和语义的邻近性,从而能够进行链接预测(推断缺失的三元组)、实体消歧以及使用标准数值模型进行下游机器学习任务。

5

SPARQL 或 Cypher 查询检索多跳事实,而基于规则或基于嵌入的推理则推断隐式三元组(例如,如果 A 教 B 且 B 教 C,则 A 间接指导 C)。然后将经典网络科学中的中心性、社区检测和路径分析算法应用于生成的图,以揭示关键实体、集群和信息流。

常见陷阱

  • 将知识图谱视为事实真相而不考虑其不完整性——所有现实世界的知识图谱都有缺失的边。
  • 在没有在保留的链接预测基准上进行验证的情况下选择图嵌入模型(例如 TransE),导致过度自信的推断。
  • 在没有适当的共指消解的情况下合并来自不同来源的实体,创建重复或混淆的节点。
  • 混淆模式层(本体)和实例层(实际三元组),导致类型冲突和无效查询。
  • 将为无向图设计的社区检测算法应用于有向知识图谱,而不考虑边的方向性。

常见问题

知识图谱与标准网络或社交网络有什么区别?

标准网络图通常具有未标记或统一类型的边(例如,“连接到”)。知识图谱使用类型化、具有语义意义的关系(例如,“作者是”、“位于”)并基于本体,从而实现逻辑推理。社交网络分析侧重于参与者之间连接的结构属性,而知识图谱分析则强调关系和多类型实体的语义内容。

我需要使用 RDF 和 SPARQL,还是可以使用像 Neo4j 这样的属性图数据库?

两者都是有效的。RDF/SPARQL 是 W3C 标准,最适合开放数据互操作性和基于本体的推理。属性图(Neo4j/Cypher)对开发人员更友好,并且通常在处理中等规模图的遍历查询时速度更快。分析方法——中心性、社区检测、链接预测——同样适用于这两种表示。

如何评估图嵌入模型进行的链接预测的质量?

标准协议是将已知三元组的随机样本作为测试集保留,从图中删除它们,然后在剩余的三元组上训练嵌入模型,然后对每个保留的三元组的候选者进行排名,并报告平均倒数排名(MRR)和 Hits@k(k = 1、3、10)。

知识图谱分析可以与自然语言处理相结合吗?

是的,而且这种情况越来越普遍。NLP 管道执行命名实体识别和关系提取,以从非结构化文本中填充图谱。反之,知识图谱提供结构化上下文,可以改进实体消歧和基于事实的问答等 NLP 任务。

知识图谱分析是否适用于小型数据集?

知识图谱可以以任何规模构建,但用于链接预测的图嵌入模型需要足够的实体-关系共现覆盖率才能学习有意义的表示——通常需要数千个三元组。对于非常小的数据集,符号规则推理或更简单的网络指标(度、介数)比学习到的嵌入更可靠。

相关方法

参考文献

  1. Ehrlinger, L. & Wöß, W. (2016). Towards a Definition of Knowledge Graphs. In Proceedings of the SEMANTICS Posters and Demos Track (SEMANTiCS 2016). CEUR Workshop Proceedings, vol. 1695.

    打开出版物文献
    已复制。
  2. Hogan, A., Blomqvist, E., Cochez, M., d'Amato, C., Melo, G. de, Gutierrez, C., Kirrane, S., Gayo, J. E. L., Navigli, R., Neumaier, S., Ngomo, A.-C. N., Polleres, A., Rashid, S. M., Rula, A., Schmelzeisen, L., Sequeda, J., Staab, S., & Zimmermann, A. (2021). Knowledge Graphs. ACM Computing Surveys, 54(4), 71.

    打开 DOI 文献
    已复制。