Skip to content
返回搜索结果

图注意力网络

提出者
Veličković, P. et al.
年份
2018
类型
Graph neural network (attention-based)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

图注意力网络(GAT)由 Veličković 等人在 2018 年提出,是一种图神经网络变体,它通过自注意力机制学习为每个邻居节点分配多少重要性。在异构邻域和关系分类方面,它产生的优于图卷积网络(GCN)。

方法背后的直觉

当数据存在于图结构中时,每个节点不仅通过其自身特征来描述,还通过其邻居来描述。早期的图网络在融合信息时平等对待所有邻居。GAT 则让每个节点学习哪些邻居对任务最重要,并相应地加权它们的贡献,因此一个节点可以更多地利用真正有信息量的连接,而较少地利用那些无用的连接。

历史学

图注意力网络由 Veličković 等人在 ICLR 2018 上提出,将自注意力引入图神经网络,从而学习每个邻居的重要性而不是固定不变。Brody 等人在 2022 年的后续研究《How Attentive are Graph Attention Networks?》检验了原始注意力公式的表达能力,并提出了改进,加深了对 GAT 如何实际关注其邻居的理解。

何时使用

当你的数据已经具有图结构和计算好的节点特征,并且你需要进行节点分类或关系学习时,可以使用 GAT,通常需要至少大约 200 个节点,最好是几百个或更多。它不假设数据服从正态分布,并且可以处理连续和分类节点特征。建议使用 GPU。在低于大约 500 个节点时,注意力权重无法可靠学习,并且存在过拟合的风险;对于非常小的图(低于约 100 个节点),经典的机器学习方法是更安全的选择。

局限与注意事项

  • 需要现有的图结构和预计算的节点特征。
  • 建议使用 GPU;训练在计算上要求很高。
  • 在小型图(少于约 500 个节点)上,注意力权重无法可靠学习,模型会过拟合。
  • 对于非常小的网络(少于约 100 个节点),模型变得无意义,更倾向于使用经典机器学习方法。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过自注意力学习邻居的重要性,而不是平等对待所有邻居。
  • 在异构邻域和关系分类方面优于图卷积网络(GCN)。
  • 假设较少:无正态性要求,并且可以处理连续和分类节点特征。
  • 多个注意力头可以稳定图结构数据的学习。

应用

  • 图结构数据上的节点分类。
  • 连接实体之间的关系学习。
  • 对 GCN 表现不佳的异构邻域进行建模。
  • 需要学习连接相对重要性的任务。

使用方式

使用方式

1

每个节点及其特征首先通过一个共享的权重矩阵进行变换。然后,模型为每一对连接的节点计算一个注意力分数,该分数衡量一个邻居对另一个邻居的相关性,捕捉了并非所有连接都具有同等权重的思想。

公式
e_{ij} = a(W h_i, W h_j)
2

一个节点所有邻居的原始注意力分数通过 softmax 函数处理,使其总和为一。这将其转化为可比较的重要性权重,告诉节点其更新后的表示应该有多少比例来自每个邻居。

公式
\alpha_{ij} = \operatorname{softmax}_j(e_{ij})
3

每个节点将其新的表示构建为其邻居变换后特征的注意力加权和,并通过非线性函数处理。并行使用多个注意力头可以稳定此过程,而堆叠层可以使信息跨越更大的邻域流动,这正是 GAT 在异构和关系图上具有优势的原因。

公式
h_i' = \sigma\!\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j\right)

常见陷阱

  • 将 GAT 应用于无法可靠学习注意力权重的小型图,从而导致过拟合。
  • 忘记了在使用模型之前必须存在可用的图结构。
  • 不一致地计算或提供节点特征,而注意力机制依赖于此。
  • 在没有 GPU 的情况下进行训练,并低估了计算成本。

常见问题

GAT 与图卷积网络(GCN)有何不同?

GCN 将节点的邻居与仅取决于图结构的权重相结合,以固定的方式处理连接。而 GAT 则学习注意力权重,使每个节点决定哪些邻居最重要,这就是为什么它在异构邻域和关系分类方面往往表现更好。

GAT 需要多少数据?

它适用于至少大约 200 个节点的图。在低于大约 500 个节点时,注意力权重无法可靠学习,过拟合成为一个真正的风险,而对于非常小的网络(低于约 100 个节点),经典的机器学习方法是更好的选择。

我需要 GPU 才能使用 GAT 吗?

建议使用 GPU。作为一个在图邻域上使用多个注意力头进行训练的深度学习模型,GAT 在计算上要求很高,而 GPU 可以使训练变得可行。

在应用 GAT 之前我需要什么?

你需要一个现有的图结构和已经计算好的节点特征,因为注意力机制作用于连接节点的特征。

相关方法

参考文献

  1. Veličković, P. et al. (2018). Graph Attention Networks. ICLR.

    打开出版物文献
    已复制。
  2. Brody, S. et al. (2022). How Attentive are Graph Attention Networks? ICLR.

    打开出版物文献
    已复制。