图神经网络 — GCN / GAT / GraphSAGE
- 年份
- 2017–2018 (major variants)
- 类型
- Deep learning on graph-structured data
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
图神经网络(GNN)是一种直接在图结构数据上运行的深度学习架构,它通过迭代式的邻域消息传递,将节点特征与结构信息相结合。三个经典变体——Kipf和Welling于2017年提出的图卷积网络(GCN)、Veličković等人于2018年提出的图注意力网络(GAT)以及GraphSAGE——在聚合邻域信息的方式上有所不同:GCN对整个邻接矩阵应用谱卷积,GAT通过学习到的注意力分数对邻居进行加权,而GraphSAGE则通过采样并聚合局部邻域来归纳学习,从而能够泛化到未见过的节点。
方法背后的直觉
将图中的每个节点想象成社交网络中的一个人。这个人有自己的个人资料(特征),但他们认识谁也能说明很多关于他们的信息。GNN允许每个节点反复地从其邻居那里收集消息,将这些消息与其自身信息混合,并逐层更新其表示。经过几轮这种类似八卦的交流后,每个节点的嵌入不仅反映了它自身,还反映了它周围的局部子图。GCN通过固定对称平均值来做到这一点;GAT通过学习注意力权重来决定信任哪些邻居;GraphSAGE则采样固定数量的邻居并学习一个可以应用于它从未见过节点的聚合函数。
历史学
将神经网络应用于图的基础是由Scarselli等人(2009年)奠定的,但现代GNN时代始于Kipf和Welling的图卷积网络(2017年),它将谱图卷积简化为使用对称归一化邻接矩阵乘法的有效一阶近似。一年后,Veličković等人(2018年)提出了图注意力网络,用每条边上可学习的注意力系数取代了GCN的固定平均——允许模型选择性地加权邻居。与此同时,Hamilton等人(2017年)提出了GraphSAGE,一个归纳式框架,它采样固定大小的邻域并学习可迁移到未见过的节点的聚合函数,使得GNN在大型动态图上变得实用。这三篇论文确立了消息传递范式,该范式现在支撑着大多数GNN研究。
何时使用
当你的数据天然是图结构时——社交网络、引文网络、分子图、知识图谱,或者任何实体之间的关系具有预测信号的场景——就使用GNN。你需要一个节点特征矩阵和一个边列表。有意义的训练至少需要大约50个节点。GNN适用于节点分类(为每个节点预测标签)、链接预测(推断缺失的边)和图分类(为整个图分配标签)。GCN和标准GAT隐含地利用了同质性假设——连接的节点倾向于共享相同的标签;如果你的图是异质的,请考虑为该场景设计的架构。对于大型图,全批量训练在内存上是不可行的,需要进行小批量邻域采样(GraphSAGE风格)。如果你的图节点数少于20个,传统的中心性度量是更合适的选择。
局限与注意事项
- 过平滑:堆叠许多GNN层会将所有节点嵌入推向一个共同的值,实际上将有效深度限制在2-4层。
- 可扩展性:全批量GCN和GAT需要将整个邻接矩阵和特征矩阵保存在内存中,对于非常大的图,如果没有采样或分区,这是不可行的。
- 标准聚合中固有的同质性假设在异质图上会降低性能,在异质图上邻居倾向于具有不同的标签。
- 需要最少约50个节点的样本量;节点太少,模型没有足够的信号来学习有意义的表示。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 联合利用节点特征和图拓扑,优于仅使用其中之一的方法。
- GAT的注意力机制提供了每条边的重要性分数,增加了聚合的可解释性。
- GraphSAGE是归纳式的,可以泛化到训练期间未见过的节点和图,从而能够在不断增长的网络上进行部署。
- 统一的消息传递框架可以用相同的架构骨干覆盖节点分类、链接预测和图分类。
应用
- 引文网络中的节点分类——根据论文内容和引用链接预测论文的主题。
- 药物发现——通过将原子视为节点,化学键视为边来预测分子性质。
- 推荐系统——将用户和物品建模为二分图,并通过链接预测来预测用户-物品交互。
- 金融交易网络中的欺诈检测——根据异常节点的特征和邻域结构来识别它们。
- 知识图谱补全——推断大型知识库中实体之间缺失的关系。
使用方式
使用方式
图由节点特征矩阵X(每行一个节点,每列一个属性)和边列表(或邻接矩阵)A定义。无向边是GCN和GAT的标准;GraphSAGE也支持有向图。通常会向A添加自环,以便每个节点都包含在其自身的聚合中。
原始节点属性被归一化,并在必要时嵌入到连续向量空间中。如果存在边属性,则可以将其作为附加信号纳入。结果是一个密集的特征矩阵,每个GNN层都会对其进行转换。
每个GNN层通过聚合节点邻居的特征,并结合节点自身的特征以及可学习的权重矩阵和非线性激活函数,来计算新的节点表示。GCN应用归一化的邻接矩阵乘法(谱卷积);GAT为每条边计算softmax注意力系数,从而有影响力的邻居贡献更多;GraphSAGE随机采样固定大小的邻域并应用可微聚合器(均值、LSTM或池化)。堆叠L层可以让信息传播L跳,但堆叠过多层会导致过平滑,即所有节点嵌入收敛到相同的值。
最终的节点嵌入被馈送到特定任务的头部。对于节点分类,softmax层为每个节点分配类别概率。对于链接预测,内积或MLP对两个节点嵌入之间的边的可能性进行评分。对于图分类,全局池化(求和、均值或分层)将所有节点嵌入聚合为单个图级向量,然后再进行分类。
模型性能在保留的测试集上使用适合任务的指标进行衡量:节点和图分类的准确率或F1分数,链接预测的AUC-ROC。由于图数据集通常尺寸有限,因此应根据部署场景选择转导评估(同一图上的训练/验证/测试掩码)或归纳分割(不相交的子图)。
常见陷阱
- 添加过多的GNN层会导致过平滑:所有节点嵌入都会收敛,模型会失去区分能力。将层数保持在2-4层,并监控嵌入方差。
- 对于大型网络,在没有小批量的情况下对整个图进行训练在内存上是不可行的;对于超过数千个节点的图,请使用GraphSAGE风格的邻域采样或图分区。
- 将转导训练的GCN直接应用于推理时新的、未见过的节点是不正确的;如果你的部署需要泛化到新节点,请使用GraphSAGE等归纳方法。
- 忽略异质图上的同质性假设会产生糟糕的结果;在选择标准GNN变体之前,请检查图的同质性系数。
- 节点数少于20个时,GNN训练会产生不可靠的表示;在该情况下,更倾向于传统的网络中心性分析。
常见问题
我应该从哪个GNN变体开始——GCN、GAT还是GraphSAGE?
GCN是最简单的基线,在所有节点都在训练时已知的、中小型同质图上效果很好。当邻居的重要性不同且你想要可解释的注意力权重时,GAT是更好的选择。当你需要泛化到训练期间未见过的节点,或者图太大无法进行全批量处理时,GraphSAGE是正确的选择。
什么是过平滑,我该如何避免它?
过平滑发生在许多GNN层导致所有节点嵌入收敛到相同值时,从而消除了区分信息。实际上,2-4层通常是最佳的。如果需要更深层次的架构,残差连接、跳跃知识网络和DropEdge等技术会有所帮助。
GNN是否需要为所有节点提供标记数据?
不是。GCN和GAT通常用于半监督设置,其中只有一小部分节点带有标签;图结构将信息从标记节点传播到未标记节点。GraphSAGE也可以根据任务以全监督或无监督的方式进行训练。
图需要多大?
有意义的GNN训练至少需要大约50个节点。节点数少于20个时,模型无法学习可靠的表示,传统的基于中心性的分析更合适。对于拥有数百万节点的图,需要进行小批量邻域采样(如GraphSAGE)或图分区方法,以保持内存使用量可控。
相关方法
参考文献
Kipf, T.N. & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. International Conference on Learning Representations (ICLR).
打开 DOI 文献已复制。Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph Attention Networks. International Conference on Learning Representations (ICLR).
打开 DOI 文献已复制。Hamilton, W.L. (2020). Graph Representation Learning. Morgan & Claypool.
打开 DOI 文献已复制。