グラフニューラルネットワーク — GCN / GAT / GraphSAGE
- 年
- 2017–2018 (major variants)
- 種類
- Deep learning on graph-structured data
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
グラフニューラルネットワーク(GNN)は、ノード特徴量と構造情報を、反復的な近傍メッセージパッシングを通じて組み合わせることで、グラフ構造化データ上で直接動作する深層学習アーキテクチャです。2017年にKipfとWellingによって導入されたグラフ畳み込みネットワーク(GCN)、2018年にVeličkovićらによって導入されたグラフ注意ネットワーク(GAT)、そしてGraphSAGEの3つの代表的なバリアントは、近傍情報を集約する方法が異なります。GCNは完全な隣接行列に対してスペクトル畳み込みを適用し、GATは学習された注意スコアによって近傍の重みを付け、GraphSAGEは局所的な近傍をサンプリングして集約することで、未知のノードへの一般化を可能にします。
手法の背後にある直感
グラフ内の各ノードをソーシャルネットワークの人物と考えてください。その人物は自身のプロフィール(特徴量)を持っていますが、誰を知っているかもその人物について多くを物語ります。GNNは、各ノードが近傍から繰り返しメッセージを収集し、それらのメッセージを自身の情報と混合し、層ごとに表現を更新することを可能にします。このゴシップスタイルの交換を数ラウンド行った後、各ノードの埋め込みは、ノード自身だけでなく、その周囲の局所的な部分グラフを反映します。GCNは近傍の固定された対称平均を用いてこれを行い、GATは注意重みを学習することでどの近傍をより信頼するかを決定し、GraphSAGEは近傍の固定サブセットをサンプリングし、見たことのないノードにも適用できる集約関数を学習します。
歴史学
グラフへのニューラルネットワークの適用の基礎は、Scarselliら(2009)によって築かれましたが、現代のGNN時代は、KipfとWellingによるグラフ畳み込みネットワーク(2017)から始まりました。これは、スペクトルグラフ畳み込みを、対称正規化隣接行列の乗算を用いた効率的な一次近似に単純化しました。1年後、Veličkovićら(2018)はグラフ注意ネットワークを導入し、GCNの固定平均を各エッジ上の学習可能な注意係数に置き換え、モデルが近傍を選択的に重み付けできるようにしました。同時期に、Hamiltonら(2017)は、固定サイズの近傍をサンプリングし、未知のノードに転送可能な集約関数を学習する帰納的フレームワークであるGraphSAGEを提案し、GNNを大規模で動的なグラフに実用的にしました。これらの3つの論文は、現在ほとんどのGNN研究の基盤となっているメッセージパッシングパラダイムを確立しました。
使うべき場面
データが自然にグラフ構造化されている場合 — ソーシャルネットワーク、引用ネットワーク、分子グラフ、知識グラフ、またはエンティティ間の関係が予測信号を持つあらゆる設定 — にGNNを使用してください。ノード特徴量行列とエッジリストが必要です。意味のあるトレーニングには、約50ノード以上の最小値が必要です。GNNは、ノード分類(各ノードのラベルを予測する)、リンク予測(欠落エッジを推測する)、およびグラフ分類(グラフ全体にラベルを割り当てる)に適用可能です。同質性仮説(接続されたノードは同じラベルを共有する傾向がある)は、GCNおよび標準GATによって暗黙的に利用されます。グラフが異質性である場合は、その設定用に設計されたアーキテクチャを検討してください。大規模グラフの場合、フルバッチトレーニングはメモリを大量に消費するため、ミニバッチ近傍サンプリング(GraphSAGEスタイル)が必要です。グラフのノード数が20未満の場合は、従来の中心性指標の方が適切な選択肢です。
限界と注意点
- オーバー・スムージング:多くのGNN層を積み重ねると、すべてのノード埋め込みが共通の値に向かって押しやられ、実質的な深さが約2〜4層に制限されます。
- スケーラビリティ:フルバッチGCNおよびGATは、完全な隣接行列と特徴量行列をメモリに保持する必要があり、サンプリングやパーティショニングなしでは非常に大きなグラフには実行不可能です。
- 標準的な集約に組み込まれた同質性仮説は、近傍が異なるラベルを持つ傾向がある異質性グラフでの性能を低下させます。
- 約50ノードの最小サンプルサイズが必要です。ノード数が少ないと、モデルは意味のある表現を学習するための十分な信号を得られません。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ノード特徴量とグラフのトポロジーの両方を共同で活用し、いずれか一方のみを使用する手法を上回る性能を発揮します。
- GATの注意メカニズムは、エッジごとの重要度スコアを提供し、集約に解釈可能性を追加します。
- GraphSAGEは帰納的であり、トレーニング中に seen でないノードやグラフに一般化できるため、成長中のネットワークへのデプロイメントが可能になります。
- 統一されたメッセージパッシングフレームワークは、同じアーキテクチャバックボーンでノード分類、リンク予測、グラフ分類をカバーします。
応用
- 引用ネットワークにおけるノード分類 — 紙の内容と引用リンクに基づいて論文のトピックを予測します。
- 創薬 — 原子をノード、化学結合をエッジとして扱い、分子特性を予測します。
- レコメンダーシステム — ユーザーとアイテムを二部グラフとしてモデル化し、リンク予測を通じてユーザーとアイテムのインタラクションを予測します。
- 金融取引ネットワークにおける不正検出 — 特徴量と近傍構造に基づいて異常なノードを特定します。
- 知識グラフ補完 — 大規模知識ベースにおけるエンティティ間の欠落関係を推論します。
使い方
使い方
グラフは、ノード特徴量行列X(ノードごとに1行、属性ごとに1列)とエッジリスト(または隣接行列)Aによって定義されます。無向エッジはGCNとGATの標準ですが、GraphSAGEは有向グラフもサポートします。通常、自己ループがAに追加され、各ノードが自身の集約に含まれるようになります。
生のノード属性は正規化され、必要に応じて連続ベクトル空間に埋め込まれます。エッジ属性が存在する場合は、追加の信号として組み込むことができます。結果として得られる密な特徴量行列は、各GNN層によって変換されます。
各GNN層は、ノードの近傍の特徴量を集約し、学習可能な重み行列と非線形活性化関数を介してノード自身の特徴量と組み合わせることで、新しいノード表現を計算します。GCNは正規化された隣接行列の乗算(スペクトル畳み込み)を適用し、GATは各エッジに対してソフトマックス注意係数を計算して影響力のある近傍がより多く寄与するようにし、GraphSAGEは固定サイズの近傍をランダムにサンプリングして微分可能な集約関数(平均、LSTM、またはプーリング)を適用します。L層を積み重ねることでLホップ離れた情報が流れるようになりますが、多くの層を積み重ねるとオーバー・スムージングが発生し、すべてのノード埋め込みが同じ値に収束してしまいます。
最終的なノード埋め込みは、タスク固有のヘッドに供給されます。ノード分類では、ソフトマックス層が各ノードにクラス確率を割り当てます。リンク予測では、内積またはMLPが2つのノード埋め込み間のエッジの可能性をスコアリングします。グラフ分類では、グローバルプーリング(合計、平均、または階層的)が、分類層の前にすべてのノード埋め込みを単一のグラフレベルベクトルに集約します。
モデルの性能は、タスクに適した指標(ノードおよびグラフ分類の場合は精度またはF1、リンク予測の場合はAUC-ROC)を使用して、保持されたテストセットで測定されます。グラフデータセットはサイズが限定的であることが多いため、推移的評価(同じグラフ上の訓練/検証/テストマスク)または帰納的分割(不連続な部分グラフ)は、デプロイメントシナリオと一致する必要があります。
よくある落とし穴
- GNN層を過剰に追加するとオーバー・スムージングが発生します。すべてのノード埋め込みが収束し、モデルは識別力を失います。層の数を2〜4に保ち、埋め込みの分散を監視してください。
- ミニバッチなしでグラフ全体でトレーニングすることは、大規模ネットワークにとってメモリを大量に消費します。数千ノードを超えるグラフには、GraphSAGEスタイルの近傍サンプリングまたはグラフパーティショニングを使用してください。
- 推移的にトレーニングされたGCNを推論時に新しい、未知のノードに直接適用することは誤りです。デプロイメントで新しいノードへの一般化が必要な場合は、GraphSAGEのような帰納的手法を使用してください。
- 異質性グラフでの同質性仮説を無視すると、結果が悪くなります。標準的なGNNバリアントを選択する前に、グラフのアソータティビティ係数を調べてください。
- 20ノード未満の場合、GNNトレーニングは信頼性の低い表現をもたらします。その領域では、従来のネットワーク中心性分析を優先してください。
よくある質問
どのGNNバリアントから始めるべきか — GCN、GAT、またはGraphSAGE?
GCNは最も単純なベースラインであり、トレーニング時にすべてのノードが既知である小〜中規模の同質性グラフでうまく機能します。近傍の重要度が異なり、解釈可能な注意重みが必要な場合はGATが好ましいです。トレーニング中にseenでないノードに一般化する必要がある場合、またはグラフがフルバッチ処理には大きすぎる場合は、GraphSAGEが適切な選択です。
オーバー・スムージングとは何ですか、そしてそれをどのように回避しますか?
オーバー・スムージングは、多くのGNN層がすべてのノード埋め込みを同じ値に収束させ、識別情報を排除する際に発生します。実際には、2〜4層が通常最適です。残差接続、ジャンピング知識ネットワーク、DropEdgeなどの技術は、より深いアーキテクチャが必要な場合に役立ちます。
GNNはすべてのノードにラベル付きデータを必要としますか?
いいえ。GCNとGATは、少数のノードのみがラベルを持つ半教師あり設定で一般的に使用されます。グラフ構造は、ラベル付きノードからラベルなしノードへの情報を伝播します。GraphSAGEは、タスクに応じて完全に教師ありまたは教師なしの方法でトレーニングすることもできます。
グラフはどのくらいの大きさが必要ですか?
意味のあるGNNトレーニングには、約50ノードの最小値が必要です。20ノード未満の場合、モデルは信頼性の高い表現を学習できず、従来の中心性ベースの分析がより適切です。数百万ノードのグラフの場合、メモリ使用量を管理可能にするためには、ミニバッチ近傍サンプリング(GraphSAGEのような)またはグラフパーティショニング手法が必要です。
関連する手法
参考文献
Kipf, T.N. & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. International Conference on Learning Representations (ICLR).
DOI 文献を開くコピーしました。Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph Attention Networks. International Conference on Learning Representations (ICLR).
DOI 文献を開くコピーしました。Hamilton, W.L. (2020). Graph Representation Learning. Morgan & Claypool.
DOI 文献を開くコピーしました。