Skip to content
Retour aux résultats

Réseau d'attention sur graphe

Introduite par
Veličković, P. et al.
Année
2018
Type
Graph neural network (attention-based)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le Réseau d'attention sur graphe (Graph Attention Network, GAT), introduit par Veličković et ses collègues en 2018, est une variante de réseau neuronal sur graphe qui apprend l'importance à accorder à chaque nœud voisin par le biais d'un mécanisme d'auto-attention.

Sur les voisinages hétérogènes et la classification relationnelle, il produit des résultats supérieurs aux réseaux convolutifs sur graphe (Graph Convolutional Networks, GCN).

L’intuition derrière la méthode

Lorsque les données résident sur un graphe, chaque nœud est décrit non seulement par ses propres caractéristiques, mais aussi par ses voisins. Les réseaux sur graphe antérieurs traitaient tous les voisins de manière égale lors de la fusion de leurs informations. Le GAT, quant à lui, permet à chaque nœud d'apprendre quels voisins sont les plus importants pour la tâche et pondère leurs contributions en conséquence, de sorte qu'un nœud tire davantage des connexions réellement informatives et moins de celles qui ne le sont pas.

Histoire

Les Réseaux d'attention sur graphe ont été introduits par Veličković et ses collègues à l'ICLR 2018, apportant l'auto-attention aux réseaux neuronaux sur graphe afin que l'importance de chaque voisin soit apprise plutôt que fixée. Une étude de suivi de 2022 par Brody et ses collègues, How Attentive are Graph Attention Networks?, a examiné l'expressivité de la formulation d'attention originale et a proposé un raffinement, approfondissant la compréhension de la manière dont le GAT prête réellement attention à ses voisins.

Quand l’utiliser

Utilisez le GAT lorsque vos données ont déjà une structure de graphe avec des caractéristiques de nœuds calculées et que vous avez besoin de classification de nœuds ou d'apprentissage relationnel, généralement avec au moins environ 200 nœuds et idéalement plusieurs centaines ou plus. Il ne suppose pas de données normalement distribuées et fonctionne avec des caractéristiques de nœuds continues et catégorielles. Un GPU est recommandé. En dessous d'environ 500 nœuds, les poids d'attention ne peuvent pas être appris de manière fiable et le surapprentissage devient un risque ; avec de très petits graphes (moins d'environ 100 nœuds), les méthodes d'apprentissage automatique classiques sont un choix plus sûr.

Limites et points d’attention

  • Nécessite une structure de graphe existante et des caractéristiques de nœuds pré-calculées.
  • Un GPU est recommandé ; l'entraînement est coûteux en calcul.
  • Sur de petits graphes (moins d'environ 500 nœuds), les poids d'attention ne sont pas appris de manière fiable et le modèle surapprend.
  • Avec de très petits réseaux (moins d'environ 100 nœuds), le modèle devient dénué de sens et l'apprentissage automatique classique est préférable.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Apprend l'importance des voisins par auto-attention plutôt que de traiter tous les voisins de manière égale.
  • Surpasse les réseaux convolutifs sur graphe (GCN) sur les voisinages hétérogènes et la classification relationnelle.
  • Peu d'hypothèses : aucune exigence de normalité, et il gère les caractéristiques de nœuds continues et catégorielles.
  • Plusieurs têtes d'attention stabilisent l'apprentissage sur des données structurées en graphe.

Applications

  • Classification de nœuds sur des données structurées en graphe.
  • Apprentissage relationnel entre entités connectées.
  • Modélisation de voisinages hétérogènes où les GCN sont sous-performants.
  • Tâches où l'importance relative des connexions doit être apprise.

Comment ça marche

Comment ça marche

1

Chaque nœud et ses caractéristiques sont d'abord transformés par une matrice de poids partagée. Pour chaque paire de nœuds connectés, le modèle calcule ensuite un score d'attention qui mesure la pertinence d'un voisin par rapport à l'autre, capturant l'idée que toutes les connexions n'ont pas le même poids.

Formule
e_{ij} = a(W h_i, W h_j)
2

Les scores d'attention bruts pour tous les voisins d'un nœud sont passés à travers une fonction softmax afin qu'ils somment à un. Cela les transforme en poids d'importance comparables, indiquant au nœud quelle fraction de sa représentation mise à jour doit provenir de chaque voisin.

Formule
\alpha_{ij} = \operatorname{softmax}_j(e_{ij})
3

Chaque nœud construit sa nouvelle représentation comme la somme pondérée par l'attention des caractéristiques transformées de ses voisins, passée à travers une non-linéarité. L'utilisation de plusieurs têtes d'attention en parallèle stabilise ce processus, et l'empilement de couches permet à l'information de circuler sur des voisinages plus larges, ce qui confère au GAT son avantage sur les graphes hétérogènes et relationnels.

Formule
h_i' = \sigma\!\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j\right)

Pièges courants

  • Appliquer le GAT à un petit graphe où les poids d'attention ne peuvent pas être appris de manière fiable, ce qui invite au surapprentissage.
  • Oublier qu'une structure de graphe utilisable doit exister avant que le modèle puisse être appliqué.
  • Calculer ou fournir des caractéristiques de nœuds de manière incohérente, sur lesquelles le mécanisme d'attention dépend.
  • Entraîner sans GPU et sous-estimer le coût de calcul.

Questions fréquentes

Quelle est la différence entre le GAT et un réseau convolutif sur graphe (GCN)?

Un GCN combine les voisins d'un nœud avec des poids qui dépendent uniquement de la structure du graphe, traitant les connexions de manière fixe. Le GAT apprend plutôt des poids d'attention afin que chaque nœud décide quels voisins sont les plus importants, c'est pourquoi il a tendance à mieux performer sur les voisinages hétérogènes et la classification relationnelle.

Quelle quantité de données le GAT nécessite-t-il?

Il est destiné aux graphes comportant au moins environ 200 nœuds. En dessous d'environ 500 nœuds, les poids d'attention ne sont pas appris de manière fiable et le surapprentissage devient un risque réel, et avec de très petits réseaux (moins d'environ 100 nœuds), les méthodes d'apprentissage automatique classiques sont un meilleur choix.

Ai-je besoin d'un GPU pour utiliser le GAT?

Un GPU est recommandé. En tant que modèle d'apprentissage profond entraîné sur des voisinages de graphes avec plusieurs têtes d'attention, le GAT est coûteux en calcul, et un GPU rend l'entraînement pratique.

De quoi ai-je besoin avant d'appliquer le GAT?

Vous avez besoin d'une structure de graphe existante et de caractéristiques de nœuds qui ont déjà été calculées, car le mécanisme d'attention opère sur les caractéristiques des nœuds connectés.

Méthodes associées

Sources

  1. Veličković, P. et al. (2018). Graph Attention Networks. ICLR.

    Ouvrir la référence de la publication
    Copié.
  2. Brody, S. et al. (2022). How Attentive are Graph Attention Networks? ICLR.

    Ouvrir la référence de la publication
    Copié.