Skip to content
Torna ai risultati

Rete di Attenzione su Grafo

Introdotto da
Veličković, P. et al.
Anno
2018
Tipo
Graph neural network (attention-based)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La Graph Attention Network (GAT), introdotta da Veličković e colleghi nel 2018, è una variante di rete neurale su grafo che apprende quanta importanza assegnare a ciascun nodo vicino attraverso un meccanismo di auto-attenzione.

Su vicinati eterogenei e classificazione relazionale produce risultati superiori alle reti convoluzionali su grafo (GCN).

L’intuizione alla base del metodo

Quando i dati risiedono su un grafo, ogni nodo è descritto non solo dalle proprie caratteristiche, ma anche da chi sono i suoi vicini. Le precedenti reti su grafo trattavano ogni vicino allo stesso modo nel combinare le loro informazioni. GAT, invece, permette a ciascun nodo di apprendere quali vicini sono più importanti per il compito e pondera i loro contributi di conseguenza, in modo che un nodo attinga maggiormente dalle connessioni effettivamente informative e meno da quelle che non lo sono.

Storia

Le Graph Attention Networks sono state introdotte da Veličković e colleghi all'ICLR 2018, portando l'auto-attenzione alle reti neurali su grafo in modo che l'importanza di ciascun vicino venga appresa anziché fissata. Un lavoro di follow-up del 2022 di Brody e colleghi, How Attentive are Graph Attention Networks?, ha esaminato l'espressività della formulazione originale dell'attenzione e ha proposto un perfezionamento, approfondendo la comprensione di come GAT presti effettivamente attenzione ai suoi vicini.

Quando usarlo

Utilizzare GAT quando i dati hanno già una struttura a grafo con caratteristiche dei nodi calcolate e si necessita di classificazione dei nodi o apprendimento relazionale, tipicamente con almeno circa 200 nodi e idealmente diverse centinaia o più. Non assume dati distribuiti normalmente e funziona con caratteristiche dei nodi continue e categoriche. Si raccomanda una GPU. Al di sotto di circa 500 nodi, i pesi di attenzione non possono essere appresi in modo affidabile e l'overfitting diventa un rischio; con grafi molto piccoli (sotto circa 100 nodi) i metodi classici di machine learning sono la scelta più sicura.

Limiti e considerazioni

  • Richiede una struttura a grafo esistente e caratteristiche dei nodi pre-calcolate.
  • Si raccomanda una GPU; l'addestramento è computazionalmente impegnativo.
  • Su grafi piccoli (meno di circa 500 nodi) i pesi di attenzione non vengono appresi in modo affidabile e il modello va in overfitting.
  • Con reti molto piccole (sotto circa 100 nodi) il modello diventa privo di significato e il machine learning classico è preferibile.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Apprende l'importanza dei vicini attraverso l'auto-attenzione piuttosto che trattare tutti i vicini allo stesso modo.
  • Supera le reti convoluzionali su grafo (GCN) su vicinati eterogenei e classificazione relazionale.
  • Poche assunzioni: nessun requisito di normalità e gestisce caratteristiche dei nodi continue e categoriche.
  • Molteplici teste di attenzione stabilizzano l'apprendimento su dati strutturati a grafo.

Applicazioni

  • Classificazione dei nodi su dati strutturati a grafo.
  • Apprendimento relazionale tra entità connesse.
  • Modellazione di vicinati eterogenei dove GCN ha prestazioni inferiori.
  • Compiti in cui l'importanza relativa delle connessioni deve essere appresa.

Come funziona

Come funziona

1

Ogni nodo e le sue caratteristiche vengono prima trasformati da una matrice di pesi condivisa. Per ogni coppia di nodi connessi, il modello calcola quindi un punteggio di attenzione che misura quanto un vicino sia rilevante per l'altro, catturando l'idea che non tutte le connessioni hanno lo stesso peso.

Formula
e_{ij} = a(W h_i, W h_j)
2

I punteggi di attenzione grezzi per tutti i vicini di un nodo vengono passati attraverso una softmax in modo che sommino a uno. Questo li trasforma in pesi di importanza comparabili, indicando al nodo quale frazione della sua rappresentazione aggiornata debba provenire da ciascun vicino.

Formula
\alpha_{ij} = \operatorname{softmax}_j(e_{ij})
3

Ogni nodo costruisce la sua nuova rappresentazione come la somma ponderata dall'attenzione delle caratteristiche trasformate dei suoi vicini, passata attraverso una non linearità. L'uso di diverse teste di attenzione in parallelo stabilizza questo processo, e l'impilamento di strati consente all'informazione di fluire attraverso vicinati più ampi, il che conferisce a GAT il suo vantaggio su grafi eterogenei e relazionali.

Formula
h_i' = \sigma\!\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j\right)

Errori comuni

  • Applicare GAT a un grafo piccolo dove i pesi di attenzione non possono essere appresi in modo affidabile, invitando all'overfitting.
  • Dimenticare che una struttura a grafo utilizzabile deve esistere prima che il modello possa essere applicato.
  • Calcolare o fornire caratteristiche dei nodi in modo incoerente, da cui dipende il meccanismo di attenzione.
  • Addestrare senza una GPU e sottovalutare il costo computazionale.

Domande frequenti

In cosa differisce GAT da una rete convoluzionale su grafo (GCN)?

Una GCN combina i vicini di un nodo con pesi che dipendono solo dalla struttura del grafo, trattando le connessioni in modo fisso. GAT, invece, apprende pesi di attenzione in modo che ogni nodo decida quali vicini sono più importanti, motivo per cui tende a fare meglio su vicinati eterogenei e classificazione relazionale.

Di quanti dati ha bisogno GAT?

È inteso per grafi con almeno circa 200 nodi. Al di sotto di circa 500 nodi i pesi di attenzione non vengono appresi in modo affidabile e l'overfitting diventa un rischio reale, e con reti molto piccole (sotto circa 100 nodi) i metodi classici di machine learning sono la scelta migliore.

Ho bisogno di una GPU per usare GAT?

Si raccomanda una GPU. Essendo un modello di deep learning addestrato su vicinati di grafo con molteplici teste di attenzione, GAT è computazionalmente impegnativo, e una GPU rende l'addestramento praticabile.

Di cosa ho bisogno prima di applicare GAT?

È necessaria una struttura a grafo esistente e caratteristiche dei nodi già calcolate, poiché il meccanismo di attenzione opera sulle caratteristiche dei nodi connessi.

Metodi correlati

Fonti

  1. Veličković, P. et al. (2018). Graph Attention Networks. ICLR.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Brody, S. et al. (2022). How Attentive are Graph Attention Networks? ICLR.

    Apri il riferimento della pubblicazione
    Copiato.