Graph Attention Network
- Proposto por
- Veličković, P. et al.
- Ano
- 2018
- Tipo
- Graph neural network (attention-based)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
A Graph Attention Network (GAT), introduzida por Veličković e colegas em 2018, é uma variante de rede neural em grafos que aprende quanta importância atribuir a cada nó vizinho através de um mecanismo de autoatenção.
Em vizinhanças heterogêneas e classificação relacional, produz resultados superiores às redes neurais convolucionais em grafos (GCN).
A intuição por trás do método
Quando os dados residem em um grafo, cada nó é descrito não apenas por suas próprias características, mas também por quem são seus vizinhos. Redes neurais em grafos anteriores tratavam todos os vizinhos igualmente ao agregar suas informações. O GAT, em vez disso, permite que cada nó aprenda quais vizinhos são mais importantes para a tarefa e pondera suas contribuições de acordo, de modo que um nó extraia mais das conexões que são realmente informativas e menos das que não são.
História
As Graph Attention Networks foram introduzidas por Veličković e colegas na ICLR 2018, trazendo a autoatenção para as redes neurais em grafos, de modo que a importância de cada vizinho é aprendida em vez de ser fixa. Um trabalho de acompanhamento de 2022 por Brody e colegas, How Attentive are Graph Attention Networks?, examinou a expressividade da formulação de atenção original e propôs um refinamento, aprofundando a compreensão de como o GAT realmente atende aos seus vizinhos.
Quando usar
Use o GAT quando seus dados já possuem uma estrutura de grafo com características de nós computadas e você precisa de classificação de nós ou aprendizado relacional, tipicamente com pelo menos cerca de 200 nós e idealmente várias centenas ou mais. Ele não assume dados normalmente distribuídos e funciona com características de nós contínuas e categóricas. Uma GPU é recomendada. Abaixo de aproximadamente 500 nós, os pesos de atenção não podem ser aprendidos de forma confiável e o overfitting se torna um risco; com grafos muito pequenos (abaixo de cerca de 100 nós), métodos clássicos de aprendizado de máquina são a escolha mais segura.
Limitações e considerações
- Requer uma estrutura de grafo existente e características de nós pré-computadas.
- Uma GPU é recomendada; o treinamento é computacionalmente exigente.
- Em grafos pequenos (menos de cerca de 500 nós), os pesos de atenção não são aprendidos de forma confiável e o modelo sofre overfitting.
- Com redes muito pequenas (abaixo de cerca de 100 nós), o modelo se torna sem sentido e o aprendizado de máquina clássico é preferível.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aprende a importância dos vizinhos através da autoatenção, em vez de tratar todos os vizinhos igualmente.
- Supera as redes neurais convolucionais em grafos (GCN) em vizinhanças heterogêneas e classificação relacional.
- Poucas suposições: sem requisito de normalidade e lida com características de nós contínuas e categóricas.
- Múltiplas cabeças de atenção estabilizam o aprendizado em dados estruturados em grafos.
Aplicações
- Classificação de nós em dados estruturados em grafos.
- Aprendizado relacional entre entidades conectadas.
- Modelagem de vizinhanças heterogêneas onde GCN tem desempenho inferior.
- Tarefas onde a importância relativa das conexões deve ser aprendida.
Como funciona
Como funciona
Cada nó e suas características são primeiro transformados por uma matriz de pesos compartilhada. Para cada par de nós conectados, o modelo então calcula um escore de atenção que mede o quão relevante um vizinho é para o outro, capturando a ideia de que nem todas as conexões carregam peso igual.
Fórmula
e_{ij} = a(W h_i, W h_j)Os escores brutos de atenção para todos os vizinhos de um nó são passados por uma função softmax para que somem um. Isso os transforma em pesos de importância comparáveis, indicando ao nó qual fração de sua representação atualizada deve vir de cada vizinho.
Fórmula
\alpha_{ij} = \operatorname{softmax}_j(e_{ij})Cada nó constrói sua nova representação como a soma ponderada por atenção das características transformadas de seus vizinhos, passada por uma não linearidade. O uso de várias cabeças de atenção em paralelo estabiliza esse processo, e o empilhamento de camadas permite que a informação flua através de vizinhanças maiores, o que confere ao GAT sua vantagem em grafos heterogêneos e relacionais.
Fórmula
h_i' = \sigma\!\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j\right)Erros comuns
- Aplicar o GAT a um grafo pequeno onde os pesos de atenção não podem ser aprendidos de forma confiável, convidando ao overfitting.
- Esquecer que uma estrutura de grafo utilizável deve existir antes que o modelo possa ser aplicado.
- Computar ou fornecer características de nós de forma inconsistente, das quais o mecanismo de atenção depende.
- Treinar sem uma GPU e subestimar o custo computacional.
Perguntas frequentes
Como o GAT difere de uma rede neural convolucional em grafos (GCN)?
Uma GCN combina os vizinhos de um nó com pesos que dependem apenas da estrutura do grafo, tratando as conexões de forma fixa. O GAT, em vez disso, aprende pesos de atenção para que cada nó decida quais vizinhos são mais importantes, o que explica por que ele tende a ter um desempenho melhor em vizinhanças heterogêneas e classificação relacional.
Quanta informação o GAT precisa?
Ele é destinado a grafos com pelo menos cerca de 200 nós. Abaixo de aproximadamente 500 nós, os pesos de atenção não são aprendidos de forma confiável e o overfitting se torna um risco real, e com redes muito pequenas (abaixo de cerca de 100 nós), métodos clássicos de aprendizado de máquina são a melhor escolha.
Preciso de uma GPU para usar o GAT?
Uma GPU é recomendada. Como um modelo de aprendizado profundo treinado em vizinhanças de grafos com múltiplas cabeças de atenção, o GAT é computacionalmente exigente, e uma GPU torna o treinamento prático.
O que preciso antes de aplicar o GAT?
Você precisa de uma estrutura de grafo existente e características de nós que já foram computadas, pois o mecanismo de atenção opera sobre as características de nós conectados.
Métodos relacionados
Fontes
Veličković, P. et al. (2018). Graph Attention Networks. ICLR.
Abrir referência da publicaçãoCopiado.Brody, S. et al. (2022). How Attentive are Graph Attention Networks? ICLR.
Abrir referência da publicaçãoCopiado.