Redes Neuronales de Grafos — GCN / GAT / GraphSAGE
- Año
- 2017–2018 (major variants)
- Tipo
- Deep learning on graph-structured data
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Una Red Neuronal de Grafos (GNN) es una arquitectura de aprendizaje profundo que opera directamente sobre datos estructurados en grafos, combinando las características de los nodos con información estructural a través de la propagación iterativa de mensajes del vecindario.
Las tres variantes canónicas — la Red Convolucional de Grafos (GCN) introducida por Kipf y Welling en 2017, la Red de Atención de Grafos (GAT) introducida por Veličković et al. en 2018, y GraphSAGE — difieren en cómo agregan la información del vecindario: GCN aplica una convolución espectral sobre la adjacencia completa, GAT pondera a los vecinos con puntuaciones de atención aprendidas, y GraphSAGE muestrea y agrega vecindarios locales de forma inductiva, permitiendo la generalización a nodos no vistos.
La intuición detrás del método
Piense en cada nodo de un grafo como una persona en una red social. Esa persona tiene su propio perfil (características), pero a quién conoce también dice mucho sobre ella. Una GNN permite que cada nodo recopile repetidamente mensajes de sus vecinos, mezcle esos mensajes con su propia información y actualice su representación — capa por capa. Después de varias rondas de este intercambio al estilo de un chisme, la representación de cada nodo refleja no solo a sí mismo, sino también el subgrafo local a su alrededor. GCN lo hace con un promedio simétrico fijo de los vecinos; GAT decide a qué vecinos confiar más aprendiendo pesos de atención; GraphSAGE muestrea un subconjunto fijo de vecinos y aprende una función de agregación que puede aplicarse a nodos que nunca ha visto antes.
Historia
Los cimientos de la aplicación de redes neuronales a grafos fueron sentados por Scarselli et al. (2009), pero la era moderna de las GNN comenzó con la Red Convolucional de Grafos (2017) de Kipf y Welling, que simplificó la convolución espectral de grafos en una aproximación eficiente de primer orden utilizando multiplicación de adyacencia normalizada simétrica. Un año después, Veličković et al. (2018) introdujeron las Redes de Atención de Grafos, reemplazando el promedio fijo de GCN con coeficientes de atención aprendibles en cada arista — permitiendo al modelo ponderar selectivamente a los vecinos. Simultáneamente, Hamilton et al. (2017) propusieron GraphSAGE, un marco inductivo que muestrea vecindarios de tamaño fijo y aprende funciones de agregación transferibles a nodos no vistos, haciendo que las GNN sean prácticas para grafos grandes y dinámicos. Estos tres artículos establecieron el paradigma de paso de mensajes que ahora sustenta la mayoría de la investigación en GNN.
Cuándo usarlo
Utilice una GNN cuando sus datos estén naturalmente estructurados en grafos — redes sociales, redes de citas, grafos moleculares, grafos de conocimiento, o cualquier entorno donde las relaciones entre entidades tengan una señal predictiva. Necesita una matriz de características de nodos y una lista de aristas. Se requiere un mínimo de alrededor de 50 nodos para un entrenamiento significativo. Las GNN son aplicables a la clasificación de nodos (predecir una etiqueta para cada nodo), la predicción de enlaces (inferir aristas faltantes) y la clasificación de grafos (asignar una etiqueta a un grafo completo). La suposición de homofilia — los nodos conectados tienden a compartir la misma etiqueta — es explotada implícitamente por GCN y GAT estándar; si su grafo es heterofílico, considere arquitecturas diseñadas para ese entorno. Para grafos grandes, el entrenamiento por lotes completos (full-batch) es prohibitivo en memoria y se necesita muestreo de vecindario en mini-lotes (estilo GraphSAGE). Si su grafo tiene menos de 20 nodos, las métricas de centralidad tradicionales son una opción más apropiada.
Limitaciones y consideraciones
- Sobre-suavizado (Over-smoothing): apilar muchas capas de GNN empuja todas las representaciones de nodos hacia un valor común, limitando la profundidad efectiva a alrededor de 2-4 capas en la práctica.
- Escalabilidad: GCN y GAT por lotes completos requieren mantener la matriz de adyacencia y la matriz de características completas en memoria, lo cual es inviable para grafos muy grandes sin muestreo o partición.
- La suposición de homofilia integrada en la agregación estándar degrada el rendimiento en grafos heterofílicos donde los vecinos tienden a tener etiquetas diferentes.
- Se requiere un tamaño de muestra mínimo de ~50 nodos; menos nodos dejan al modelo sin suficiente señal para aprender representaciones significativas.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprovecha conjuntamente tanto las características de los nodos como la topología del grafo, superando a los métodos que utilizan solo una de ellas.
- El mecanismo de atención de GAT proporciona puntuaciones de importancia por arista, añadiendo interpretabilidad a la agregación.
- GraphSAGE es inductivo y puede generalizar a nodos y grafos no vistos durante el entrenamiento, permitiendo la implementación en redes en crecimiento.
- Un marco unificado de paso de mensajes cubre la clasificación de nodos, la predicción de enlaces y la clasificación de grafos con la misma arquitectura base.
Aplicaciones
- Clasificación de nodos en redes de citas — predecir el tema de un artículo basándose en su contenido y enlaces de citas.
- Descubrimiento de fármacos — predecir propiedades moleculares tratando los átomos como nodos y los enlaces químicos como aristas.
- Sistemas de recomendación — modelar usuarios y elementos como un grafo bipartito y predecir interacciones usuario-elemento mediante predicción de enlaces.
- Detección de fraude en redes de transacciones financieras — identificar nodos anómalos basándose en sus características y estructura de vecindario.
- Completado de grafos de conocimiento — inferir relaciones faltantes entre entidades en bases de conocimiento a gran escala.
Cómo funciona
Cómo funciona
El grafo se define por una matriz de características de nodos X (una fila por nodo, una columna por atributo) y una lista de aristas (o matriz de adyacencia) A. Las aristas no dirigidas son estándar para GCN y GAT; GraphSAGE también admite grafos dirigidos. Los bucles de auto-conexión (self-loops) se añaden típicamente a A para que cada nodo se incluya en su propia agregación.
Las características de los nodos crudos se normalizan y, si es necesario, se incrustan en un espacio vectorial continuo. Las características de las aristas, si están presentes, pueden incorporarse como señales adicionales. El resultado es una matriz de características densa que cada capa de GNN transformará.
Cada capa de GNN calcula una nueva representación de nodo agregando las características de los vecinos de un nodo y combinándolas con las características propias del nodo a través de una matriz de pesos aprendible y una activación no lineal. GCN aplica una multiplicación de adyacencia normalizada (convolución espectral); GAT calcula coeficientes de atención softmax para cada arista, de modo que los vecinos influyentes contribuyan más; GraphSAGE muestrea aleatoriamente un vecindario de tamaño fijo y aplica un agregador diferenciable (media, LSTM o pooling). Apilar L capas permite que la información fluya L saltos de distancia, pero apilar demasiadas capas causa sobre-suavizado (over-smoothing), donde todas las representaciones de nodos convergen al mismo valor.
Las representaciones finales de los nodos se introducen en una cabeza específica de la tarea. Para la clasificación de nodos, una capa softmax asigna probabilidades de clase a cada nodo. Para la predicción de enlaces, un producto interno o un MLP puntúa la probabilidad de una arista entre dos representaciones de nodos. Para la clasificación de grafos, un pooling global (suma, media o jerárquico) agrega todas las representaciones de nodos en un único vector a nivel de grafo antes de la capa de clasificación.
El rendimiento del modelo se mide en un conjunto de prueba retenido utilizando métricas apropiadas para la tarea: precisión o F1 para clasificación de nodos y grafos, AUC-ROC para predicción de enlaces. Dado que los conjuntos de datos de grafos a menudo tienen un tamaño limitado, la evaluación transductiva (máscaras de entrenamiento/validación/prueba en el mismo grafo) o las divisiones inductivas (subgrafos disjuntos) deben coincidir con el escenario de implementación.
Errores comunes
- Añadir demasiadas capas de GNN causa sobre-suavizado: todas las representaciones de nodos convergen y el modelo pierde poder discriminatorio. Mantenga el número de capas entre 2 y 4 y monitorice la varianza de las representaciones.
- Entrenar sobre el grafo completo sin mini-lotes es prohibitivo en memoria para redes grandes; utilice muestreo de vecinos al estilo GraphSAGE o partición de grafos para grafos con más de unos pocos miles de nodos.
- Aplicar una GCN entrenada transductivamente directamente a nodos nuevos y no vistos en tiempo de inferencia es incorrecto; utilice un método inductivo como GraphSAGE si su implementación requiere generalización a nodos nuevos.
- Ignorar la suposición de homofilia en grafos heterofílicos produce malos resultados; inspeccione el coeficiente de asociatividad del grafo antes de elegir una variante de GNN estándar.
- Con menos de 20 nodos, el entrenamiento de GNN produce representaciones poco fiables; prefiera el análisis de centralidad de red convencional en ese régimen.
Preguntas frecuentes
Qué variante de GNN debo elegir para empezar — GCN, GAT o GraphSAGE?
GCN es la línea base más simple y funciona bien en grafos homofílicos pequeños a medianos donde todos los nodos se conocen en el momento del entrenamiento. GAT es preferible cuando la importancia del vecino varía y se desean pesos de atención interpretables. GraphSAGE es la opción correcta cuando se necesita generalizar a nodos no vistos durante el entrenamiento o cuando el grafo es demasiado grande para el procesamiento por lotes completos.
¿Qué es el sobre-suavizado y cómo evitarlo?
El sobre-suavizado ocurre cuando muchas capas de GNN hacen que todas las representaciones de nodos converjan al mismo valor, eliminando la información discriminatoria. En la práctica, 2-4 capas suele ser óptimo. Técnicas como conexiones residuales, redes de conocimiento saltarín (jumping knowledge networks) y DropEdge pueden ayudar si son necesarias arquitecturas más profundas.
¿Las GNN requieren datos etiquetados para todos los nodos?
No. GCN y GAT se utilizan comúnmente en entornos semisupervisados donde solo una pequeña fracción de nodos tiene etiquetas; la estructura del grafo propaga la información de los nodos etiquetados a los no etiquetados. GraphSAGE también puede entrenarse de manera totalmente supervisada o no supervisada dependiendo de la tarea.
¿Qué tan grande debe ser el grafo?
Se necesita un mínimo de alrededor de 50 nodos para un entrenamiento significativo de GNN. Con menos de 20 nodos, el modelo no puede aprender representaciones fiables y el análisis tradicional basado en centralidad es más apropiado. Para grafos con millones de nodos, se requiere muestreo de vecinos en mini-lotes (como en GraphSAGE) o métodos de partición de grafos para mantener el uso de memoria tractable.
Métodos relacionados
Fuentes
Kipf, T.N. & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. International Conference on Learning Representations (ICLR).
Abrir referencia DOICopiado.Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph Attention Networks. International Conference on Learning Representations (ICLR).
Abrir referencia DOICopiado.Hamilton, W.L. (2020). Graph Representation Learning. Morgan & Claypool.
Abrir referencia DOICopiado.