Skip to content
Назад к результатам поиска

Графовая сеть внимания (Graph Attention Network, GAT)

Автор метода
Veličković, P. et al.
Год
2018
Тип
Graph neural network (attention-based)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Графовая сеть внимания (GAT), представленная Велисковичем и его коллегами в 2018 году, является вариантом графовой нейронной сети, которая посредством механизма самовнимания определяет, сколь большое значение следует присвоить каждому соседнему узлу.

На гетерогенных соседствах и при решении задач реляционной классификации она демонстрирует результаты, превосходящие сверточные графовые сети (graph convolutional networks, GCN).

Интуиция метода

Когда данные представлены в виде графа, каждый узел описывается не только своими собственными признаками, но и информацией о своих соседях. Ранние графовые сети обрабатывали всех соседей одинаково при объединении их информации. GAT вместо этого позволяет каждому узлу научиться определять, какие соседи наиболее важны для решения задачи, и соответствующим образом взвешивает их вклад, так что узел получает больше информации от действительно значимых связей и меньше — от незначимых.

История

Графовые сети внимания были представлены Велисковичем и его коллегами на конференции ICLR 2018, привнесши самовнимание в графовые нейронные сети, так что важность каждого соседа изучается, а не фиксируется. Последующая работа 2022 года Броуди и его коллег «How Attentive are Graph Attention Networks?» исследовала выразительность оригинальной формулировки механизма внимания и предложила его усовершенствование, углубив понимание того, как GAT фактически обращает внимание на своих соседей.

Когда применять

Используйте GAT, когда ваши данные уже имеют графовую структуру с вычисленными признаками узлов, и вам требуется классификация узлов или реляционное обучение, как правило, при наличии как минимум 200 узлов и в идеале нескольких сотен или более. Модель не предполагает нормально распределенных данных и работает с непрерывными и категориальными признаками узлов. Рекомендуется использование GPU. При количестве узлов менее примерно 500 веса внимания не могут быть надежно обучены, и возникает риск переобучения; для очень маленьких графов (менее примерно 100 узлов) более безопасным выбором являются классические методы машинного обучения.

Ограничения и замечания

  • Требует существующей графовой структуры и предварительно вычисленных признаков узлов.
  • Рекомендуется использование GPU; обучение является вычислительно затратным.
  • На малых графах (менее примерно 500 узлов) веса внимания не обучаются надежно, и модель переобучается.
  • При очень малых сетях (менее примерно 100 узлов) модель становится бессмысленной, и предпочтительнее классическое машинное обучение.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Обучает важность соседей посредством самовнимания, вместо того чтобы рассматривать всех соседей одинаково.
  • Превосходит сверточные графовые сети (GCN) на гетерогенных соседствах и при реляционной классификации.
  • Минимальные предположения: нет требования нормальности, обрабатывает непрерывные и категориальные признаки узлов.
  • Множественные головы внимания стабилизируют обучение на данных с графовой структурой.

Применение

  • Классификация узлов на данных с графовой структурой.
  • Реляционное обучение между связанными сущностями.
  • Моделирование гетерогенных соседств, где GCN показывает низкую производительность.
  • Задачи, где необходимо изучать относительную важность связей.

Как это работает

Как это работает

1

Сначала каждый узел и его признаки преобразуются общей весовой матрицей. Затем для каждой связанной пары узлов модель вычисляет оценку внимания, которая измеряет, насколько один сосед релевантен другому, отражая идею о том, что не все связи имеют одинаковый вес.

Формула
e_{ij} = a(W h_i, W h_j)
2

Сырые оценки внимания для всех соседей узла пропускаются через функцию softmax, чтобы их сумма стала равна единице. Это превращает их в сопоставимые веса важности, указывая узлу, какую долю его обновленного представления следует получить от каждого соседа.

Формула
\alpha_{ij} = \operatorname{softmax}_j(e_{ij})
3

Каждый узел формирует свое новое представление как взвешенную по механизму внимания сумму преобразованных признаков своих соседей, пропущенную через нелинейную функцию. Использование нескольких голов внимания параллельно стабилизирует этот процесс, а стекирование слоев позволяет информации распространяться на более широкие соседства, что и обеспечивает GAT преимущество на гетерогенных и реляционных графах.

Формула
h_i' = \sigma\!\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j\right)

Частые ошибки

  • Применение GAT к малому графу, где веса внимания не могут быть надежно обучены, что приводит к переобучению.
  • Забывание о том, что перед применением модели должна существовать пригодная графовая структура.
  • Непоследовательное вычисление или предоставление признаков узлов, от которых зависит механизм внимания.
  • Обучение без GPU и недооценка вычислительных затрат.

Часто задаваемые вопросы

Чем GAT отличается от сверточной графовой сети (GCN)?

GCN объединяет соседей узла с весами, зависящими только от структуры графа, обрабатывая связи фиксированным образом. GAT вместо этого изучает веса внимания, так что каждый узел решает, какие соседи наиболее важны, поэтому он, как правило, лучше работает на гетерогенных соседствах и при реляционной классификации.

Сколько данных нужно GAT?

Он предназначен для графов с как минимум примерно 200 узлами. При количестве узлов менее примерно 500 веса внимания не обучаются надежно, и возникает реальный риск переобучения, а для очень малых сетей (менее примерно 100 узлов) классические методы машинного обучения являются лучшим выбором.

Нужен ли мне GPU для использования GAT?

Рекомендуется использование GPU. Будучи моделью глубокого обучения, обученной на графовых соседствах с использованием нескольких голов внимания, GAT является вычислительно затратной, и GPU делает обучение практичным.

Что мне нужно перед применением GAT?

Вам нужна существующая графовая структура и признаки узлов, которые уже были вычислены, поскольку механизм внимания работает на признаках связанных узлов.

Похожие методы

Источники

  1. Veličković, P. et al. (2018). Graph Attention Networks. ICLR.

    Открыть ссылку на публикацию
    Скопировано.
  2. Brody, S. et al. (2022). How Attentive are Graph Attention Networks? ICLR.

    Открыть ссылку на публикацию
    Скопировано.