Sieć uwagi grafowej
- Autor metody
- Veličković, P. et al.
- Rok
- 2018
- Typ
- Graph neural network (attention-based)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Sieć uwagi grafowej (GAT), wprowadzona przez Veličkovića i współpracowników w 2018 roku, jest wariantem grafowej sieci neuronowej, która uczy się, jakiej wagi należy przypisać każdemu sąsiedniemu węzłowi za pomocą mechanizmu samo-uwagi.
W przypadku niejednorodnych sąsiedztw i klasyfikacji relacyjnej daje wyniki lepsze niż grafowe sieci konwolucyjne (GCN).
Intuicja stojąca za metodą
Gdy dane znajdują się na grafie, każdy węzeł jest opisywany nie tylko przez własne cechy, ale także przez to, kim są jego sąsiedzi. Wcześniejsze sieci grafowe traktowały każdego sąsiada równo podczas łączenia ich informacji. GAT zamiast tego pozwala każdemu węzłowi nauczyć się, którzy sąsiedzi są najważniejsi dla zadania, i odpowiednio waży ich wkłady, dzięki czemu węzeł czerpie więcej z połączeń, które są faktycznie informacyjne, a mniej z tych, które nie są.
Historia
Grafowe sieci uwagi zostały wprowadzone przez Veličkovića i współpracowników na ICLR 2018, wprowadzając samo-uwagę do grafowych sieci neuronowych, dzięki czemu ważność każdego sąsiada jest uczona, a nie ustalona. W 2022 roku Brody i współpracownicy w publikacji „How Attentive are Graph Attention Networks?” zbadali ekspresyjność oryginalnej formuły uwagi i zaproponowali jej udoskonalenie, pogłębiając zrozumienie tego, jak GAT faktycznie zwraca uwagę na swoich sąsiadów.
Kiedy stosować
Używaj GAT, gdy Twoje dane mają już strukturę grafową z obliczonymi cechami węzłów, a potrzebujesz klasyfikacji węzłów lub uczenia relacyjnego, zazwyczaj z co najmniej około 200 węzłami i idealnie kilkuset lub więcej. Nie zakłada danych o rozkładzie normalnym i działa z ciągłymi i kategorycznymi cechami węzłów. Zalecana jest karta GPU. Poniżej około 500 węzłów wagi uwagi nie mogą być wiarygodnie nauczone, a ryzyko przeuczenia staje się realne; przy bardzo małych grafach (poniżej około 100 węzłów) bezpieczniejszym wyborem są klasyczne metody uczenia maszynowego.
Ograniczenia i uwagi
- Wymaga istniejącej struktury grafowej i wstępnie obliczonych cech węzłów.
- Zalecana jest karta GPU; uczenie jest wymagające obliczeniowo.
- Na małych grafach (poniżej około 500 węzłów) wagi uwagi nie są wiarygodnie nauczone, a model ulega przeuczeniu.
- W bardzo małych sieciach (poniżej około 100 węzłów) model staje się bezużyteczny, a klasyczne metody uczenia maszynowego są preferowane.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Uczy ważności sąsiadów poprzez samo-uwagę, zamiast traktować wszystkich sąsiadów równo.
- Przewyższa grafowe sieci konwolucyjne (GCN) w przypadku niejednorodnych sąsiedztw i klasyfikacji relacyjnej.
- Niewiele założeń: brak wymogu normalności, obsługuje ciągłe i kategoryczne cechy węzłów.
- Wiele głowic uwagi stabilizuje uczenie na danych o strukturze grafowej.
Zastosowania
- Klasyfikacja węzłów na danych o strukturze grafowej.
- Uczenie relacyjne między połączonymi bytami.
- Modelowanie niejednorodnych sąsiedztw, gdzie GCN działa gorzej.
- Zadania, w których należy nauczyć się względnej ważności połączeń.
Jak to działa
Jak to działa
Każdy węzeł i jego cechy są najpierw transformowane przez wspólną macierz wag. Dla każdej połączonej pary węzłów model następnie oblicza wynik uwagi, który mierzy, jak istotny jest jeden sąsiad dla drugiego, wychwytując ideę, że nie wszystkie połączenia mają równą wagę.
Wzór
e_{ij} = a(W h_i, W h_j)Surowe wyniki uwagi dla wszystkich sąsiadów węzła są przepuszczane przez funkcję softmax, dzięki czemu sumują się do jedności. Zamienia to je w porównywalne wagi ważności, mówiąc węzłowi, jaką część jego zaktualizowanej reprezentacji powinien pochodzić od każdego sąsiada.
Wzór
\alpha_{ij} = \operatorname{softmax}_j(e_{ij})Każdy węzeł buduje swoją nową reprezentację jako sumę ważoną uwagą transformowanych cech jego sąsiadów, przepuszczoną przez nieliniowość. Użycie kilku głowic uwagi równolegle stabilizuje ten proces, a układanie warstw pozwala informacjom przepływać przez większe sąsiedztwa, co daje GAT przewagę na grafach niejednorodnych i relacyjnych.
Wzór
h_i' = \sigma\!\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j\right)Częste pułapki
- Zastosowanie GAT do małego grafu, gdzie wagi uwagi nie mogą być wiarygodnie nauczone, co prowadzi do przeuczenia.
- Zapominanie, że użyteczna struktura grafowa musi istnieć, zanim model będzie mógł zostać zastosowany.
- Niespójne obliczanie lub dostarczanie cech węzłów, od których zależy mechanizm uwagi.
- Trenowanie bez karty GPU i niedocenianie kosztów obliczeniowych.
Najczęściej zadawane pytania
Czym GAT różni się od grafowej sieci konwolucyjnej (GCN)?
GCN łączy sąsiadów węzła z wagami zależnymi tylko od struktury grafu, traktując połączenia w sposób stały. GAT zamiast tego uczy wagi uwagi, dzięki czemu każdy węzeł decyduje, którzy sąsiedzi są najważniejsi, dlatego zazwyczaj działa lepiej w przypadku niejednorodnych sąsiedztw i klasyfikacji relacyjnej.
Ile danych potrzebuje GAT?
Jest przeznaczony dla grafów z co najmniej około 200 węzłami. Poniżej około 500 węzłów wagi uwagi nie są wiarygodnie nauczone, a ryzyko przeuczenia staje się realne, a w bardzo małych sieciach (poniżej około 100 węzłów) lepszym wyborem są klasyczne metody uczenia maszynowego.
Czy potrzebuję karty GPU do używania GAT?
Zalecana jest karta GPU. Jako model głębokiego uczenia trenowany na grafowych sąsiedztwach z wieloma głowicami uwagi, GAT jest wymagający obliczeniowo, a karta GPU sprawia, że uczenie jest praktyczne.
Czego potrzebuję przed zastosowaniem GAT?
Potrzebujesz istniejącej struktury grafowej i cech węzłów, które zostały już obliczone, ponieważ mechanizm uwagi działa na cechach połączonych węzłów.
Pokrewne metody
Źródła
Veličković, P. et al. (2018). Graph Attention Networks. ICLR.
Otwórz odnośnik do publikacjiSkopiowano.Brody, S. et al. (2022). How Attentive are Graph Attention Networks? ICLR.
Otwórz odnośnik do publikacjiSkopiowano.