Skip to content
Kembali ke hasil pencarian

Jaringan Perhatian Graf

Diperkenalkan oleh
Veličković, P. et al.
Tahun
2018
Jenis
Graph neural network (attention-based)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Jaringan Perhatian Graf (GAT), yang diperkenalkan oleh Veličković dan rekan-rekannya pada tahun 2018, adalah varian jaringan saraf graf yang mempelajari seberapa besar pentingnya untuk diberikan kepada setiap node tetangga melalui mekanisme perhatian diri.

Pada lingkungan heterogen dan klasifikasi relasional, GAT menghasilkan hasil yang lebih unggul daripada jaringan konvolusional graf (GCN).

Intuisi di balik metode

Ketika data berada pada graf, setiap node dijelaskan tidak hanya oleh fitur-fiturnya sendiri tetapi juga oleh siapa tetangganya. Jaringan graf sebelumnya memperlakukan setiap tetangga secara setara saat menggabungkan informasi mereka. GAT sebaliknya membiarkan setiap node mempelajari tetangga mana yang paling penting untuk tugas tersebut dan menimbang kontribusi mereka sesuai dengan itu, sehingga sebuah node menarik lebih banyak dari koneksi yang benar-benar informatif dan lebih sedikit dari yang tidak.

Sejarah

Jaringan Perhatian Graf diperkenalkan oleh Veličković dan rekan-rekannya di ICLR 2018, membawa perhatian diri ke jaringan saraf graf sehingga kepentingan setiap tetangga dipelajari daripada ditetapkan. Tindak lanjut tahun 2022 oleh Brody dan rekan-rekannya, 'How Attentive are Graph Attention Networks?', menguji ekspresivitas formulasi perhatian asli dan mengusulkan penyempurnaan, memperdalam pemahaman tentang bagaimana GAT benar-benar memperhatikan tetangganya.

Kapan digunakan

Gunakan GAT ketika data Anda sudah memiliki struktur graf dengan fitur node yang dihitung dan Anda memerlukan klasifikasi node atau pembelajaran relasional, biasanya dengan setidaknya sekitar 200 node dan idealnya beberapa ratus atau lebih. GAT tidak mengasumsikan data terdistribusi normal dan bekerja dengan fitur node kontinu dan kategorikal. GPU direkomendasikan. Di bawah sekitar 500 node, bobot perhatian tidak dapat dipelajari secara andal dan overfitting menjadi risiko; dengan graf yang sangat kecil (di bawah sekitar 100 node), metode pembelajaran mesin klasik adalah pilihan yang lebih aman.

Batasan dan pertimbangan

  • Membutuhkan struktur graf yang ada dan fitur node yang telah dihitung sebelumnya.
  • GPU direkomendasikan; pelatihan menuntut secara komputasi.
  • Pada graf kecil (kurang dari sekitar 500 node), bobot perhatian tidak dipelajari secara andal dan model mengalami overfitting.
  • Dengan jaringan yang sangat kecil (di bawah sekitar 100 node), model menjadi tidak berarti dan ML klasik lebih disukai.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mempelajari kepentingan tetangga melalui perhatian diri daripada memperlakukan semua tetangga secara setara.
  • Mengungguli jaringan konvolusional graf (GCN) pada lingkungan heterogen dan klasifikasi relasional.
  • Ringan asumsi: tidak ada persyaratan normalitas, dan menangani fitur node kontinu dan kategorikal.
  • Beberapa kepala perhatian menstabilkan pembelajaran pada data terstruktur graf.

Penerapan

  • Klasifikasi node pada data terstruktur graf.
  • Pembelajaran relasional antar entitas yang terhubung.
  • Pemodelan lingkungan heterogen di mana GCN berkinerja buruk.
  • Tugas di mana kepentingan relatif koneksi harus dipelajari.

Cara kerjanya

Cara kerjanya

1

Setiap node dan fiturnya pertama-tama ditransformasi oleh matriks bobot bersama. Untuk setiap pasangan node yang terhubung, model kemudian menghitung skor perhatian yang mengukur seberapa relevan satu tetangga dengan yang lain, menangkap gagasan bahwa tidak semua koneksi memiliki bobot yang sama.

Rumus
e_{ij} = a(W h_i, W h_j)
2

Skor perhatian mentah untuk semua tetangga sebuah node dilewatkan melalui softmax sehingga jumlahnya menjadi satu. Ini mengubahnya menjadi bobot kepentingan yang dapat dibandingkan, memberi tahu node berapa fraksi representasi yang diperbarui yang harus berasal dari setiap tetangga.

Rumus
\alpha_{ij} = \operatorname{softmax}_j(e_{ij})
3

Setiap node membangun representasi barunya sebagai jumlah tertimbang perhatian dari fitur-fitur tetangganya yang ditransformasi, dilewatkan melalui non-linearitas. Penggunaan beberapa kepala perhatian secara paralel menstabilkan proses ini, dan penumpukan lapisan memungkinkan informasi mengalir melintasi lingkungan yang lebih besar, yang merupakan keunggulan GAT pada graf heterogen dan relasional.

Rumus
h_i' = \sigma\!\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j\right)

Kesalahan umum

  • Menerapkan GAT pada graf kecil di mana bobot perhatian tidak dapat dipelajari secara andal, mengundang overfitting.
  • Melupakan bahwa struktur graf yang dapat digunakan harus ada sebelum model dapat diterapkan.
  • Menghitung atau menyediakan fitur node secara tidak konsisten, yang menjadi dasar mekanisme perhatian.
  • Melatih tanpa GPU dan meremehkan biaya komputasi.

Pertanyaan yang sering diajukan

Bagaimana GAT berbeda dari jaringan konvolusional graf (GCN)?

GCN menggabungkan tetangga sebuah node dengan bobot yang hanya bergantung pada struktur graf, memperlakukan koneksi dengan cara yang tetap. Sebaliknya, GAT mempelajari bobot perhatian sehingga setiap node memutuskan tetangga mana yang paling penting, itulah sebabnya GAT cenderung berkinerja lebih baik pada lingkungan heterogen dan klasifikasi relasional.

Berapa banyak data yang dibutuhkan GAT?

GAT ditujukan untuk graf dengan setidaknya sekitar 200 node. Di bawah sekitar 500 node, bobot perhatian tidak dipelajari secara andal dan overfitting menjadi risiko nyata, dan dengan jaringan yang sangat kecil (di bawah sekitar 100 node), metode pembelajaran mesin klasik adalah pilihan yang lebih baik.

Apakah saya memerlukan GPU untuk menggunakan GAT?

GPU direkomendasikan. Sebagai model pembelajaran mendalam yang dilatih pada lingkungan graf dengan beberapa kepala perhatian, GAT menuntut secara komputasi, dan GPU membuat pelatihan menjadi praktis.

Apa yang saya butuhkan sebelum menerapkan GAT?

Anda memerlukan struktur graf yang ada dan fitur node yang sudah dihitung, karena mekanisme perhatian beroperasi pada fitur node yang terhubung.

Metode terkait

Sumber

  1. Veličković, P. et al. (2018). Graph Attention Networks. ICLR.

    Buka referensi publikasi
    Disalin.
  2. Brody, S. et al. (2022). How Attentive are Graph Attention Networks? ICLR.

    Buka referensi publikasi
    Disalin.