الانتقال إلى المحتوى
العودة إلى نتائج البحث

شبكة الانتباه الرسومية

قدّمه
Veličković, P. et al.
السنة
2018
النوع
Graph neural network (attention-based)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

شبكة الانتباه الرسومية (GAT)، التي قدمها فيليتشكوفيتش وزملاؤه في عام 2018، هي نوع من الشبكات العصبية الرسومية التي تتعلم مقدار الأهمية التي يجب تخصيصها لكل عقدة مجاورة من خلال آلية الانتباه الذاتي. على الأحياء غير المتجانسة والتصنيف العلائقي، تنتج نتائج متفوقة على الشبكات الالتفافية الرسومية (GCN).

الفكرة الحدسية وراء الطريقة

عندما تعيش البيانات على رسم بياني، يتم وصف كل عقدة ليس فقط بميزاتها الخاصة ولكن أيضًا بمن هم جيرانها. عالجت الشبكات الرسومية السابقة كل جار بالتساوي عند دمج معلوماتهم معًا. بدلاً من ذلك، تسمح GAT لكل عقدة بتعلم الجيران الأكثر أهمية للمهمة وتزن مساهماتهم وفقًا لذلك، لذلك تستمد العقدة المزيد من الاتصالات التي تكون مفيدة بالفعل وأقل من تلك التي ليست كذلك.

التاريخ

تم تقديم شبكات الانتباه الرسومية بواسطة فيليتشكوفيتش وزملاؤه في ICLR 2018، مما جلب الانتباه الذاتي إلى الشبكات العصبية الرسومية بحيث يتم تعلم أهمية كل جار بدلاً من تثبيتها. فحصت متابعة في عام 2022 بواسطة برودي وزملاؤه، How Attentive are Graph Attention Networks?، القدرة التعبيرية لصياغة الانتباه الأصلية واقترحت تحسينًا، مما عمق فهم كيفية انتباه GAT بالفعل إلى جيرانها.

متى تُستخدم

استخدم GAT عندما تكون بياناتك تحتوي بالفعل على بنية رسم بياني مع ميزات عقد محسوبة وتحتاج إلى تصنيف العقد أو التعلم العلائقي، عادةً مع ما لا يقل عن 200 عقدة ويفضل عدة مئات أو أكثر. لا تفترض أن البيانات موزعة بشكل طبيعي وتعمل مع ميزات عقد مستمرة وفئوية. يوصى باستخدام وحدة معالجة الرسوميات (GPU). تحت حوالي 500 عقدة، لا يمكن تعلم أوزان الانتباه بشكل موثوق ويصبح التجاوز خطرًا؛ مع الرسوم البيانية الصغيرة جدًا (أقل من حوالي 100 عقدة)، تعد طرق التعلم الآلي الكلاسيكية الخيار الأكثر أمانًا.

الحدود والاعتبارات

  • تتطلب بنية رسم بياني موجودة مسبقًا وميزات عقد محسوبة مسبقًا.
  • يوصى باستخدام وحدة معالجة الرسوميات (GPU)؛ التدريب يتطلب موارد حسابية كبيرة.
  • على الرسوم البيانية الصغيرة (أقل من حوالي 500 عقدة)، لا يتم تعلم أوزان الانتباه بشكل موثوق ويحدث تجاوز للنموذج.
  • مع الشبكات الصغيرة جدًا (أقل من حوالي 100 عقدة)، يصبح النموذج بلا معنى ويفضل التعلم الآلي الكلاسيكي.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • تتعلم أهمية الجار من خلال الانتباه الذاتي بدلاً من معاملة جميع الجيران بالتساوي.
  • تتفوق على الشبكات الالتفافية الرسومية (GCN) في الأحياء غير المتجانسة والتصنيف العلائقي.
  • خفيفة الافتراضات: لا يوجد متطلب للتوزيع الطبيعي، وتتعامل مع ميزات العقد المستمرة والفئوية.
  • رؤوس الانتباه المتعددة تثبت التعلم على البيانات ذات البنية الرسومية.

التطبيقات

  • تصنيف العقد على البيانات ذات البنية الرسومية.
  • التعلم العلائقي عبر الكيانات المتصلة.
  • نمذجة الأحياء غير المتجانسة حيث يكون أداء GCN ضعيفًا.
  • المهام التي يجب فيها تعلم الأهمية النسبية للاتصالات.

كيف يعمل

كيف يعمل

1

يتم أولاً تحويل كل عقدة وميزاتها بواسطة مصفوفة وزن مشتركة. لكل زوج متصل من العقد، يحسب النموذج بعد ذلك درجة انتباه تقيس مدى صلة جار واحد بالآخر، مما يلتقط فكرة أن ليس كل الاتصالات تحمل وزنًا متساويًا.

الصيغة
e_{ij} = a(W h_i, W h_j)
2

يتم تمرير درجات الانتباه الأولية لجميع جيران العقدة عبر دالة سوفت ماكس بحيث يكون مجموعها واحدًا. هذا يحولها إلى أوزان أهمية قابلة للمقارنة، مما يخبر العقدة بالكسر من تمثيلها المحدث الذي يجب أن يأتي من كل جار.

الصيغة
\alpha_{ij} = \operatorname{softmax}_j(e_{ij})
3

تبني كل عقدة تمثيلها الجديد كمجموع مرجح بالانتباه لميزات جيرانها المحولة، ويمر عبر دالة لا خطية. يساعد استخدام رؤوس انتباه متعددة بالتوازي على استقرار هذه العملية، ويتيح تكديس الطبقات تدفق المعلومات عبر أحياء أكبر، وهذا ما يمنح GAT ميزتها على الرسوم البيانية غير المتجانسة والعلاقاتية.

الصيغة
h_i' = \sigma\!\left(\sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j\right)

الأخطاء الشائعة

  • تطبيق GAT على رسم بياني صغير حيث لا يمكن تعلم أوزان الانتباه بشكل موثوق، مما يؤدي إلى التجاوز.
  • نسيان أن بنية الرسم البياني القابلة للاستخدام يجب أن توجد قبل تطبيق النموذج.
  • حساب أو توفير ميزات العقد بشكل غير متسق، وهو ما تعتمد عليه آلية الانتباه.
  • التدريب بدون وحدة معالجة رسوميات (GPU) والتقليل من تقدير التكلفة الحسابية.

الأسئلة الشائعة

كيف تختلف GAT عن الشبكة الالتفافية الرسومية (GCN)؟

تجمع GCN بين عقدة وجيرانها بأوزان تعتمد فقط على بنية الرسم البياني، وتعامل الاتصالات بطريقة ثابتة. بدلاً من ذلك، تتعلم GAT أوزان الانتباه بحيث تقرر كل عقدة أي الجيران هم الأكثر أهمية، وهذا هو السبب في أنها تميل إلى الأداء بشكل أفضل في الأحياء غير المتجانسة والتصنيف العلائقي.

ما مقدار البيانات التي تحتاجها GAT؟

إنها مخصصة للرسوم البيانية التي تحتوي على 200 عقدة على الأقل. تحت حوالي 500 عقدة، لا يتم تعلم أوزان الانتباه بشكل موثوق ويصبح التجاوز خطرًا حقيقيًا، ومع الشبكات الصغيرة جدًا (أقل من حوالي 100 عقدة)، تعد طرق التعلم الآلي الكلاسيكية الخيار الأفضل.

هل أحتاج إلى وحدة معالجة رسوميات (GPU) لاستخدام GAT؟

يوصى باستخدام وحدة معالجة الرسوميات (GPU). كنموذج تعلم عميق يتم تدريبه على أحياء رسومية مع رؤوس انتباه متعددة، تتطلب GAT موارد حسابية كبيرة، ووحدة معالجة الرسوميات تجعل التدريب عمليًا.

ما الذي أحتاجه قبل تطبيق GAT؟

تحتاج إلى بنية رسم بياني موجودة وميزات عقد تم حسابها بالفعل، حيث تعمل آلية الانتباه على ميزات العقد المتصلة.

طرق ذات صلة

المصادر

  1. Veličković, P. et al. (2018). Graph Attention Networks. ICLR.

    افتح مرجع المنشور
    تم النسخ.
  2. Brody, S. et al. (2022). How Attentive are Graph Attention Networks? ICLR.

    افتح مرجع المنشور
    تم النسخ.