شبكة العصبونات الرسومية — GCN / GAT / GraphSAGE
- السنة
- 2017–2018 (major variants)
- النوع
- Deep learning on graph-structured data
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
شبكة العصبونات الرسومية (GNN) هي بنية تعلم عميق تعمل مباشرة على البيانات المهيكلة رسوميًا عن طريق دمج ميزات العقد مع المعلومات الهيكلية من خلال تمرير الرسائل التكراري للجوار. تختلف المتغيرات الثلاثة الأساسية — شبكة العصبونات الرسومية الالتفافية (GCN) التي قدمها Kipf و Welling في عام 2017، وشبكة العصبونات الرسومية الانتباهية (GAT) التي قدمها Veličković وآخرون في عام 2018، و GraphSAGE — في كيفية تجميع معلومات الجوار: تطبق GCN التفافًا طيفيًّا على المصفوفة المجاورة الكاملة، وتزن GAT الجيران بدرجات انتباه متعلمة، وتختار GraphSAGE وتجمع الجوار المحلي بشكل استقرائي، مما يتيح التعميم على العقد غير المرئية.
الفكرة الحدسية وراء الطريقة
فكر في كل عقدة في الرسم البياني كشخص في شبكة اجتماعية. يمتلك هذا الشخص ملفه الشخصي الخاص (الميزات)، ولكن من يعرفه يقول الكثير عنه أيضًا. تسمح شبكة العصبونات الرسومية (GNN) لكل عقدة بجمع الرسائل بشكل متكرر من جيرانها، وخلط هذه الرسائل مع معلوماتها الخاصة، وتحديث تمثيلها — طبقة تلو الأخرى. بعد عدة جولات من تبادل المعلومات هذا، يعكس تضمين كل عقدة ليس فقط نفسها ولكن أيضًا الرسم البياني الفرعي المحلي المحيط بها. تقوم GCN بذلك بمتوسط متماثل ثابت للجيران؛ تحدد GAT الجيران الذين يجب الوثوق بهم أكثر عن طريق تعلم أوزان الانتباه؛ تختار GraphSAGE مجموعة فرعية ثابتة من الجيران وتتعلم دالة تجميع يمكن تطبيقها على العقد التي لم ترها من قبل.
التاريخ
تم وضع أسس تطبيق الشبكات العصبية على الرسوم البيانية بواسطة Scarselli وآخرون (2009)، ولكن العصر الحديث لشبكات العصبونات الرسومية بدأ بشبكة العصبونات الرسومية الالتفافية (GCN) لـ Kipf و Welling (2017)، والتي بسطت الالتفاف الطيفي للرسم البياني إلى تقريب فعال من الدرجة الأولى باستخدام ضرب المصفوفة المجاورة المطبعة المتماثلة. بعد عام، قدم Veličković وآخرون (2018) شبكات العصبونات الرسومية الانتباهية، مستبدلين المتوسط الثابت لـ GCN بمعاملات انتباه قابلة للتعلم على كل حافة — مما يسمح للنموذج بوزن الجيران بشكل انتقائي. في الوقت نفسه، اقترح Hamilton وآخرون (2017) GraphSAGE، وهو إطار استقرائي يأخذ عينات من الجوار بحجم ثابت ويتعلم دوال تجميع قابلة للنقل إلى العقد غير المرئية، مما يجعل شبكات العصبونات الرسومية عملية للرسوم البيانية الكبيرة والديناميكية. هذه الأوراق الثلاث أرست نموذج تمرير الرسائل الذي يدعم الآن غالبية أبحاث شبكات العصبونات الرسومية.
متى تُستخدم
استخدم شبكة عصبونات رسومية (GNN) عندما تكون بياناتك مهيكلة رسوميًا بشكل طبيعي — شبكات اجتماعية، شبكات استشهاد، رسوم جزيئية، رسوم بيانية معرفية، أو أي إعداد حيث تحمل العلاقات بين الكيانات إشارة تنبؤية. تحتاج إلى مصفوفة ميزات عقد وقائمة حواف. الحد الأدنى حوالي 50 عقدة مطلوب للتدريب الهادف. تنطبق شبكات العصبونات الرسومية على تصنيف العقد (التنبؤ بتسمية لكل عقدة)، وتنبؤ الرابط (استنتاج الحواف المفقودة)، وتصنيف الرسم البياني (تعيين تسمية لرسم بياني كامل). الافتراض المتجانس — تميل العقد المتصلة إلى مشاركة نفس التسمية — يتم استغلاله ضمنيًا بواسطة GCN و GAT القياسية؛ إذا كان الرسم البياني الخاص بك غير متجانس، ففكر في البنى المصممة لهذا الإعداد. بالنسبة للرسوم البيانية الكبيرة، يكون التدريب بالدفعة الكاملة مستحيلًا من حيث الذاكرة ويحتاج إلى أخذ عينات من الجوار بالدفعة المصغرة (أسلوب GraphSAGE). إذا كان الرسم البياني الخاص بك يحتوي على أقل من 20 عقدة، فإن مقاييس المركزية التقليدية هي خيار أكثر ملاءمة.
الحدود والاعتبارات
- التشويش المفرط: تكديس العديد من طبقات GNN يدفع جميع تضمينات العقد نحو قيمة مشتركة، مما يحد من العمق الفعال إلى حوالي 2-4 طبقات عمليًا.
- قابلية التوسع: تتطلب GCN و GAT بالدفعة الكاملة الاحتفاظ بمصفوفة التجاور الكاملة ومصفوفة الميزات في الذاكرة، وهو أمر غير ممكن للرسوم البيانية الكبيرة جدًا بدون أخذ عينات أو تقسيم.
- يفسد الافتراض المتجانس المضمن في التجميع القياسي الأداء على الرسوم البيانية غير المتجانسة حيث تميل الجيران إلى الحصول على تسميات مختلفة.
- الحد الأدنى لحجم العينة المطلوب حوالي 50 عقدة؛ العقد الأقل تترك النموذج بدون إشارة كافية لتعلم تمثيلات هادفة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يستغل بشكل مشترك ميزات العقد والطوبولوجيا الرسومية، متفوقًا على الطرق التي تستخدم أحدهما فقط.
- توفر آلية الانتباه في GAT درجات أهمية لكل حافة، مما يضيف قابلية للتفسير إلى التجميع.
- GraphSAGE استقرائية ويمكنها التعميم على العقد والرسوم البيانية التي لم يتم رؤيتها أثناء التدريب، مما يتيح النشر على الشبكات المتنامية.
- إطار عمل موحد لتمرير الرسائل يغطي تصنيف العقد، وتنبؤ الرابط، وتصنيف الرسم البياني بنفس البنية الأساسية.
التطبيقات
- تصنيف العقد في شبكات الاستشهاد — التنبؤ بموضوع ورقة بناءً على محتواها وروابط الاستشهاد.
- اكتشاف الأدوية — التنبؤ بخصائص الجزيئات عن طريق معاملة الذرات كعقد والروابط الكيميائية كحواف.
- أنظمة التوصية — نمذجة المستخدمين والعناصر كرسم بياني ثنائي وتنبؤ تفاعلات المستخدم والعنصر عبر تنبؤ الرابط.
- الكشف عن الاحتيال في شبكات المعاملات المالية — تحديد العقد الشاذة بناءً على ميزاتها وهيكل جوارها.
- إكمال الرسم البياني المعرفي — استنتاج العلاقات المفقودة بين الكيانات في قواعد المعرفة واسعة النطاق.
كيف يعمل
كيف يعمل
يتم تعريف الرسم البياني بواسطة مصفوفة ميزات العقد X (صف واحد لكل عقدة، عمود واحد لكل سمة) وقائمة حواف (أو مصفوفة مجاورة) A. الحواف غير الموجهة قياسية لـ GCN و GAT؛ تدعم GraphSAGE أيضًا الرسوم البيانية الموجهة. عادةً ما تتم إضافة حلقات ذاتية إلى A بحيث يتم تضمين كل عقدة في تجميعها الخاص.
يتم تطبيع سمات العقد الخام، وإذا لزم الأمر، يتم تضمينها في مساحة متجه مستمر. يمكن دمج سمات الحواف، إذا كانت موجودة، كإشارات إضافية. النتيجة هي مصفوفة ميزات كثيفة ستحولها كل طبقة من طبقات GNN.
تحسب كل طبقة من طبقات GNN تمثيلًا جديدًا للعقدة عن طريق تجميع ميزات جيران العقدة ودمجها مع ميزات العقدة الخاصة من خلال مصفوفة وزن قابلة للتعلم وتنشيط غير خطي. تطبق GCN ضرب المصفوفة المجاورة المطبعة (التفاف طيفي)؛ تحسب GAT معاملات انتباه softmax لكل حافة بحيث تساهم الجيران المؤثرون بشكل أكبر؛ تختار GraphSAGE عشوائيًا جوارًا بحجم ثابت وتطبق مجمعًا قابلاً للتفاضل (متوسط، LSTM، أو تجميع). يسمح تكديس L طبقات بتدفق المعلومات لمسافة L قفزة، ولكن تكديس العديد من الطبقات يسبب التشويش المفرط، حيث تتقارب جميع تضمينات العقد إلى نفس القيمة.
يتم تغذية تضمينات العقد النهائية إلى رأس خاص بالمهمة. لتصنيف العقد، تقوم طبقة softmax بتعيين احتمالات الفئة لكل عقدة. لتنبؤ الرابط، يقوم حاصل ضرب داخلي أو MLP بتقييم احتمالية وجود حافة بين تضمينين للعقد. لتصنيف الرسم البياني، يقوم تجميع عام (مجموع، متوسط، أو هرمي) بتجميع جميع تضمينات العقد في متجه واحد على مستوى الرسم البياني قبل طبقة التصنيف.
يقاس أداء النموذج على مجموعة اختبار منفصلة باستخدام مقاييس مناسبة للمهمة: الدقة أو F1 لتصنيف العقد والرسم البياني، AUC-ROC لتنبؤ الرابط. نظرًا لأن مجموعات بيانات الرسم البياني غالبًا ما تكون محدودة الحجم، يجب أن تتطابق التقييمات الاستقرائية (أقنعة التدريب/التحقق/الاختبار على نفس الرسم البياني) أو الانقسامات الاستقرائية (رسوم بيانية فرعية منفصلة) مع سيناريو النشر.
الأخطاء الشائعة
- يؤدي إضافة الكثير من طبقات GNN إلى التشويش المفرط: تتقارب جميع تضمينات العقد ويفقد النموذج قوته التمييزية. احتفظ بعدد الطبقات عند 2-4 وراقب تباين التضمين.
- التدريب على الرسم البياني الكامل بدون دفعات مصغرة مستحيل من حيث الذاكرة للشبكات الكبيرة؛ استخدم أخذ عينات الجوار بأسلوب GraphSAGE أو تقسيم الرسم البياني للرسوم البيانية التي تحتوي على أكثر من بضعة آلاف من العقد.
- تطبيق GCN مدرب استقرائيًا مباشرة على عقد جديدة غير مرئية في وقت الاستدلال غير صحيح؛ استخدم طريقة استقرائية مثل GraphSAGE إذا كان النشر الخاص بك يتطلب التعميم على عقد جديدة.
- تجاهل الافتراض المتجانس على الرسوم البيانية غير المتجانسة ينتج عنه نتائج سيئة؛ افحص معامل التجميع للرسم البياني قبل اختيار متغير GNN قياسي.
- مع أقل من 20 عقدة، ينتج عن تدريب GNN تمثيلات غير موثوقة؛ فضل تحليل المركزية التقليدي في هذا النظام.
الأسئلة الشائعة
أي متغير من متغيرات GNN يجب أن أبدأ به — GCN، GAT، أم GraphSAGE؟
GCN هو أبسط خط أساس ويعمل بشكل جيد على الرسوم البيانية المتجانسة الصغيرة إلى المتوسطة حيث تكون جميع العقد معروفة في وقت التدريب. يُفضل GAT عندما تختلف أهمية الجيران وتريد أوزان انتباه قابلة للتفسير. GraphSAGE هو الخيار الصحيح عندما تحتاج إلى التعميم على العقد غير المرئية أثناء التدريب أو عندما يكون الرسم البياني كبيرًا جدًا للمعالجة بالدفعة الكاملة.
ما هو التشويش المفرط وكيف أتجنبه؟
يحدث التشويش المفرط عندما تتسبب العديد من طبقات GNN في تقارب جميع تضمينات العقد إلى نفس القيمة، مما يلغي المعلومات التمييزية. عمليًا، عادةً ما تكون 2-4 طبقات مثالية. يمكن أن تساعد تقنيات مثل الاتصالات المتبقية، وشبكات القفز المعرفي، و DropEdge إذا كانت البنى الأعمق ضرورية.
هل تتطلب شبكات العصبونات الرسومية بيانات مصنفة لجميع العقد؟
لا. غالبًا ما تُستخدم GCN و GAT في الإعدادات شبه الإشرافية حيث تحمل نسبة صغيرة فقط من العقد تسميات؛ ينشر هيكل الرسم البياني المعلومات من العقد المصنفة إلى العقد غير المصنفة. يمكن أيضًا تدريب GraphSAGE بطريقة إشرافية كاملة أو غير إشرافية اعتمادًا على المهمة.
ما مدى كبر حجم الرسم البياني المطلوب؟
يلزم حد أدنى يبلغ حوالي 50 عقدة لتدريب GNN الهادف. مع أقل من 20 عقدة، لا يمكن للنموذج تعلم تمثيلات موثوقة ويكون تحليل المركزية التقليدي أكثر ملاءمة. بالنسبة للرسوم البيانية التي تحتوي على ملايين العقد، يلزم أخذ عينات من الجوار بالدفعة المصغرة (كما في GraphSAGE) أو طرق تقسيم الرسم البياني للحفاظ على استخدام الذاكرة ضمن الحدود المعقولة.
طرق ذات صلة
المصادر
Kipf, T.N. & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. International Conference on Learning Representations (ICLR).
افتح مرجع DOIتم النسخ.Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P., & Bengio, Y. (2018). Graph Attention Networks. International Conference on Learning Representations (ICLR).
افتح مرجع DOIتم النسخ.Hamilton, W.L. (2020). Graph Representation Learning. Morgan & Claypool.
افتح مرجع DOIتم النسخ.