الانتقال إلى المحتوى
العودة إلى نتائج البحث

تضمينات الرسوم البيانية المعرفية (Knowledge Graph Embeddings)

قدّمه
Bordes, Usunier, García-Durán, Weston & Yakhnenko
السنة
2013
النوع
Graph representation learning via low-dimensional vector embeddings
العائلة
Graph representation

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تضمين الرسوم البيانية المعرفية (Knowledge Graph Embeddings - KGE) عائلة من الأساليب التي تمثل الكيانات والعلاقات في رسم بياني معرفي كمتجهات كثيفة ومنخفضة الأبعاد في فضاء مستمر. تم تقديم النموذج الأساسي، TransE، بواسطة Bordes وزملاؤه في عام 2013. يعامل TransE كل علاقة كترجمة في فضاء التضمين - يجب أن يقارب متجه الكيان الرأسي مضافًا إليه متجه العلاقة متجه الكيان الذيل لأي ثلاثية صحيحة (h, r, t). هذا المبدأ الهندسي البسيط مكّن من التنبؤ بالروابط وإكمال قواعد المعرفة على نطاق واسع.

الفكرة الحدسية وراء الطريقة

تخيل وضع البلدان والعواصم وعلاقة 'هي-عاصمة-لـ' على خريطة. يقول TransE: إذا بدأت بالمتجه الخاص بفرنسا وسرت في الاتجاه المسمى 'عاصمة'، فيجب أن تصل بالقرب من باريس. الكيانات هي نقاط؛ العلاقات هي أسهم تربط بينها. يتعلم النموذج هذه المواقع بحيث تشير الأسهم المعروفة بشكل صحيح، مما يجعل من السهل تخمين الحقائق غير المعروفة - مثل العثور على عاصمة غير مرسومة على الخريطة - عن طريق تتبع نفس الأسهم.

التاريخ

تم تقديم TransE في NeurIPS 2013 بواسطة Bordes وزملاؤه كبديل قابل للتوسع لطرق تحليل الموترات إلى عوامل السابقة مثل RESCAL. استعارة الترجمة الأنيقة ألهمت موجة من الخلفاء: سمحت TransH و TransR (2014) بمستويات فائقة خاصة بالعلاقات؛ استكشفت DistMult و ComplEx (2015-2016) التسجيل الثنائي؛ نمذجة RotatE (2019) العلاقات كدورانات في الفضاء المعقد. اليوم، لا يزال KGE يمثل معيارًا أساسيًا في أدبيات إكمال الرسم البياني المعرفي.

متى تُستخدم

استخدم تضمينات الرسوم البيانية المعرفية عندما يكون لديك مجموعة كبيرة من الثلاثيات (موضوع، محمول، كائن) وتحتاج إلى استنتاج الروابط المفقودة، أو ترتيب الحقائق المرشحة، أو إنتاج ميزات منخفضة الأبعاد للمهام اللاحقة مثل تصنيف الكيانات أو الإجابة على الأسئلة. تفترض أساليب KGE افتراض العالم المفتوح للحقائق المفقودة. وهي أقل ملاءمة عندما تكون أنماط العلاقات غير متعدية بشكل كبير أو عندما يكون الرسم البياني متناثرًا للغاية مع عدد قليل من الثلاثيات لكل كيان. تشمل البدائل الشبكات العصبية البيانية للتجميع الأغنى للجوار، أو الأنظمة القائمة على القواعد عندما يكون الاستدلال المنطقي الصريح مطلوبًا.

الحدود والاعتبارات

  • لا يمكن لـ TransE نمذجة العلاقات المتماثلة أو 1-إلى-N بشكل جيد لأن قيد الترجمة يجبر الرأس والذيل على نفس النقطة للمحمولات المتماثلة.
  • تتدهور جودة التضمين للكيانات منخفضة التردد التي تظهر في عدد قليل جدًا من الثلاثيات، وهي مشكلة الذيل الطويل الشائعة في قواعد المعرفة الواقعية.
  • لا يمكن للتضمينات الثابتة التقاط التباين الزمني أو السياقي في العلاقات دون امتدادات معمارية كبيرة.
  • يتطلب التدريب عينات سلبية تم إنشاؤها بعناية؛ التشويه العشوائي الساذج ينتج عينات سلبية سهلة لا تساهم بالكثير من إشارة التدرج.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يتوسع إلى ملايين الكيانات والعلاقات مع تعقيد خطي في المساحة والوقت بالنسبة لبُعد التضمين.
  • ينتج تمثيلات كثيفة قابلة لإعادة الاستخدام يمكن تغذيتها في المصنفات، أو أنظمة التوصية، أو نماذج أخرى لاحقة.
  • دالة تسجيل TransE فعالة من حيث التكلفة حسابيًا في وقت الاستدلال، مما يتيح التنبؤ السريع بالروابط على الرسوم البيانية الكبيرة جدًا.
  • مجموعة واسعة من النماذج (TransR, RotatE, DistMult, ComplEx) تسمح للممارسين باختيار المتغير الأنسب لأنماط العلاقات في بياناتهم.

التطبيقات

  • التنبؤ بالروابط وإكمال قاعدة المعرفة - استنتاج الثلاثيات المفقودة (h, r, t) في Freebase، Wikidata، أو الأنطولوجيات الخاصة بالمجال.
  • الرسوم البيانية المعرفية الطبية الحيوية - التنبؤ بتفاعلات الدواء والهدف، وارتباطات الجينات والأمراض، وعلاقات البروتين بالبروتين.
  • أنظمة التوصية - إثراء الترشيح التعاوني بتضمينات كيانات دلالية مستمدة من الرسوم البيانية المعرفية للمنتجات أو المستخدمين.
  • الإجابة على الأسئلة فوق قواعد المعرفة - ترميز بنية الرسم البياني لدعم الاستدلال متعدد القفزات وتمييز الكيانات.
  • محاذاة الكيانات عبر الرسوم البيانية المعرفية متعددة اللغات - مطابقة الكيانات المكافئة في DBpedia، Wikidata، والموسوعات الخاصة باللغة.

كيف يعمل

كيف يعمل

1

يتم تهيئة جميع تضمينات الكيانات والعلاقات عشوائيًا كمتجهات في فضاء حقيقي ذي بُعد d. يتم تقييد تضمينات الكيانات لتكون على كرة الوحدة (معيار L2 يساوي 1) لمنع النموذج من تقليل الخسارة بشكل تافه عن طريق تضخيم مقادير المتجهات. لا يتم تطبيع متجهات العلاقات، مما يسمح لها بترميز مقادير ترجمة اتجاهية تختلف حسب نوع العلاقة.

الصيغة
\mathbf{e}, \mathbf{r} \in \mathbb{R}^d, \quad \|\mathbf{e}\|_2 = 1
2

لكل ثلاثية مرشحة (h, r, t)، يحسب TransE درجة عدم التشابه كمعيار L1 أو L2 لمتجه الباقي h + r − t. تشير الدرجة المنخفضة إلى أن إضافة متجه العلاقة r إلى تضمين الرأس h يعيد إنتاج تضمين الذيل t عن كثب، مما يشير إلى أن الثلاثية معقولة. هذه الاستعارة الترجمية هي الحدس الهندسي المحدد لعائلة TransE.

الصيغة
f_r(h, t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|_{L_1/L_2}
3

يستخدم التدريب خسارة ترتيب قائمة على الهامش. لكل ثلاثية إيجابية ملاحظة (h, r, t)، يتم إنشاء ثلاثية سلبية مشوهة (h', r, t') عن طريق استبدال الرأس أو الذيل عشوائيًا بكيان مختلف. تتم معاقبة النموذج كلما تجاوزت درجة الثلاثية الإيجابية درجة الثلاثية السلبية بأقل من هامش γ، مما يدفع الثلاثيات الصحيحة إلى درجات منخفضة والثلاثيات المشوهة إلى درجات عالية.

الصيغة
\mathcal{L} = \sum_{(h,r,t) \in S} \sum_{(h',r,t') \in S'} \left[\gamma + f_r(h,t) - f_r(h',t')\right]_+
4

يتم تحديث معلمات النموذج عبر انحدار التدرج العشوائي على دفعات صغيرة. بعد كل خطوة تدرج، يتم إسقاط تضمينات الكيانات مرة أخرى على كرة الوحدة من خلال تطبيع L2، مما يفرض القيد على أنه لا يمكن لأي كيان أن يهيمن بمقدار وحده. معدل التعلم η والهامش γ هما معلمات فائقة رئيسية تتحكم في التقارب وجودة الفصل.

الصيغة
\theta \leftarrow \theta - \eta \nabla_{\theta} \mathcal{L}, \quad \mathbf{e} \leftarrow \frac{\mathbf{e}}{\|\mathbf{e}\|_2}

الأخطاء الشائعة

  • اختيار بُعد التضمين صغير جدًا يؤدي إلى انهيار الكيانات المتميزة دلاليًا؛ كبير جدًا يزيد من خطر فرط الملاءمة على الكيانات المتناثرة.
  • استخدام تشويه الرأس فقط أو الذيل فقط أثناء أخذ العينات السلبية يمكن أن يؤدي إلى تحيزات منهجية - قم بالتبديل أو استخدم كلا الاستراتيجيتين لكل دفعة.
  • تطبيع متجهات العلاقات بالإضافة إلى متجهات الكيانات يتعارض مع صياغة TransE وعادة ما يضر بالأداء.
  • التقييم فقط على MRR أو Hits@k دون فحص توزيعات الرتب المتبادلة يمكن أن يخفي حالات الفشل لأنواع علاقات معينة.

الأسئلة الشائعة

كيف يختلف TransE عن النماذج الأحدث مثل RotatE أو ComplEx؟

يعامل TransE العلاقات كترجمات إضافية في فضاء حقيقي، وهو ما يكافح مع العلاقات المتماثلة وعلاقات 1-إلى-N. يمثل RotatE العلاقات كدورانات في فضاء معقد، ويتعامل بشكل طبيعي مع أنماط التماثل، وعدم التماثل، والانعكاس. يستخدم ComplEx تضمينات معقدة وقيمة وضربًا نقطيًا هرميتيًا، ويلتقط العلاقات غير المتماثلة التي لا يستطيع TransE التقاطها. على الرغم من هذه التطورات، يظل TransE خط أساس قويًا لبساطته وسرعته.

ما هو دور معلمة الهامش الفائق γ في التدريب؟

يحدد الهامش γ الحد الأدنى لفجوة الدرجات المطلوبة بين الثلاثيات الإيجابية والسلبية. يتطلب γ أكبر فصلًا أوسع، مما يمكن أن يحسن التمييز ولكنه يخاطر بالإفراط في معاقبة العينات السلبية الصعبة في وقت مبكر من التدريب. قد يؤدي γ الأصغر إلى نقص الملاءمة. تتراوح القيم النموذجية من 0.5 إلى 10، وعادة ما يتم ضبط γ عبر أداء مجموعة التحقق على Hits@10 أو MRR.

هل يمكن لتضمينات الرسوم البيانية المعرفية التعامل مع الاستدلال متعدد القفزات؟

نماذج KGE ذات الطبقة الواحدة مثل TransE تلتقط التسجيل أحادي القفزة ولكنها تكافح مع سلاسل متعددة القفزات صريحة. امتدادات مثل النماذج القائمة على المسار (PTransE) أو الهجائن العصبية-الرمزية تجمع تضمينات العلاقات على طول المسارات للتعامل مع الاستدلال ثنائي وثلاثي القفزات. غالبًا ما تُفضل متغيرات الشبكات العصبية البيانية التي تنشر معلومات الجوار عبر طبقات متعددة لمهام استدلال متعددة القفزات العميقة.

طرق ذات صلة

المصادر

  1. Bordes, A., Usunier, N., García-Durán, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in Neural Information Processing Systems, 26.

    افتح مرجع المنشور
    تم النسخ.