تضمينات GloVe — المتجهات العامة لتمثيل الكلمات
- قدّمه
- Pennington, Socher & Manning
- السنة
- 2014
- النوع
- Static word-embedding model
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تضمينات GloVe (المتجهات العامة لتمثيل الكلمات) هي نموذج تضمين كلمات ثابت قدمه بينينغتون وسوخر ومانينغ (2014) والذي يتعلم متجهات الكلمات مباشرة من إحصائيات التواجد المشترك بين الكلمات على مستوى عالمي مجمعة عبر مجموعة نصوص كاملة. تضع المتجهات الناتجة الكلمات ذات الصلة دلاليًا بالقرب من بعضها البعض وتؤدي أداءً قويًا في مهام القياس الدلالي.
الفكرة الحدسية وراء الطريقة
الكلمات التي تظهر في سياقات متشابهة تميل إلى أن يكون لها معانٍ متشابهة. بدلاً من مسح النص نافذة صغيرة في كل مرة، يقوم GloVe أولاً بعد عدد المرات التي يتواجد فيها كل زوج من الكلمات معًا عبر مجموعة النصوص بأكملها، ثم يقوم بضبط المتجهات بحيث يتم التقاط العلاقات بين تلك الإحصائيات كعلاقات هندسية بين متجهات الكلمات. المكافأة هي أن الحساب المتجهي البسيط يعكس المعنى - الهيكل الذي يسمح للقياسات مثل 'الملك إلى الملكة كـ رجل إلى امرأة' بالخروج من الهندسة.
التاريخ
تم تقديم GloVe بواسطة بينينغتون وسوخر ومانينغ في مؤتمر EMNLP 2014. تم تقديمه كنموذج يجمع بين نقاط القوة في طرق تحليل المصفوفات العالمية وطرق نوافذ السياق المحلية عن طريق التدريب مباشرة على مصفوفة التواجد المشترك العالمية بين الكلمات، وأصبح مصدرًا مستخدمًا على نطاق واسع لمتجهات الكلمات الثابتة المدربة مسبقًا.
متى تُستخدم
يصلح GloVe بيانات النص عندما تريد متجهًا ثابتًا وقابلًا لإعادة الاستخدام لكل كلمة، ولديك إما مجموعة نصوص كبيرة للتدريب عليها أو يمكنك الاعتماد على متجهات GloVe المدربة مسبقًا. يحتاج إلى كمية معقولة من النص - حوالي مائة مستند أو أكثر - ويجب إجراء المعالجة المسبقة للنص أولاً. يناسب العمل الاستكشافي على العلاقات الدلالية وتشابه الكلمات؛ إذا لم تكن هناك بيانات نصية، فلا يمكن تشغيل GloVe.
الحدود والاعتبارات
- المتجهات ثابتة: تحصل كل كلمة على متجه واحد بغض النظر عن السياق، لذلك لا يتم تمييز معاني الكلمات.
- يتطلب التدريب من الصفر مجموعة نصوص كبيرة لإنتاج متجهات موثوقة.
- تعتمد إحصائيات التواجد المشترك على مجموعة النصوص، لذلك قد لا تنتقل نموذجًا مدربًا على مجال معين بشكل جيد إلى مجال آخر.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يتعلم من إحصائيات التواجد المشترك على مستوى مجموعة النصوص بأكملها بدلاً من نوافذ السياق المحلية فقط.
- يؤدي أداءً قويًا في مهام القياس الدلالي وتشابه الكلمات.
- يمكن تحميل متجهات GloVe المدربة مسبقًا مباشرة، مما يلغي الحاجة إلى التدريب على مجموعة نصوص كبيرة.
التطبيقات
- حساب تشابه الكلمات وأقرب الجيران ضمن مفردات.
- حل مهام القياس الدلالي من خلال الحساب المتجهي.
- توفير ميزات كلمات مدربة مسبقًا كمدخلات لنماذج تصنيف النصوص أو تجميعها اللاحقة.
- استكشاف الهيكل والعلاقات الدلالية في مجموعة نصوص كبيرة.
كيف يعمل
كيف يعمل
يتم تقسيم مجموعة النصوص إلى وحدات (tokenized) وتنظيفها بحيث تكون المفردات متسقة. يتطلب الأمر معالجة مسبقة للنص قبل بدء العد، لأن جودة إحصائيات التواجد المشترك تعتمد على مفردات نظيفة ومحددة جيدًا.
يتم بناء مصفوفة تواجد مشترك عالمية بين الكلمات عن طريق عد عدد المرات التي يظهر فيها كل زوج من الكلمات معًا ضمن نافذة سياق عبر مجموعة النصوص بأكملها. هذه المصفوفة هي الإحصائية العالمية التي تعطي GloVe اسمه وتميزه عن الأساليب المحلية البحتة التي تعتمد على نافذة تلو الأخرى.
يقوم GloVe بضبط متجهات الكلمات لتناسب مصفوفة التواجد المشترك بحيث يقرب حاصل الضرب النقطي لمتجهي كلمتين من لوغاريتم عدد مرات تواجههما المشترك. يتم تقليل وزن التواجدات المشتركة المتكررة بحيث لا تهيمن الأزواج الشائعة جدًا، مما ينتج عنه متجهات ثابتة كثيفة ذات أبعاد مختارة.
تُستخدم المتجهات المدربة (أو المدربة مسبقًا) لاحقًا في مهام أخرى: قياس تشابه الكلمات، حل القياسات، أو العمل كميزات إدخال لنماذج أخرى. يمكن تدريب مجموعة نصوص كبيرة من الصفر، أو يمكن تحميل متجهات GloVe المدربة مسبقًا جاهزة مباشرة.
الأخطاء الشائعة
- يؤدي تخطي المعالجة المسبقة للنص إلى مفردات مشوشة ويقلل من إحصائيات التواجد المشترك التي يعتمد عليها النموذج.
- التدريب على كمية قليلة جدًا من النص (أقل بكثير من حوالي 100 مستند) ينتج عنه متجهات غير مستقرة - فضل المتجهات المدربة مسبقًا عندما تكون مجموعة النصوص صغيرة.
- معاملة GloVe على أنه مدرك للسياق: فهو يعين متجهًا ثابتًا واحدًا لكل كلمة، لذلك لا يمكنه فصل المعاني المختلفة لنفس الكلمة كما تفعل النماذج السياقية.
- تطبيق المتجهات المدربة على مجال أو لغة معينة على مجال أو لغة أخرى دون التحقق من تطابق المفردات.
الأسئلة الشائعة
كيف يختلف GloVe عن word2vec؟
كلاهما ينتج متجهات كلمات ثابتة، لكن GloVe يتدرب على مصفوفة تواجد مشترك عالمية بين الكلمات مبنية من مجموعة النصوص بأكملها، بينما يتعلم word2vec من نوافذ السياق المحلية التي يتم مسحها عبر النص. تم تصميم GloVe للجمع بين رؤية الإحصائيات العالمية لتحليل المصفوفات ورؤية نافذة السياق.
هل أحتاج إلى تدريب GloVe بنفسي؟
ليس بالضرورة. يمكنك التدريب على مجموعة نصوص كبيرة من الصفر، أو تحميل متجهات GloVe المدربة مسبقًا جاهزة مباشرة. عندما تكون مجموعة النصوص الخاصة بك صغيرة، فإن المتجهات المدربة مسبقًا هي الخيار الأكثر أمانًا.
لماذا تسمى المتجهات 'ثابتة'؟
تحصل كل كلمة على متجه ثابت واحد بغض النظر عن الجملة التي تظهر فيها. هذا يعني أن GloVe لا يمكنه التمييز بين المعاني المختلفة لنفس الكلمة بناءً على السياق، على عكس نماذج التضمين السياقية.
ما مقدار النص الذي أحتاجه؟
يتطلب التدريب من الصفر مجموعة نصوص كبيرة لتقديم إحصائيات تواجد مشترك موثوقة؛ حوالي مائة مستند أو أكثر هو الحد العملي الأدنى، ويجب إجراء المعالجة المسبقة أولاً. أقل من ذلك، اعتمد على المتجهات المدربة مسبقًا.
طرق ذات صلة
المصادر
Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. EMNLP.
افتح مرجع DOIتم النسخ.