الانتقال إلى المحتوى
العودة إلى نتائج البحث

تضمينات الجمل

قدّمه
Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
السنة
2015–2019
النوع
Representation learning / embedding
العائلة
Deep learning / NLP / CV

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تقوم تضمينات الجمل بتحويل جملة أو نص قصير إلى متجه كثيف واحد ثابت الطول يلتقط معناها الدلالي. تسمح هذه المتجهات للمهام اللاحقة - التشابه الدلالي، والتجميع، والاسترجاع، والتصنيف - بالعمل على تمثيلات رقمية بدلاً من النص الخام، مما يجعلها واحدة من أكثر اللبنات الأساسية تنوعًا في خطوط معالجة اللغة الطبيعية الحديثة.

الفكرة الحدسية وراء الطريقة

تخيل كل جملة كنقطة في فضاء عالي الأبعاد حيث يحدد المعنى التقارب: جملتان تقولان نفس الشيء بكلمات مختلفة تقعان قريبتين جدًا من بعضهما البعض، بينما تقع الجمل غير المرتبطة بعيدًا. يتعلم نموذج تضمين الجمل هذه الهندسة من مجموعات كبيرة من النصوص. بمجرد تدريب النموذج، فإن تضمين جملة جديدة هو مجرد تمريرة أمامية واحدة - لا يلزم مزيد من التدريب - وأي مهمة لاحقة تعمل ببساطة مع هذه الإحداثيات. هذا الاستخدام المتكرر لهندسة مدربة مسبقًا هو ما يجعل تضمينات الجمل قوية: يمكنك مقارنة أو تجميع أو تصنيف ملايين النصوص دون تسميات خاصة بالمهمة.

التاريخ

استخدمت التمثيلات المبكرة للجمل متجهات الكلمات المتوسطة (word2vec، GloVe). قامت Skip-Thought Vectors (Kiros et al., 2015) بتدريب مشفر-مفكك لتوقع الجمل المحيطة، مما أنتج أول تضمينات جمل سياقية عميقة. قامت InferSent (Conneau et al., 2017) بضبط دقيق على أزواج NLI وأظهرت انتقالًا قويًا. طبقت Sentence-BERT (Reimers & Gurevych, 2019) معمارية BERT سيامية على بيانات NLI وحسنت بشكل كبير جودة التضمينات المشتقة من BERT مع تقليل وقت حساب التشابه من 65 ساعة إلى حوالي 5 ثوانٍ لأزواج الجمل البالغ عددها 10000.

متى تُستخدم

استخدم تضمينات الجمل عندما تحتاج إلى قياس التشابه الدلالي، أو تجميع المستندات، أو إجراء استرجاع كثيف، أو تغذية النص إلى مصنف دون تسميات خاصة بالمهمة لكل مثال. تتفوق عندما يكون لديك كميات معتدلة إلى كبيرة من النصوص وتريد تمثيلًا عام الغرض ينتقل عبر المهام. لا تستخدم تضمينات الجمل الخام - بدون ضبط دقيق أو رأس مهمة - عندما تحتاج إلى احتمالات معايرة أو أوزان ميزات قابلة للتفسير. إنها أيضًا غير مناسبة للنصوص القصيرة جدًا (كلمة أو كلمتين)، أو للغات التي لا يتوفر لها مشفر مدرب مسبقًا، أو عندما تكون الموارد الحسابية مقيدة بشدة، لأن تشفير ملايين المستندات الطويلة يمكن أن يكون مكلفًا.

الحدود والاعتبارات

  • تعتمد جودة التضمين بشكل كبير على جودة ونطاق النموذج المدرب مسبقًا؛ النصوص خارج النطاق تقلل الأداء.
  • تمثيل المستندات الطويلة جدًا كمتجه ثابت واحد يفقد المعلومات المحلية الدقيقة.
  • يجب معايرة عتبات تشابه جيب التمام للقرارات اللاحقة تجريبيًا وليست عالمية.
  • تتطلب نماذج المشفر الكبيرة ذاكرة GPU؛ يتطلب تخزين التضمينات لملايين المستندات مساحة قرص كبيرة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • التقاط المعنى الدلالي الغني الذي تفوتها حقائب الكلمات و TF-IDF، مثل الترادف وإعادة الصياغة.
  • النماذج المدربة مسبقًا تنتقل خارج الصندوق إلى مجالات جديدة مع القليل من البيانات المصنفة أو بدونها.
  • سريعة في الاستدلال: بمجرد التشفير، يستغرق البحث عن التشابه على ملايين المتجهات أجزاء من الثانية باستخدام فهارس بأسلوب FAISS.
  • متعددة الاستخدامات: نفس التضمينات تخدم التجميع، والاسترجاع، وإزالة التكرار الدلالي، والتصنيف.
  • المتغيرات متعددة اللغات (مثل paraphrase-multilingual-mpnet) تتعامل مع التشابه عبر اللغات بنموذج واحد.

التطبيقات

  • التشابه الدلالي النصي وكشف إعادة الصياغة في مجموعات النصوص الأكاديمية والتجارية.
  • استرجاع المقاطع الكثيفة في الإجابة على الأسئلة مفتوحة النطاق ومحركات البحث.
  • تجميع المستندات والفقرات لاكتشاف الموضوعات دون فئات محددة مسبقًا.
  • التصنيف النصي بدون عينات أو بعينات قليلة عن طريق مقارنة التضمينات بنماذج أولية للتسميات.
  • كشف التكرار الجزئي وإزالة التكرار في قواعد البيانات الببليوغرافية الكبيرة.
  • المحاذاة الدلالية عبر اللغات في التوليف البحثي متعدد اللغات.

كيف يعمل

كيف يعمل

1

يتم تقسيم الجملة المدخلة إلى رموز (أجزاء كلمات أو كلمات) وفقًا لمفردات المشفر - عادةً ما يكون مشفر WordPiece أو SentencePiece بأسلوب BERT. يتم إدراج رموز خاصة مثل [CLS] و [SEP] لوضع علامات على حدود الجملة، مما يجهز التسلسل للمشفر.

2

يقوم مشفر عميق - وهو في الغالب محول مدرب مسبقًا مثل BERT أو RoBERTa - بمعالجة تسلسل الرموز وإنتاج حالة مخفية سياقية لكل موضع. تحمل كل حالة مخفية معلومات حول رمزها في سياق الجملة بأكملها.

الصيغة
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^d
3

يتم دمج الحالات المخفية لكل رمز في متجه واحد ثابت الحجم من خلال عملية تجميع. يعد تجميع المتوسط (متوسط جميع متجهات الرموز) واستخراج رمز CLS الخيارين الأكثر شيوعًا. أظهرت Sentence-BERT أن تجميع المتوسط لجميع حالات الرموز يتفوق باستمرار على متجه CLS الخام.

4

للحصول على تضمينات عالية الجودة، يتم ضبط المشفر بدقة باستخدام هدف تبايني أو هدف تشابه دلالي. تستخدم Sentence-BERT شبكة سيامية مدربة على أزواج الاستدلال باللغة الطبيعية، مما يدفع الجمل المتشابهة دلاليًا معًا والجمل غير المتشابهة بعيدًا في فضاء التضمين.

5

في وقت الاستدلال، تتم مقارنة متجهي الجملة باستخدام تشابه جيب التمام: حاصل الضرب النقطي للمتجهات الموحدة. تشير الدرجات القريبة من 1 إلى التكافؤ الدلالي؛ وتشير الدرجات القريبة من 0 إلى التعامد. هذا الرقم الواحد يدفع مهام الاسترجاع، وإزالة التكرار، والتجميع، والتصنيف.

الصيغة
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}

الأخطاء الشائعة

  • استخدام رمز [CLS] الخام من نموذج BERT أساسي كتضمين جملة بدون ضبط دقيق - هذا ينتج عنه تضمينات ذات جودة رديئة وغير متناظرة.
  • مقارنة التضمينات التي تنتجها معماريات مشفر مختلفة أو استراتيجيات تجميع، مما يجعل درجات جيب التمام غير قابلة للمقارنة.
  • اختيار عتبة تشابه (مثل 0.85 يعني 'مكرر') دون معايرتها على بيانات تم الاحتفاظ بها من نطاقك.
  • تجاهل الحاجة إلى توحيد المتجهات قبل حساب تشابه جيب التمام عند استخدام فهارس بحث تعتمد على حاصل الضرب النقطي فقط.
  • معاملة التضمين على أنه قابل للتفسير: الأبعاد الفردية لا تحمل معنى دلاليًا بمفردها.

الأسئلة الشائعة

أي نموذج مدرب مسبقًا يجب أن أستخدم؟

للتشابه العام الغرض باللغة الإنجليزية، 'all-mpnet-base-v2' من مكتبة sentence-transformers هو خيار افتراضي قوي. للمهام متعددة اللغات، 'paraphrase-multilingual-mpnet-base-v2' يغطي أكثر من 50 لغة. قم دائمًا بإجراء اختبارات أداء على عينة صغيرة من نطاقك المستهدف قبل الالتزام بنموذج.

كيف يختلف هذا عن استخدام BERT مباشرة؟

ينتج BERT القياسي تمثيلات لكل رمز محسّنة للمهام على مستوى الرمز. استخدام مخرجاته الخام (مثل متجه [CLS]) كتضمين جملة ينتج عنه نتائج تشابه جيب تمام ضعيفة. تقوم Sentence-BERT بضبط BERT بدقة باستخدام هدف تبايني بحيث تكون المتجهات الناتجة منظمة بشكل صريح للمقارنة على مستوى الجملة.

كم عدد الأمثلة المصنفة التي أحتاجها؟

تتطلب نماذج تضمين الجمل الجاهزة من مكتبة sentence-transformers صفر أمثلة مصنفة للاستدلال. إذا قمت بضبط دقيق على نطاقك، حتى بضع مئات من أزواج الجمل مع تسميات التشابه يمكن أن تحسن الأداء بشكل ملحوظ.

هل يمكنني استخدام تضمينات الجمل للمستندات الطويلة؟

معظم المشفرات لديها حد للرموز (512 رمزًا لنماذج BERT). للنصوص الأطول، يمكنك تقسيم المستند إلى جمل أو فقرات، وتضمين كل جزء، وتجميع متجهات الأجزاء. بدلاً من ذلك، تتعامل نماذج مثل Longformer مع سياقات أطول بشكل أصلي.

كيف أقوم بتقييم جودة تضميناتي؟

تشمل المعايير القياسية STS-B (معيار التشابه الدلالي النصي) و MTEB (معيار تضمين النصوص الضخم). على بياناتك الخاصة، تسمح لك أزواج الجمل التي تم تقييمها يدويًا مع درجات التشابه بحساب ارتباط سبيرمان بين درجات النموذج والأحكام البشرية.

طرق ذات صلة

المصادر

  1. Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.

    افتح مرجع DOI
    تم النسخ.
  2. Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.

    افتح مرجع المنشور
    تم النسخ.