تضمينات BERT — تمثيلات نصية سياقية
- قدّمه
- Devlin, Chang, Lee & Toutanova (Google AI)
- السنة
- 2019
- النوع
- Contextual transformer text-representation method
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تُحوّل تضمينات النص المستندة إلى BERT، والتي قدمها ديفلين وزملاؤه في Google AI عام 2019، النص إلى متجهات كثيفة حساسة للسياق باستخدام مُشفّر ترانسفورمر ثنائي الاتجاه. نظرًا لأن معنى الكلمة يتغير مع سياقها، تنتج BERT تمثيلات أغنى من الطرق الثابتة مثل Word2Vec أو نماذج الموضوع مثل LDA.
الفكرة الحدسية وراء الطريقة
كلمة مثل "بنك" تعني شيئًا مختلفًا على ضفة النهر مقارنة بالتمويل، ومع ذلك فإن طرق التضمين الأقدم تمنحها متجهًا ثابتًا واحدًا بغض النظر عن مكان ظهورها. تقرأ BERT كل كلمة مع الكلمات المحيطة بها، لذلك تحصل الكلمة نفسها على متجه مختلف اعتمادًا على جملتها. هذه القراءة السياقية هي ما يسمح للتضمينات بالتقاط المعنى الذي تفوته متجهات الكلمات الثابتة.
التاريخ
تم تقديم BERT بواسطة ديفلين، تشانغ، لي، وتوتانوفا (2019)، الذين قاموا بتدريب مُشفّر ترانسفورمر ثنائي الاتجاه عميق على مجموعات نصوص كبيرة وأظهروا نتائج قوية عبر العديد من مهام فهم اللغة. لاحقًا، أظهر عمل استكشافي بواسطة تيني وزملاؤه (2019) أن BERT يعيد اكتشاف خطوات خط أنابيب معالجة اللغة الطبيعية الكلاسيكية داخليًا، مما يساعد على تفسير سبب حمل تضميناته السياقية لمثل هذه المعلومات اللغوية الغنية.
متى تُستخدم
تُناسب تضمينات BERT عندما يكون لديك بيانات نصية وتحتاج إلى تمثيلات تحترم السياق، وعندما يطابق نموذج مُدرّب مسبقًا لغة ومجال مجموعة النصوص تلك. إنها تناسب الأغراض التفسيرية، والتصنيفية، وتحليل العلاقات. مع أقل من حوالي 100 مستند، لا يكون الضبط الدقيق ممكنًا — يُفضل استخدام تضمينات ثابتة مُدرّبة مسبقًا مثل GloVe — وإذا لم تكن هناك بيانات نصية على الإطلاق، فلا يمكن إنتاج تضمينات BERT.
الحدود والاعتبارات
- يجب اختيار نموذج مناسب — متعدد اللغات أو خاص بمجال معين — لمطابقة مجموعة النصوص.
- يُوصى باستخدام وحدة معالجة الرسومات (GPU) لمجموعات البيانات الكبيرة لأن التشفير مكلف حسابيًا.
- الضبط الدقيق غير ممكن على مجموعات نصوص صغيرة جدًا (أقل من ~100 مستند).
- التضمينات عالية الأبعاد وأقل قابلية للتفسير المباشر من الميزات المستندة إلى التردد أو المعجم.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- حساس للسياق: تحصل الكلمة نفسها على متجهات مختلفة اعتمادًا على نصها المحيط.
- تمثيلات أغنى من الطرق الثابتة مثل Word2Vec أو نماذج الموضوع مثل LDA.
- يقرأ التشفير ثنائي الاتجاه كل وحدة في ضوء السياق الكامل على كلا الجانبين.
- تغطي النماذج المُدرّبة مسبقًا العديد من اللغات والمجالات المتخصصة، لذلك يمكن أن يبدأ التحليل دون تدريب من الصفر.
التطبيقات
- تصنيف النصوص باستخدام تمثيلات المستندات المدركة للسياق.
- قياس التشابه الدلالي بين المستندات أو المقاطع.
- تحليل العلاقات والتفسير للنصوص التي يعتمد فيها معنى الكلمة على السياق.
- إنتاج ميزات لنماذج معالجة اللغة الطبيعية اللاحقة في أبحاث الصحة والعلوم الاجتماعية والاقتصاد والأعمال.
كيف يعمل
كيف يعمل
يتم اختيار نموذج BERT مُدرّب مسبقًا مناسب لمطابقة مجموعة النصوص — نموذج متعدد اللغات للنصوص غير الإنجليزية أو المختلطة اللغات، أو نموذج خاص بمجال معين عندما يأتي النص من حقل متخصص. اختيار نموذج يطابق لغة ومجال مجموعة النصوص هو القرار الذي يشكل جودة التضمين إلى حد كبير.
يتم تقسيم كل مستند إلى وحدات فرعية للكلمات يتوقعها النموذج المختار. يقوم تقسيم الكلمات بتقسيم الكلمات إلى الوحدات التي تم تدريب النموذج عليها مسبقًا، بحيث يمكن تمثيل الكلمات غير المألوفة أو المركبة.
يمر مُشفّر ترانسفورمر ثنائي الاتجاه عبر الوحدات وينتج متجهًا حساسًا للسياق لكل منها، مقروءًا كل وحدة في ضوء النص المحيط. تنتج الكلمة نفسها متجهات مختلفة في سياقات مختلفة، وهذا ما يعطي التمثيل ثراءه.
تُغذّي التضمينات الناتجة المهام اللاحقة — التصنيف، أو قياس التشابه، أو تحليل العلاقات، وعلى مجموعات النصوص الأكبر يمكن ضبط النموذج بدقة للمهمة. يُوصى باستخدام وحدة معالجة الرسومات (GPU) لمجموعات البيانات الكبيرة لأن تشفير العديد من المستندات ثقيل حسابيًا.
الأخطاء الشائعة
- تطبيق نموذج إنجليزي على نص بلغة أخرى يقلل من الجودة؛ اختر نموذجًا متعدد اللغات أو مطابقًا.
- الضبط الدقيق لـ BERT على مجموعة بيانات صغيرة (أقل من ~100 مستند) لا يعمل — ارجع إلى التضمينات الثابتة المُدرّبة مسبقًا مثل GloVe.
- مع عدم وجود بيانات نصية على الإطلاق، لا يمكن إنشاء تضمينات BERT — فكر في التجميع على البيانات المنظمة بدلاً من ذلك.
- قد يكون تشفير مجموعات النصوص الكبيرة بدون وحدة معالجة رسومات (GPU) بطيئًا بشكل باهظ.
الأسئلة الشائعة
كيف يختلف BERT عن Word2Vec أو GloVe؟
تُعيّن Word2Vec و GloVe لكل كلمة متجهًا ثابتًا واحدًا بغض النظر عن السياق. BERT سياقي: يقرأ كل كلمة مع نصها المحيط وينتج متجهًا مختلفًا لنفس الكلمة في جمل مختلفة، مما يلتقط المعنى الذي تفوته التضمينات الثابتة.
ما مقدار النص الذي أحتاجه؟
يعمل إنشاء التضمينات من نموذج مُدرّب مسبقًا حتى على مجموعات النصوص الصغيرة (حوالي عشرة مستندات وما فوق). ومع ذلك، فإن ضبط النموذج بدقة لمهمتك يتطلب مجموعة أكبر — مع أقل من حوالي 100 مستند، يُفضل استخدام تضمينات ثابتة مُدرّبة مسبقًا مثل GloVe بدلاً من ذلك.
هل أحتاج إلى وحدة معالجة رسومات (GPU)؟
ليس لمجموعات البيانات الصغيرة، ولكن يُوصى بوحدة معالجة رسومات (GPU) لمجموعات البيانات الكبيرة لأن تشفير العديد من المستندات عبر مُشفّر ترانسفورمر مكلف حسابيًا ويمكن أن يكون بطيئًا جدًا على وحدة المعالجة المركزية (CPU).
هل يمكن لـ BERT التعامل مع لغات أخرى غير الإنجليزية؟
نعم، بشرط أن تختار نموذجًا مطابقًا — نموذجًا متعدد اللغات، أو نموذجًا مُدرّبًا للغة أو مجال مجموعة النصوص الخاصة بك. تطبيق نموذج إنجليزي فقط على نصوص بلغات أخرى هو سبب شائع للنتائج السيئة.
طرق ذات صلة
المصادر
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.
افتح مرجع DOIتم النسخ.Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.
افتح مرجع DOIتم النسخ.