الانتقال إلى المحتوى
العودة إلى نتائج البحث

تطبيع النص — توحيد النص المشوش

النوع
NLP preprocessing pipeline

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تطبيع النص هو خط أنابيب لمعالجة اللغة الطبيعية (NLP) يقوم بتحويل النص المشوش أو المختصر أو الذي به أخطاء إملائية — مثل رسائل SMS، ومنشورات وسائل التواصل الاجتماعي، ومخرجات OCR — إلى شكل نظيف وموحد. إنها خطوة تمهيدية لأي مهمة NLP لاحقة تقريبًا، مما يضمن عدم تدهور أشكال السطح غير المتسقة في عملية التقطيع أو التحليل النحوي أو التصنيف. اكتسبت هذه الطريقة معالجة أكاديمية منهجية من خلال بالدوين ولي (2015) وسبراوت وجايتلي (2017).

الفكرة الحدسية وراء الطريقة

الآلة المدربة على نص صحفي نظيف لا تتعرف على 'gr8' أو 'u' أو 'tmrw' ككلمات 'great' أو 'you' أو 'tomorrow'. قبل أن يحدث أي تحليل أعمق، يجب تحويل النص الخام المشوش إلى شكل سطحي متسق. يقوم تطبيع النص بذلك بالضبط: فهو يحدد نوع التشويش الموجود — الاختصارات، والأخطاء الإملائية، والعامية، والرموز التعبيرية، والأحرف الخاصة — ويطبق قواعد مستهدفة أو نماذج متعلمة لتحويل كل رمز غير قياسي إلى مكافئه القانوني، بحيث ترى جميع الأدوات اللاحقة مفردات موحدة ويمكن التنبؤ بها.

التاريخ

الدراسة المنهجية لتطبيع النص للمحتوى الذي ينشئه المستخدمون حفزها صعود تويتر و SMS كمجموعات نصية بحثية في أواخر العقد الأول من القرن الحادي والعشرين. قدم بالدوين ولي (2015) أحد أكثر التحليلات التجريبية شمولاً لتأثير استراتيجيات التطبيع على دقة NLP اللاحقة لنص تويتر، مما وضع معايير اعتمدت عليها الأعمال اللاحقة. بالتوازي، صاغ سبراوت وجايتلي (2017) تطبيع النص كمشكلة تعلم تسلسل إلى تسلسل وأصدرا بيانات تحدي، مما دفع إلى اعتماد الأساليب العصبية. عالجت الأعمال السابقة التطبيع كمهمة تصحيح إملائي أو بحث في القاموس؛ الإطار العصبي وحد تلك الخيوط وفتح الباب لخطوط أنابيب تعلم شاملة.

متى تُستخدم

يجب تطبيق تطبيع النص كلما احتوى النص المصدر على رموز غير قياسية قد يسيء تفسيرها خط أنابيب NLP لاحق: بيانات وسائل التواصل الاجتماعي، ومجموعات SMS النصية، والمستندات التاريخية الرقمية بواسطة OCR، وسجلات الدردشة غير الرسمية هي حالات نموذجية. يجب أن يتحقق افتراضان: يجب تحديد نوع التشويش مسبقًا، ويجب توفير معجم لغة مستهدفة أو نموذج لغوي للشكل القياسي المقصود. إذا كان النص نظيفًا وقياسيًا بالفعل، فإن التطبيع لا يضيف فائدة وقد يتسبب في أخطاء عن طريق التصحيح المفرط للاختيارات الأسلوبية المقصودة.

الحدود والاعتبارات

  • يتطلب معرفة مسبقة بنوع التشويش: قد يكون لمجموعة قواعد أو نموذج مصمم لاختصارات SMS أداء ضعيف مع أخطاء OCR أو العامية الخاصة بالمجال.
  • يجب أن يوجد معجم لغة مستهدفة أو نموذج لغوي للشكل القياسي المقصود؛ قد تفتقر اللغات ذات الموارد المنخفضة إلى هذه الموارد.
  • التطبيع المفرط يمكن أن يدمر التنوع الهادف — قد يتم إعادة كتابة الأسلوب غير الرسمي المقصود، أو تبديل الشفرات، أو الأسماء الصحيحة بشكل غير صحيح.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يرفع جودة NLP اللاحقة بشكل عام — التقطيع، ووسم أجزاء الكلام، والتعرف على الكيانات المسماة، وتحليل المشاعر، كلها تستفيد من مدخلات نظيفة ومتسقة.
  • تنفيذ مرن: جداول البحث البسيطة القائمة على القواعد تعمل بشكل جيد مع التشويش المتوقع، بينما تتعامل نماذج التسلسل إلى التسلسل العصبية مع الأشكال الجديدة أو الغامضة.
  • لا يتطلب افتراضات توزيعية خاصة حول البيانات، مما يجعله قابلاً للتطبيق على مجموعات نصية صغيرة جدًا (بحد أدنى ~10 مستندات).

التطبيقات

  • معالجة مجموعات وسائل التواصل الاجتماعي (تويتر، ريديت، انستغرام) قبل تحليل المشاعر، أو نمذجة الموضوع، أو اكتشاف الأحداث.
  • تنظيف مخرجات OCR من المستندات التاريخية الرقمية قبل استخراج المعلومات.
  • توحيد نص رسائل SMS وسجلات الدردشة للبحث السريري أو الاجتماعي.
  • تحويل مراجعات المستخدمين غير الرسمية إلى نص نظيف قبل تغذيتها إلى مصنف أو ملخص.

كيف يعمل

كيف يعمل

1

يتم توصيف ملف التشويش للمجموعة النصية قبل محاولة أي تصحيح. تشمل أنواع التشويش الشائعة الاختصارات غير الرسمية (مثل 'lol'، 'brb')، والأخطاء الإملائية الصوتية أو القائمة على الأخطاء المطبعية، والاختصارات، والرموز التعبيرية، والهاشتاجات، وعناوين URL، وعناصر OCR. يحدد تحديد أنواع التشويش الموجودة أي قواعد أو نماذج تطبيع سيتم تنشيطها لاحقًا.

2

يتم تقسيم النص إلى رموز فردية — كلمات، علامات ترقيم، رموز تعبيرية، أو وحدات أخرى — باستخدام أداة تقطيع مناسبة لقناة المصدر. على سبيل المثال، تحتفظ أداة تقطيع التغريدات بالهاشتاجات والإشارات كوحدات فردية بدلاً من التقسيم عند الحرف '@' أو '#'. التقطيع الصحيح ضروري لأن التطبيع اللاحق يعمل رمزًا برمز.

3

يتم تعيين كل رمز غير قياسي إلى شكله القانوني. تستخدم الأساليب القائمة على القواعد جداول بحث مصممة يدويًا أو أنماط تعبير عادي؛ تتعلم الأساليب الإحصائية والعصبية (بما في ذلك نماذج التسلسل إلى التسلسل مثل T5 أو BART) التعيين من بيانات التدريب. يعتمد الاختيار على نوع التشويش، والموارد المتاحة، وما إذا كانت أزواج التطبيع المسماة موجودة للمجال المستهدف.

4

تتم مقارنة المخرجات المطبعة مع معجم اللغة المستهدفة أو تقييمها في مهمة لاحقة لقياس تأثير التطبيع. إذا تم تصحيح أنواع معينة من الرموز بشكل خاطئ بشكل منهجي، يتم تعديل القواعد أو أوزان النموذج. هذه الحلقة التغذوية تحمي من التطبيع المفرط — تحويل العامية المقصودة أو الكيانات المسماة إلى أشكال قياسية غير صحيحة.

الأخطاء الشائعة

  • تخطي تحديد نوع التشويش وتطبيق مُطَبِّع عام: كل نوع تشويش يتطلب معالجة مختلفة، لذا فإن مجموعة قواعد واحدة نادرًا ما تتعامل مع جميع الحالات بشكل صحيح.
  • تطبيع الكيانات المسماة مثل أسماء العلامات التجارية، أو الهاشتاجات، أو أسماء المستخدمين: يجب عمومًا الحفاظ عليها أو معالجتها بشكل منفصل، وعدم إجبارها على أشكال القاموس القياسية.
  • معاملة التطبيع على أنه مستقل عن اللغة: التعيين من الشكل غير القياسي إلى الشكل القياسي خاص باللغة، والمُطَبِّع المبني للغة واحدة سيفسد النص في لغة أخرى.
  • التقييم فقط على دقة مستوى الرمز دون التحقق من أداء المهمة اللاحقة: يمكن أن يبدو المُطَبِّع جيدًا في العزلة بينما يضر فعليًا بالمقياس المهم.

الأسئلة الشائعة

هل تطبيع النص هو نفسه التدقيق الإملائي؟

التدقيق الإملائي هو مجموعة فرعية. يغطي التطبيع نطاقًا أوسع من الأشكال غير القياسية — الاختصارات، والعامية، والرموز التعبيرية، والاختصارات، وعناصر OCR — التي لم يتم تصميم مدقق إملائي تقليدي للتعامل معها. يقوم المدقق الإملائي بتمييز 'recieve' كخطأ؛ المُطَبِّع يحول أيضًا 'u' إلى 'you' و 'gr8' إلى 'great'.

هل يجب أن أُطَبِّع قبل أو بعد التقطيع؟

الخطوتان تتفاعلان: يجب تشغيل أداة تقطيع مناسبة للقناة أولاً حتى يتم الحفاظ على الرموز متعددة الأحرف مثل الرموز التعبيرية، والهاشتاجات، أو عناوين URL كوحدات قبل أن يقوم التطبيع بتعيينها. بعض خطوط الأنابيب تتداخل بين الخطوات، ولكن الاتفاق العام هو التقطيع أولاً باستخدام أداة تقطيع مناسبة لقناة المصدر، ثم التطبيع رمزًا برمز.

كيف أختار بين التطبيع القائم على القواعد والعصبي؟

الطرق القائمة على القواعد سريعة وشفافة وفعالة عندما يكون التشويش متوقعًا ويمكن بناء جدول بحث. نماذج التسلسل إلى التسلسل العصبية تعمم بشكل أفضل على الأشكال غير المرئية ولكنها تتطلب أزواج تدريب مسماة ومزيدًا من الحساب. بالنسبة لمعظم مهام معالجة وسائل التواصل الاجتماعي ذات ميزانيات التعليق المحدودة، فإن النهج الهجين — القواعد للأنماط المتكررة، والنموذج العصبي للذيل الطويل — يعمل بشكل أفضل.

هل يضر تطبيع النص بالتعرف على الكيانات المسماة؟

يمكن أن يحدث ذلك، إذا تم إعادة كتابة الكيانات المسماة بشكل غير صحيح. المُطَبِّع الذي يحول الهاشتاج '#AppleEvent' إلى 'apple event' يفقد معلومات حالة الأحرف وحدود الكيان التي يعتمد عليها نموذج NER. أفضل ممارسة هي اكتشاف الكيانات المسماة وإعفائها (أو تشغيل NER أولاً وحماية تلك النطاقات) قبل تطبيق قواعد التطبيع العامة.

طرق ذات صلة

المصادر

  1. Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015.

    افتح مرجع المنشور
    تم النسخ.
  2. Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068.

    افتح مرجع المنشور
    تم النسخ.