تحديد اللغة (LID)
- النوع
- NLP text-classification task
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تحديد اللغة هو مهمة معالجة لغة طبيعية تكتشف تلقائيًا اللغة التي كُتب بها نص معين. بالاعتماد على أدوات جاهزة مثل langid.py (Lui & Baldwin, 2012) والمصنفات الفعالة لـ Joulin et al. (2017)، يُستخدم على نطاق واسع لمعالجة مجموعات البيانات متعددة اللغات وتصفيتها مسبقًا.
الفكرة الحدسية وراء الطريقة
تترك اللغات المختلفة بصمات مميزة في أنماط حروفها وكلماتها: تختلف تسلسلات الأحرف التي تظهر في التركية عن تلك الموجودة في الإنجليزية أو اليابانية. بدلاً من الحاجة إلى شخص لقراءة كل مستند والتعرف عليه، يتعلم تحديد اللغة هذه الأنماط الإحصائية ويخصص لكل نص تسمية لغة، بحيث يمكن فرز مجموعة متعددة اللغات حسب اللغة تلقائيًا.
التاريخ
نضج تحديد اللغة التلقائي إلى أدوات موثوقة وجاهزة للاستخدام مع langid.py (Lui & Baldwin, 2012)، وهي أداة مستقلة تغطي العديد من اللغات. ثم أظهر Joulin et al. (2017) أن نماذج تصنيف النصوص البسيطة والفعالة يمكن أن تؤدي المهمة على نطاق واسع جدًا، وهو نهج تم تعميمه من خلال نماذج تحديد اللغة fastText.
متى تُستخدم
استخدم تحديد اللغة عندما يكون لديك بيانات نصية بلغة غير معروفة أو مختلطة وتحتاج إلى فرزها أو تصفيتها حسب اللغة قبل التحليل الإضافي. يجب أن يكون كل مستند طويلاً بما فيه الكفاية - حوالي 20 حرفًا على الأقل - لحمل إشارة موثوقة. يناسب المجموعات النصية متعددة اللغات التي يجب تنظيفها أو توجيهها حسب اللغة؛ إذا كان كل النص الخاص بك معروفًا بأنه بلغة واحدة بالفعل، فإن هذه الخطوة غير ضرورية.
الحدود والاعتبارات
- النصوص القصيرة جدًا تحمل إشارة قليلة جدًا؛ المستندات الأقصر من حوالي 20 حرفًا غير موثوقة.
- التبديل اللغوي - خلط لغتين داخل مستند واحد - صعب حقًا تسميته بشكل صحيح.
- قد ينخفض الدقة على اللغات ذات الموارد المنخفضة وعلى النص الذي يخلط بين النصوص.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تجعل الأدوات الجاهزة النشر سريعًا بدون بيانات مُصنَّفة خاصة بك.
- يحول مجموعة غير مرتبة متعددة اللغات إلى مجموعات فرعية نظيفة ومُصنَّفة حسب اللغة جاهزة للمعالجة اللاحقة.
- طريقة تمهيدية ذات صعوبة منخفضة تتوسع لتشمل المجموعات النصية الكبيرة.
التطبيقات
- معالجة مجموعات البيانات متعددة اللغات عن طريق وضع علامة على كل مستند بلغته.
- تصفية مجموعة نصية للاحتفاظ فقط بالمستندات باللغة المستهدفة قبل التحليل الإضافي.
- توجيه النص الوارد إلى خطوط أنابيب خاصة باللغة في أبحاث العلوم الاجتماعية والإنسانية والأعمال.
- تنظيف المجموعات المجمعة من الويب والتي تخلط بين العديد من اللغات.
كيف يعمل
كيف يعمل
يتم جمع النص المراد تحليله والتحقق من طوله القابل للاستخدام. الشظايا القصيرة جدًا تحمل إشارة قليلة جدًا، لذا يجب أن يكون كل مستند حوالي 20 حرفًا على الأقل قبل أن يمكن تسميته بشكل موثوق.
يتم تحويل كل مستند إلى الإشارة الإحصائية التي تميز لغة عن أخرى - عادةً أنماط n-gram للحروف التي تلتقط كيف تميل الحروف إلى متابعة بعضها البعض في لغة معينة. هذه هي الأنماط التي يقرأها المصنف.
يقوم نموذج مُدرَّب بتعيين تسمية اللغة الأكثر احتمالاً لكل مستند، بالاعتماد على أدوات مبنية لهذه المهمة مثل langid.py أو المصنفات من نوع fastText. الناتج هو لغة متوقعة لكل نص.
تُستخدم التسميات المتوقعة لاحقًا: يتم فرز مجموعة متعددة اللغات حسب اللغة، ويتم تصفية المستندات باللغات غير المرغوب فيها قبل معالجة النص الإضافية. هذا هو المكان الذي يكتسب فيه تحديد اللغة مكانه كخطوة معالجة مسبقة.
الأخطاء الشائعة
- تشغيله على مقتطفات قصيرة جدًا والثقة بالتسمية على أي حال - فرض حد أدنى للطول أولاً.
- افتراض تسمية واحدة لكل مستند عندما يكون النص مختلطًا بين لغتين؛ ستكون التسمية المتوقعة الواحدة مضللة.
- معاملة اللغة المتوقعة على أنها حقيقة واقعة دون فحص، خاصة بالنسبة للغات المتقاربة جدًا.
الأسئلة الشائعة
ما مقدار النص الذي يحتاجه تحديد اللغة؟
يجب أن يكون كل مستند حوالي 20 حرفًا على الأقل. الشظايا الأقصر تحمل إشارة إحصائية قليلة جدًا وتصبح اللغة المتوقعة غير موثوقة.
ماذا يحدث مع النص الذي يخلط بين لغتين؟
التبديل اللغوي هو صعوبة معروفة: عندما يظهر لغتان في مستند واحد، فإن الأداة التي تُرجع تسمية واحدة لا يمكنها تمثيل كليهما، وغالبًا ما تكون النتيجة مضللة. قم بتقسيم أو تمييز هذه النصوص بدلاً من الثقة بتسمية واحدة.
هل أحتاج إلى بيانات تدريب مُصنَّفة؟
عادة لا. الأدوات الجاهزة مثل langid.py والمصنفات من نوع fastText تأتي مُدربة مسبقًا على العديد من اللغات، لذا يمكنك اكتشاف اللغة دون إعداد مجموعتك المُصنَّفة الخاصة.
لماذا تحديد اللغة قبل تحليل النص الآخر؟
تفترض معظم الطرق اللاحقة - المُقطِّعات، والقواميس، ونماذج اللغة - لغة واحدة معروفة. تحديد اللغة والتصفية حسب اللغة أولاً يحافظ على صحة هذا الافتراض ويمنع تطبيق الأدوات المبنية للغة واحدة على لغة أخرى.
طرق ذات صلة
المصادر
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
افتح مرجع المنشورتم النسخ.Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
افتح مرجع المنشورتم النسخ.