الانتقال إلى المحتوى
العودة إلى نتائج البحث

نموذج اللغة من فئة n-gram

النوع
Statistical language model

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

نموذج اللغة من فئة n-gram هو نموذج إحصائي يتنبأ باحتمالية الكلمة التالية بالنظر فقط إلى الكلمات n-1 السابقة. يوفر هذا النموذج، الذي وصفه بالتفصيل جورافسكي ومارتن (Jurafsky and Martin) في كتابهما (معالجة الكلام واللغة)، بنية تحتية أساسية لتوليد النصوص، وتصحيح الأخطاء الإملائية، والتعرف على الكلام.

الفكرة الحدسية وراء الطريقة

اللغة تسلسلية: الكلمات التي رأيتها للتو تقيد بشدة ما يأتي بعد ذلك. بدلاً من التفكير في جملة كاملة دفعة واحدة، يراهن نموذج n-gram على تبسيط الأمر — بأن حفنة الكلمات الأخيرة فقط هي المهمة للتنبؤ بالكلمة التالية. يقوم هذا النموذج بحساب عدد مرات ظهور تسلسلات الكلمات في مجموعة تدريب، ويحول هذه التعدادات إلى احتمالات، بحيث تجعل عبارة مثل 'thank you very' كلمة 'much' استمرارًا محتملاً.

التاريخ

يُعد نهج n-gram حجر الزاوية القديم في معالجة اللغة الطبيعية الإحصائية، ويُعتبر أساسيًا في كتاب جورافسكي ومارتن (Jurafsky and Martin) بعنوان (معالجة الكلام واللغة). لطالما كان التجانس مصدر قلق عملي رئيسي: قارنت الدراسة التجريبية لتشن وجودمان (Chen and Goodman) عام 1999 تقنيات التجانس وأثبتت أن طرقًا مثل Kneser-Ney هي خيارات قوية للتعامل مع التسلسلات غير المرئية. خدمت نماذج n-gram كمعيار قياسي لفترة طويلة قبل أن تصبح نماذج اللغة العصبية مهيمنة.

متى تُستخدم

استخدم نموذج n-gram عندما يكون لديك مجموعة نصية كبيرة بشكل معقول (يقترح المصدر ما لا يقل عن 100 مستند تقريبًا) ومهمة تتمحور حول التنبؤ بتسلسلات الكلمات أو تفسيرها — مثل الإكمال التلقائي، أو تصحيح الأخطاء الإملائية، أو كنموذج لغوي أساسي. يحتاج إلى نص تدريب كافٍ لتقدير تعدادات موثوقة، ويجب تطبيق التجانس للتعامل مع ندرة التسلسلات غير المرئية.

الحدود والاعتبارات

  • يلتقط السياق قصير المدى فقط (الكلمات n-1 السابقة) ولا يمكنه نمذجة التبعيات طويلة المدى.
  • يعاني من ندرة البيانات: معظم تسلسلات الكلمات غير مرئية، لذا فإن التجانس إلزامي.
  • يزداد حجم النموذج والذاكرة بسرعة مع زيادة n، بينما تصبح n-grams ذات الرتب الأعلى نادرة بشكل متزايد.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • بسيط، سريع، وقابل للتفسير — تأتي الاحتمالات مباشرة من التعدادات المرصودة.
  • أساس قوي وشفاف لتوليد النصوص، وتصحيح الأخطاء الإملائية، والتعرف على الكلام.
  • تكلفة حسابية منخفضة مقارنة بنماذج اللغة العصبية، ولا يتطلب أجهزة متخصصة.

التطبيقات

  • توليد النصوص والإكمال التلقائي من توزيع تسلسل الكلمات المتعلم.
  • تصحيح الإملاء والقواعد عن طريق تقييم مدى احتمالية التسلسلات المرشحة.
  • التعرف على الكلام، حيث يقوم نموذج اللغة بترتيب فرضيات النسخ المتنافسة.
  • خطوط أساس خفيفة الوزن لأي مهمة تستفيد من تقدير احتمالات التسلسل.

كيف يعمل

كيف يعمل

1

يتم تقسيم مجموعة التدريب إلى رموز (tokens) ويتم حشو الجمل بحيث يتم نمذجة بدايات ونهايات التسلسلات بشكل صريح. تصبح كل نافذة متداخلة من n رمزًا متتاليًا عبارة عن n-gram واحد، وهو الوحدة التي سيقوم النموذج بحسابها وتسجيلها.

2

يحسب النموذج عدد مرات تكرار كل n-gram وبادئته المكونة من (n-1) كلمة في المجموعة. قسمة عدد n-gram على عدد بادئته يعطي الاحتمال الشرطي للكلمة الأخيرة بالنظر إلى الكلمات n-1 السابقة — وهو التقدير الأساسي للنموذج.

3

نظرًا لأن معظم تسلسلات الكلمات المحتملة لا تظهر أبدًا في أي مجموعة محدودة، فإن التعدادات الخام تعين احتمالية صفرية لـ n-grams غير المرئية (مشكلة الندرة). تعمل طرق التجانس مثل Laplace add-one أو Kneser-Ney على إعادة توزيع كتلة الاحتمال بحيث تحصل التسلسلات غير المرئية ولكن المعقولة على احتمالية صغيرة غير صفرية. هذه الخطوة ضرورية — فبدونها يتعطل النموذج عند التعامل مع نص حقيقي.

4

بالنظر إلى سياق مكون من n-1 كلمة، يُرجع النموذج توزيعًا احتماليًا للكلمة التالية، ومنه يمكن اختيار الاستمرار الأكثر احتمالًا أو يمكن توليد النص. تقوم نفس الآلية بتقييم مدى احتمالية جملة تمت ملاحظتها، وهو ما يدعم تصحيح الأخطاء الإملائية والتعرف على الكلام.

الأخطاء الشائعة

  • تجاهل التجانس يترك n-grams غير المرئية باحتمالية صفرية، مما يؤدي إلى انهيار النموذج عند التعامل مع نص حقيقي وغير مرئي.
  • التدريب على مجموعة صغيرة جدًا (أقل من 100 مستند تقريبًا) ينتج عنه تعدادات غير موثوقة.
  • اختيار n كبير جدًا يجعل التعدادات نادرة والنموذج هشًا؛ اختيار n صغير جدًا يفقد السياق المفيد.
  • الفشل في حشو حدود الجمل يتعامل بشكل خاطئ مع بداية ونهاية التسلسلات.

الأسئلة الشائعة

ماذا تعني 'n' في n-gram؟

إنه عدد الكلمات المتتالية التي يتم النظر فيها معًا. يقوم الثنائي (bigram) (n=2) بتكييف الكلمة التالية بناءً على الكلمة السابقة الوحيدة، والثلاثي (trigram) (n=3) بناءً على الكلمتين السابقتين. يلتقط n الأكبر سياقًا أكثر ولكنه يحتاج إلى بيانات تدريب أكثر بكثير ويصبح نادرًا.

لماذا التجانس ضروري؟

لا يمكن أن تحتوي مجموعة محدودة أبدًا على كل تسلسل كلمات معقول، لذا فإن العديد من n-grams الصالحة لها عدد صفر وستحصل على احتمالية صفرية. تعمل طرق التجانس مثل Laplace add-one أو Kneser-Ney على إعادة تعيين احتمالية صغيرة للتسلسلات غير المرئية حتى لا يتعطل النموذج عند التعامل مع نص جديد.

كم أحتاج من بيانات التدريب؟

يقترح المصدر ما لا يقل عن 100 مستند كحد أدنى. المزيد من النصوص يعطي تعدادات أكثر موثوقية؛ وتحتاج n-grams ذات الرتب الأعلى بشكل خاص إلى بيانات أكثر بكثير لتجنب الندرة.

كيف يختلف نموذج n-gram عن نموذج اللغة العصبي؟

يقدر نموذج n-gram احتمالات الكلمة التالية مباشرة من التعدادات على نافذة ثابتة من الكلمات السابقة، مما يجعله بسيطًا وسريعًا وقابلًا للتفسير. تتعلم النماذج العصبية تمثيلات موزعة وتلتقط سياقًا أطول، بتكلفة حسابية أعلى. تظل n-grams أساسًا شفافًا مفيدًا.

طرق ذات صلة

المصادر

  1. Jurafsky, D. & Martin, J.H. (2023). Speech and Language Processing, 3rd ed.

    افتح مرجع المنشور
    تم النسخ.
  2. Chen, S.F. & Goodman, J. (1999). An Empirical Study of Smoothing Techniques for Language Modeling. Computer Speech & Language, 13(4), 359-394.

    افتح مرجع DOI
    تم النسخ.