تحليل صرفي — التجذيع والاشتقاق المعجمي
- قدّمه
- M.F. Porter (Porter stemmer)
- السنة
- 1980
- النوع
- Text-normalisation preprocessing task
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يقوم التحليل الصرفي بتقسيم الكلمات إلى جذورها ولواصقها بحيث يمكن معاملة الأشكال السطحية المختلفة للكلمة نفسها على أنها كلمة واحدة. ويشمل نهجين متكاملين — التجذيع القائم على القواعد، مثل خوارزميات بورتر (1980) وسنو بول، والاشتقاق المعجمي المدرك للقواميس — وهو خطوة حاسمة في تطبيع النص للغات الإلصاقية مثل التركية والعربية.
الفكرة الحدسية وراء الطريقة
يعرف القارئ أن 'running' و 'runs' و 'ran' كلها تشير إلى الفعل 'run'، ولكن بالنسبة للآلة، هذه ثلاث سلاسل نصية غير مترابطة. يقوم التحليل الصرفي بتجريد النهايات النحوية من الكلمة لاستعادة الشكل الأساسي، بحيث تنهار الطرق العديدة التي يمكن أن تظهر بها الكلمة في رمز واحد. التجذيع يقطع اللواحق بالقاعدة؛ والاشتقاق المعجمي يبحث عن الكلمة لإرجاع شكلها القاموسي الحقيقي. في كلتا الحالتين، الهدف هو التوقف عن عد مفهوم واحد كعدة كلمات مختلفة.
التاريخ
تم تعميم التجذيع القائم على القواعد بواسطة خوارزمية بورتر (1980) لقطع اللواحق، والتي لا تزال نقطة مرجعية وتطورت لاحقًا إلى عائلة سنو بول من المجذعات. تبع ذلك التحليل الصرفي الاحتمالي والمبني على النماذج، مع توضيح قرار شميد (1994) باستخدام شجرة القرار لتصنيف أجزاء الكلام للانتقال نحو الأساليب الإحصائية التي تُعلم الاشتقاق المعجمي الحديث.
متى تُستخدم
استخدم التحليل الصرفي كخطوة تطبيع كلما كان لديك نص مقسم إلى رموز وقواعد صرفية أو نموذج للغته. إنه ذو قيمة خاصة للغات الإلصاقية مثل التركية والعربية، حيث يولد جذر واحد أشكالًا سطحية متعددة. يتطلب أن يكون النص مقسمًا إلى رموز أولاً ومورد صرفي للغة المستهدفة؛ بدونه لا يمكن تشغيله بشكل موثوق.
الحدود والاعتبارات
- يتطلب وجود قواعد صرفية أو نموذج للغة المستهدفة بالفعل.
- يجب تقسيم النص إلى رموز قبل بدء التحليل.
- يمكن أن يؤدي التجذيع القائم على القواعد إلى التجذيع المفرط (دمج كلمات غير مترابطة) أو التجذيع الناقص (فقدان أشكال صالحة).
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يجمع الأشكال المتصرفة للكلمة في شكل واحد، مما يقلل من المفردات للتحليل اللاحق.
- يقدم طيفًا من التجذيع السريع القائم على القواعد (بورتر، سنو بول) إلى الاشتقاق المعجمي الدقيق القاموسي.
- قوي بشكل خاص للغات الإلصاقية مثل التركية والعربية، حيث تشترك أشكال عديدة في جذر واحد.
التطبيقات
- تطبيع النص قبل الفهرسة أو البحث أو استرجاع المعلومات.
- تقليل حجم المفردات قبل التصنيف النصي أو نمذجة الموضوعات.
- المعالجة المسبقة للمتون النصية للغات الإلصاقية (التركية، العربية) حيث تتضاعف الأشكال السطحية.
- تنظيف وتوحيد ميزات النص لخطوط أنابيب تعدين النصوص اللاحقة.
كيف يعمل
كيف يعمل
يتم أولاً تقسيم النص إلى رموز كلمات فردية. يعمل التحليل الصرفي على الكلمات، لذا يجب أن يكون المتن النصي قد تم تقسيمه إلى رموز قبل استخراج أي جذور أو أصول معجمية؛ وهذا شرط مسبق مذكور للطريقة.
يتم فحص كل رمز مقابل صرفيات اللغة المستهدفة لفصل الجذر عن لواصقه (بادئات، لاحقات، تصريفات). تتطلب هذه الخطوة وجود قواعد صرفية أو نموذج للغة المعنية، وهو ما يهم أكثر في اللغات الغنية بالتصريفات والإلصاقية.
يتم اختزال الكلمة إلى شكل معياري. نهج التجذيع (بورتر، سنو بول) يقطع اللواحق بالقاعدة لإنتاج جذر قد لا يكون كلمة حقيقية، بينما يعيد نهج الاشتقاق المعجمي الأصل المعجمي الفعلي، مع الاسترشاد اختياريًا بجزء الكلام للكلمة.
تتم إعادة كتابة الأشكال المختزلة في المتن النصي بحيث ترتبط الأشكال السطحية المتغيرة برمز واحد. هذا التطبيع يقلل من المفردات ويتيح لخطوات تعدين النصوص اللاحقة معاملة الأشكال المتصرفة للكلمة على أنها نفس الميزة.
الأخطاء الشائعة
- يمكن أن ينتج التجذيع جذورًا ليست كلمات حقيقية؛ لا تعامل الجذر كشكل قاموسي عندما تكون هناك حاجة إلى أصل معجمي حقيقي.
- تطبيق مجذّع إنجليزي على نص بلغة أخرى يعطي نتائج لا معنى لها — يجب أن يتطابق المورد الصرفي مع لغة المتن النصي.
- تخطي تقسيم النص إلى رموز يغذي رموزًا مشوهة للمحلل ويفسد المخرجات.
- التجذيع المفرط يدمج كلمات متميزة في جذر واحد والتجذيع الناقص يترك الأشكال المتغيرة منفصلة؛ اختر بين التجذيع والاشتقاق المعجمي لتناسب مدى دقة مهمتك اللاحقة.
الأسئلة الشائعة
ما الفرق بين التجذيع والاشتقاق المعجمي؟
التجذيع يقطع اللواحق بالقاعدة (كما في خوارزميات بورتر أو سنو بول) لإنتاج جذر قد لا يكون كلمة حقيقية، وهو سريع. الاشتقاق المعجمي يبحث عن الكلمة — غالبًا باستخدام جزء الكلام الخاص بها — لإرجاع الأصل المعجمي الفعلي، وهو أكثر دقة ولكنه أثقل.
لماذا يهم هذا أكثر للغات مثل التركية والعربية؟
هذه لغات إلصاقية حيث يمكن لجذر واحد أن يأخذ العديد من اللواحق وينتج عددًا كبيرًا من الأشكال السطحية. يقوم التحليل الصرفي بدمج هذه الأشكال مرة أخرى إلى الجذر، وهو أمر ضروري لتطبيع النص في مثل هذه اللغات.
هل أحتاج إلى تقسيم النص إلى رموز أولاً؟
نعم. يعمل التحليل الصرفي على كلمات فردية، لذا يجب أن يكون المتن النصي قد تم تقسيمه إلى رموز بالفعل. تقسيم النص إلى رموز هو شرط مسبق مذكور للطريقة.
ماذا يحدث خطأ إذا لم يتطابق المورد الصرفي مع اللغة؟
تصبح المخرجات بلا معنى. يجب بناء القواعد أو النموذج للغة المستهدفة؛ تطبيق، على سبيل المثال، مجذّع إنجليزي على نص غير إنجليزي ينتج جذورًا غير صحيحة.
طرق ذات صلة
المصادر
Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.
افتح مرجع DOIتم النسخ.Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).
افتح مرجع المنشورتم النسخ.