تصنيف النصوص — تصنيف الفئات النصية
- النوع
- Supervised NLP classification task
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تصنيف النصوص، ويُطلق عليه أيضًا تصنيف الفئات النصية، هو مهمة معالجة لغوية طبيعية خاضعة للإشراف تقوم تلقائيًا بتعيين المستندات إلى فئات محددة مسبقًا. بالاستناد إلى منهجية آلة المتجهات الداعمة (support-vector-machine) لتصنيف النصوص التي أسسها يواكيمس (Joachims) عام 1998 وعززها أجاروال وزاي (Aggarwal and Zhai) عام 2012 في أدبيات التنقيب في النصوص، فإنها تدعم مهام مثل اكتشاف الرسائل غير المرغوبة (spam detection) وتصنيف المواضيع من خلال التعلم من الأمثلة المصنفة.
الفكرة الحدسية وراء الطريقة
عندما يكون لديك العديد من المستندات التي ينتمي كل منها إلى مجموعة ثابتة من الفئات، فإن فرزها يدويًا لا يكون عمليًا. يتعلم تصنيف النصوص الأنماط التي تفصل فئة عن أخرى من مجموعة من الأمثلة المصنفة مسبقًا، ثم يطبق تلك الأنماط لتصنيف المستندات الجديدة غير المرئية تلقائيًا — تمامًا مثل تعليم فارز عن طريق إظهار أكوام مفروزة مسبقًا والسماح له بفرز البقية.
التاريخ
أصبح تصنيف النصوص مشكلة معيارية في التعلم الآلي من خلال يواكيمس (Joachims) عام 1998، الذي أظهر أن آلات المتجهات الداعمة تتعامل جيدًا مع العديد من الميزات ذات الصلة بتصنيف النصوص. عزز أجاروال وزاي (Aggarwal and Zhai) لاحقًا هذا المجال ضمن أدبيات التنقيب في النصوص الأوسع، وتظل هذه المهمة لبنة أساسية في معالجة اللغة الطبيعية التطبيقية.
متى تُستخدم
استخدم تصنيف النصوص عندما يكون لديك بيانات نصية مصنفة إلى فئات محددة مسبقًا ومجموعة تدريب مصنفة للتعلم منها. يتطلب ما لا يقل عن 100 مستند مصنف تقريبًا، ويُفضل توزيع متوازن للفئات حتى يتمكن المصنف من تعلم كل فئة. مع أقل من حوالي 100 مستند، يميل المصنف إلى الإفراط في التخصيص (overfit)، لذا فإن النهج الصفري (zero-shot) أكثر أمانًا؛ ومع عدم وجود بيانات نصية على الإطلاق، لا يمكن تشغيل الطريقة ويكون التصنيف العام على المتغيرات الفئوية هو البديل.
الحدود والاعتبارات
- يتطلب بيانات تدريب مصنفة، والتي قد تكون مكلفة في الإنتاج.
- يُفضل توزيع متوازن للفئات؛ فالفئات المنحرفة تجعل بعض الفئات صعبة التعلم.
- يحتاج إلى مجموعة نصوص ذات حجم معقول (حوالي 100 مستند أو أكثر) لتجنب الإفراط في التخصيص.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- أتمتة تصنيف مجموعات المستندات الكبيرة التي سيكون فرزها يدويًا غير عملي.
- يتكيف مع العديد من المهام — اكتشاف الرسائل غير المرغوبة، وتصنيف المواضيع، ومشاكل التصنيف المماثلة — من خلال نفس مسار العمل الخاضع للإشراف.
- يتعلم الأنماط الخاصة بالمجال مباشرة من الأمثلة المصنفة بدلاً من الاعتماد على قواعد ثابتة.
التطبيقات
- اكتشاف الرسائل غير المرغوبة — فصل الرسائل غير المرغوبة عن الرسائل المشروعة.
- تصنيف المواضيع — توجيه المستندات أو المقالات إلى فئات موضوعية.
- تنظيم وفرز مجموعات المستندات الكبيرة حسب الفئة.
- مهام التنبؤ والتصنيف عبر مجموعات النصوص في مجالات الصحة، والعلوم الاجتماعية، والتعليم، والهندسة، والعلوم الطبيعية، والأعمال.
كيف يعمل
كيف يعمل
ابدأ من مجموعة من المستندات حيث يحمل كل مثال بالفعل إحدى تسميات الفئات المحددة مسبقًا. تُعد بيانات التدريب المصنفة هذه أساس المهمة الخاضعة للإشراف؛ وكلما كان توزيع الفئات أكثر توازنًا، زادت موثوقية تعلم المصنف لكل فئة.
يتم تنظيف النص الخام وتوحيده بحيث تصبح المستندات قابلة للمقارنة: تتم إزالة الضوضاء ويتم تطبيع المحتوى وتقسيمه إلى وحدات قابلة للتحليل. تخطي هذه الخطوة يؤدي إلى تدهور كل ما يليها بسبب الرموز المشوشة.
يتم تحويل النص المنظف إلى ميزات رقمية يمكن للمصنف قراءتها — على سبيل المثال، تمثيلات تكرار المصطلحات التي تلتقط الكلمات التي تميز الفئات. هذا يحول الكلمات إلى أرقام تعمل عليها خوارزمية التعلم.
يتم تدريب مصنف خاضع للإشراف على بيانات التدريب المصنفة والمُحوَّلة إلى متجهات، ليتعلم الارتباط بين ميزات النص وتسميات الفئات بحيث يمكنه تعيين تسمية لكل مستند جديد.
يتم تقييم النموذج المدرب على بيانات مصنفة محتجزة ويتم فحص أخطاء التصنيف قبل النشر. نظرًا لأن الفئات غير المتوازنة تجعل الدقة الخام مضللة، يتم الحكم على الأداء بناءً على الفئات التي يهدف النموذج إلى فصلها.
الأخطاء الشائعة
- التدريب على عدد قليل جدًا من المستندات (أقل من حوالي 100) يسبب الإفراط في التخصيص على مجموعة التدريب الصغيرة؛ يُفضل بدلاً من ذلك نهج التصنيف الصفري.
- تخطي المعالجة المسبقة للنصوص يسمح للرموز المشوشة بتدهور الميزات والنموذج.
- الفئات غير المتوازنة تجعل الدقة العادية مضللة؛ افحص الأداء لكل فئة بدلاً من الثقة في رقم دقة واحد.
- تطبيق الطريقة عندما لا توجد بيانات نصية على الإطلاق — العودة إلى التصنيف العام على المتغيرات الفئوية.
الأسئلة الشائعة
كم أحتاج من البيانات المصنفة؟
خطط لما لا يقل عن 100 مستند مصنف تقريبًا. أقل من ذلك، يميل المصنف إلى الإفراط في التخصيص على مجموعة التدريب الصغيرة، لذا فإن نهج التصنيف الصفري هو الخيار الأكثر أمانًا.
هل توازن الفئات مهم؟
نعم. يُفضل توزيع متوازن للفئات حتى يتمكن المصنف من تعلم كل فئة بشكل موثوق. مع الفئات المنحرفة، قم بتقييم الأداء لكل فئة بدلاً من الاعتماد على الدقة الكلية.
ماذا لو لم يكن لدي بيانات نصية؟
لا يمكن لتصنيف النصوص أن يعمل بدون نص. إذا كانت متغيراتك فئوية بدلاً من ذلك، فاستخدم طرق التصنيف العامة على تلك البيانات المنظمة.
كيف يختلف عن تجميع المستندات؟
تصنيف النصوص خاضع للإشراف: يقوم بتعيين المستندات إلى فئات محددة مسبقًا تم تعلمها من أمثلة مصنفة. تجميع المستندات غير خاضع للإشراف ويقوم بتجميع المستندات المتشابهة بدون تسميات محددة مسبقًا.
طرق ذات صلة
المصادر
Joachims, T. (1998). Text Categorization with Support Vector Machines: Learning with Many Relevant Features. ECML 1998. Lecture Notes in Computer Science, vol 1398. Springer.
افتح مرجع DOIتم النسخ.Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.
ردمك: 978-1-4614-3222-7تم النسخ.