الانتقال إلى المحتوى
العودة إلى نتائج البحث

التصنيف الصفري (Zero-Shot Classification) — تصنيف النصوص دون بيانات تدريب

قدّمه
Yin, Hay & Roth
السنة
2019
النوع
NLP text-classification task

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التصنيف الصفري هو مهمة في معالجة اللغات الطبيعية تُسند النص إلى فئات موصوفة بلغة واضحة دون الحاجة إلى أي بيانات تدريب مُعنونة. بصيغته كمشكلة استلزام (entailment problem) بواسطة Yin و Hay و Roth (2019)، فإنه يسمح لنموذج لغوي كبير مُدرب مسبقًا بالتعرف على فئات جديدة فورًا بمجرد تسميتها، مما يتيح التكيف السريع مع مجموعات تسميات جديدة.

الفكرة الحدسية وراء الطريقة

عادةً ما يحتاج المصنف إلى رؤية العديد من الأمثلة المُعنونة لكل فئة قبل أن يتمكن من التعرف عليها. يتجاوز التصنيف الصفري هذه الخطوة: أنت تُقدم أسماء الفئات ككلمات عادية — على سبيل المثال السياسة، الرياضة، العلوم — ويقوم نموذج لغوي كبير مُدرب مسبقًا يفهم اللغة بالفعل بتقييم مدى ملاءمة كل تسمية مرشحة للنص. نظرًا لأن النموذج يجلب معرفته الواسعة باللغة، يمكنك إضافة أو تغيير الفئات فورًا دون جمع وتسمية بيانات تدريب جديدة.

التاريخ

تم قياس التصنيف النصي الصفري بشكل منهجي وتأطيره كمشكلة استلزام نصي بواسطة Yin و Hay و Roth (2019)، الذين أظهروا أن نموذجًا مُدربًا على الاستدلال اللغوي الطبيعي يمكنه تصنيف النص إلى فئات غير مرئية عن طريق معاملة كل تسمية كفرضية. تم تعميم القدرة الأوسع لنماذج اللغة الكبيرة على أداء مهام لم يتم تدريبها عليها صراحةً بواسطة Brown وآخرون (2020) في عمل التعلم قليل اللقطات (few-shot learning) على GPT-3.

متى تُستخدم

يناسب التصنيف الصفري عندما يكون لديك نص لتصنيفه ولكن لا توجد بيانات تدريب مُعنونة، وعندما قد تتغير الفئات أو تنمو بمرور الوقت. يتطلب نموذجًا لغويًا كبيرًا مُدربًا مسبقًا (مثل نماذج الاستلزام المستندة إلى BART أو RoBERTa) وتسميات مرشحة مُعرفة بوضوح وغير متداخلة. إنه مناسب تمامًا للنماذج الأولية السريعة وللإعدادات التي يكون فيها جمع أمثلة مُعنونة لكل فئة غير عملي.

الحدود والاعتبارات

  • يعتمد على نموذج لغوي كبير مُدرب مسبقًا (BART، RoBERTa)، مما يحمل تكلفة حسابية.
  • تعتمد الدقة على مدى وضوح وتداخل التسميات المرشحة.
  • بدون تدريب خاص بالمهمة، يمكن أن يتفوق عليه مصنف مُشرف عندما تكون بيانات مُعنونة وفيرة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • لا يتطلب بيانات تدريب مُعنونة — تُوصف الفئات بلغة واضحة.
  • يتكيف بسرعة مع الفئات الجديدة: إضافة فئة يعني فقط إضافة اسمها إلى قائمة التسميات المرشحة.
  • يستفيد من المعرفة اللغوية الواسعة الملتقطة بالفعل في نموذج مُدرب مسبقًا.

التطبيقات

  • تصنيف المستندات إلى مجموعات تسميات تتغير بشكل متكرر دون إعادة تدريب.
  • النماذج الأولية السريعة لمهام التصنيف قبل جمع أي بيانات مُعنونة.
  • توجيه أو وسم النصوص الواردة (مواضيع، نوايا) باستخدام أسماء الفئات فقط.
  • استكشاف الفئات الناشئة في مجموعات النصوص البحثية والتشغيلية.

كيف يعمل

كيف يعمل

1

تصف فئات الهدف كتسميات مرشحة بلغة طبيعية — عبارات قصيرة يمكن للنموذج قراءتها مباشرة. يجب أن تكون هذه التسميات واضحة وغير متداخلة، لأن النموذج يقارن النص بكل تسمية كما هي مكتوبة؛ التسميات الغامضة أو المتداخلة تُربك القرار.

2

يتم تغذية النص والتسميات المرشحة إلى نموذج لغوي كبير مُدرب مسبقًا مثل BART أو RoBERTa. لا يتم إجراء أي تدريب على بياناتك الخاصة — يستخدم النموذج المعرفة اللغوية التي اكتسبها أثناء التدريب المسبق لتمثيل كل من المستند وكل تسمية مرشحة.

3

يقوم النموذج بتقييم مدى دعم كل تسمية مرشحة بقوة من قبل النص، مُؤطرًا المهمة كاستدلال لغوي طبيعي: هل يستلزم النص الفرضية بأنه ينتمي إلى هذه التسمية؟ تحصل كل تسمية على درجة توافق من النموذج المُدرب مسبقًا.

4

تُسند التسمية ذات أعلى درجة إلى النص (أو مجموعة مُرتبة من التسميات لإعدادات الملصقات المتعددة). نظرًا لأن التقييم يعتمد كليًا على النموذج المُدرب مسبقًا، فإن إضافة فئة جديدة بسيطة مثل إضافة اسمها إلى قائمة المرشحين.

الأخطاء الشائعة

  • التسميات المرشحة الغامضة أو المتداخلة تُربك قرارات النموذج؛ عرّف كل تسمية بوضوح وحافظ على تداخلها.
  • توقع أن تتطابق دقة التصنيف الصفري مع مصنف مُشرف بالكامل عندما تكون هناك بيانات مُعنونة وفيرة — في هذه الحالة، قم بتدريب نموذج مُشرف بدلاً من ذلك.
  • استخدام نموذج صغير أو عام بدلاً من نموذج استدلال كبير يُضعف النتائج.
  • صياغة التسميات بلغة لا يتعامل معها النموذج المُدرب مسبقًا بشكل جيد تُقلل من الموثوقية.

الأسئلة الشائعة

هل يحتاج التصنيف الصفري إلى أي بيانات تدريب؟

لا. هذه هي ميزته المميزة: أنت تصف الفئات كتسميات مرشحة بلغة طبيعية ويقوم نموذج كبير مُدرب مسبقًا بتقييم الملاءمة، لذلك لا يلزم وجود أمثلة مُعنونة.

على أي نموذج يعتمد؟

يعتمد على نموذج لغوي كبير مُدرب مسبقًا، عادةً نموذج مُدرب على الاستدلال مثل BART أو RoBERTa. تعتمد جودة النتيجة بشكل كبير على استخدام نموذج مُدرب مسبقًا قادر بدلاً من نموذج عام صغير.

كيف يجب أن أكتب التسميات المرشحة؟

عرّفها بوضوح وحافظ على تداخلها. يقارن النموذج النص بكل تسمية كما هي مكتوبة، لذلك فإن التسميات الغامضة أو المتداخلة تُربك القرار وتُقلل من الدقة.

هل هو دقيق مثل المصنف المُشرف؟

ليس بالضرورة. عندما يكون لديك بيانات مُعنونة وفيرة، يمكن لمصنف مُشرف مُدرب على تلك البيانات أن يتفوق على التصنيف الصفري. يتألق التصنيف الصفري عندما تكون البيانات المُعنونة نادرة أو تتغير مجموعة الفئات باستمرار.

طرق ذات صلة

المصادر

  1. Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.

    افتح مرجع DOI
    تم النسخ.
  2. Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.

    افتح مرجع المنشور
    تم النسخ.