تصنيف النصوص قليل الأمثلة
- النوع
- NLP text-classification task (low-resource)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يُعيّن تصنيف النصوص قليل الأمثلة المستندات إلى فئات باستخدام عدد قليل فقط من الأمثلة المُعنونة لكل فئة. بالبناء على التطورات التي أجراها Gao وآخرون (2021) ونهج SetFit الخالي من المطالبات لـ Tunstall وآخرون (2022)، فإنه يعتمد على الشبكات النموذجية (prototypical networks) أو MAML أو الضبط الدقيق لنموذج مُدرب مسبقًا كبير ليتعلم من تسميات نادرة.
الفكرة الحدسية وراء الطريقة
تحتاج معظم المصنفات إلى مجموعة تدريب كبيرة مُعنونة، ولكن تسمية النصوص مكلفة وفي بعض الأحيان توجد أمثلة قليلة فقط لكل فئة. يعمل تصنيف النصوص قليل الأمثلة على تجاوز ذلك بالبدء بنموذج يفهم اللغة بالفعل - نموذج مُدرب مسبقًا كبير - وتوجيهه نحو فئاتك ببضعة أمثلة فقط لكل منها. بدلاً من تعلم كل فئة من الصفر، فإنه يقارن المستندات الجديدة بمجموعة صغيرة من النماذج الأولية المُعنونة أو يُكيّف النموذج المُدرب مسبقًا بشكل طفيف بحيث يمكن حتى لمثال واحد لكل فئة توجيه القرار.
التاريخ
نشأ تصنيف النصوص قليل الأمثلة من أبحاث التعلم قليل الأمثلة والتعلم التلوي (meta-learning) المُكيّفة مع اللغة. أظهر Gao وآخرون (2021) كيفية جعل نماذج اللغة المُدربة مسبقًا متعلمين أفضل قليل الأمثلة، وقدم Tunstall وآخرون (2022) SetFit للتعلم قليل الأمثلة بكفاءة بدون مطالبات، مما يجعل النهج عمليًا مع مجموعات مُعنونة صغيرة وأعمدة فقارية مُدربة مسبقًا قوية.
متى تُستخدم
استخدم تصنيف النصوص قليل الأمثلة عندما يكون لديك نصوص لتصنيفها ولكن لديك أمثلة مُعنونة قليلة فقط لكل فئة - أقل بكثير مما يحتاجه المصنف الإشرافي التقليدي. يفترض وجود مثال واحد على الأقل لكل فئة ويعمل بشكل أفضل عندما يكون هناك نموذج مُدرب مسبقًا كبير متاح لتوفير المعرفة المفقودة. مع وفرة البيانات المُعنونة، يكون المصنف الإشرافي التقليدي للنصوص هو الخيار الأبسط.
الحدود والاعتبارات
- يحتاج إلى مثال مُعنون واحد على الأقل لكل فئة؛ لا يمكن التنبؤ بالفئات غير المرئية تمامًا.
- تعتمد الجودة بشكل كبير على العمود الفقري المُدرب مسبقًا - نموذج ضعيف أو غير متطابق يحد من الأداء.
- مع أمثلة قليلة جدًا، يمكن أن تكون التنبؤات غير مستقرة وحساسة للأمثلة التي تم اختيارها.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يتعلم من أمثلة مُعنونة قليلة جدًا - حتى مثال واحد لكل فئة - حيث تفشل المصنفات الإشرافية التقليدية.
- يعيد استخدام المعرفة اللغوية الواسعة داخل نموذج مُدرب مسبقًا كبير، لذا هناك حاجة إلى القليل من البيانات الخاصة بالمهمة.
- مرن عبر الاستراتيجيات: الشبكات النموذجية، MAML، أو الضبط الدقيق الخفيف الوزن كلها تناسب نفس خط الأنابيب.
التطبيقات
- تصنيف النصوص عندما تكون التسمية مكلفة وهناك أمثلة قليلة فقط لكل فئة متاحة.
- تمهيد مصنف لمجال جديد أو مجموعة تسميات قبل إجراء التسمية على نطاق واسع.
- النماذج الأولية السريعة لتصنيف النصوص في بيئات البحث والتشغيل مع تسميات نادرة.
- توسيع مخطط موجود بفئات جديدة مُعنونة بشكل متناثر.
كيف يعمل
كيف يعمل
تقوم بتجميع مجموعة مُعنونة صغيرة تحتوي على مثال واحد على الأقل لكل فئة - وأحيانًا بضعة أمثلة فقط لكل فئة. هذه هي مجموعة الدعم التي يتعلم منها النهج؛ كلما كانت أصغر، زاد اعتماد النهج على المعرفة الموجودة بالفعل داخل النموذج المُدرب مسبقًا.
يتم اختيار نموذج مُدرب مسبقًا كبير كعمود فقري، لأنه يشفّر بالفعل معرفة لغوية واسعة. يُفضل نموذج مُدرب مسبقًا قوي - كلما زادت معرفته باللغة مسبقًا، احتجنا إلى تعليم أقل لكل فئة من أمثلتك القليلة.
يتم توجيه العمود الفقري نحو فئاتك باستخدام إحدى استراتيجيات قليل الأمثلة: تبني الشبكات النموذجية نموذجًا أوليًا لكل فئة من الأمثلة القليلة وتصنف حسب أقرب نموذج أولي، أو تتعلم MAML المعلمات الأولية التي تتكيف بسرعة، أو يقوم الضبط الدقيق بتحديث النموذج المُدرب مسبقًا بشكل طفيف على المجموعة الصغيرة.
يتم تشفير كل مستند جديد بواسطة النموذج المُكيّف وتعيين تسمية فئة له - عن طريق أقرب نموذج أولي أو رأس المصنف المضبوط بدقة - مما ينتج عنه تسمية متوقعة واحدة لكل مستند على الرغم من ندرة بيانات التدريب.
الأخطاء الشائعة
- معاملة فئة بدون أمثلة مُعنونة على أنها قابلة للتعلم - يجب أن يكون لكل فئة مثال واحد على الأقل.
- مقارنة النهج بنموذج مُدرب مسبقًا صغير أو غير متطابق بشكل سيء، مما يزيل المعرفة المسبقة التي يعتمد عليها إعداد قليل الأمثلة.
- قراءة الدقة بشكل مفرط من مجموعة دعم صغيرة؛ مع أمثلة قليلة جدًا، تكون تقديرات التقييم صاخبة.
الأسئلة الشائعة
كم عدد الأمثلة القليلة لكل فئة التي يحتاجها حقًا؟
مطلوب مثال مُعنون واحد على الأقل لكل فئة، وقد تم تصميم النهج للعمل مع عدد قليل فقط لكل فئة. كلما قللت العدد الذي تقدمه، زاد اعتماده على المعرفة المسبقة للعمود الفقري المُدرب مسبقًا.
أي استراتيجية قليل الأمثلة يجب أن أستخدم؟
تبني الشبكات النموذجية نموذجًا أوليًا لكل فئة من الأمثلة القليلة وتصنف حسب أقرب نموذج أولي؛ تتعلم MAML المعلمات الأولية التي تتكيف بسرعة مع المهام الجديدة؛ يقوم الضبط الدقيق بتحديث نموذج مُدرب مسبقًا بشكل طفيف على المجموعة الصغيرة. جميعها تناسب نفس خط الأنابيب؛ يُعد أسلوب SetFit الخالي من المطالبات للضبط الدقيق افتراضيًا عمليًا.
لماذا يعتبر النموذج المُدرب مسبقًا مهمًا جدًا؟
مع وجود أمثلة مُعنونة قليلة فقط، يجب أن تأتي معظم المعرفة من مكان آخر. يوفر النموذج المُدرب مسبقًا الكبير فهمًا لغويًا واسعًا، لذا فإن عمودًا فقريًا أقوى يعطي عمومًا نتائج أفضل قليل الأمثلة.
متى يجب أن أفضل مصنفًا إشرافيًا عاديًا بدلاً من ذلك؟
عندما يكون لديك بيانات مُعنونة وفيرة. توجد طرق قليل الأمثلة لنظام التسميات المنخفض؛ مع مجموعة بيانات مُعنونة كبيرة ومتوازنة، يكون مصنف النصوص الإشرافي القياسي أبسط وأقوى عادةً.
طرق ذات صلة
المصادر
Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.
افتح مرجع DOIتم النسخ.Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.
افتح مرجع DOIتم النسخ.