تصنيف RoBERTa المُحسَّن بدقة
- قدّمه
- Liu, Y. et al. (Meta AI / University of Washington)
- السنة
- 2019
- النوع
- Pretrained transformer fine-tuned for classification
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يقوم تصنيف RoBERTa المُحسَّن بدقة بتكييف المحول المدرب مسبقًا RoBERTa — وهو بدوره نسخة مُعاد تدريبها بقوة من BERT — لمهمة تصنيف نصية محددة عن طريق إضافة رأس تصنيف ومواصلة التدريب على أمثلة مُصنَّفة. يحقق باستمرار أداءً هو الأفضل في فئته أو قريبًا منه في تحليل المشاعر، وتصنيف الموضوعات، واكتشاف السمية، ومهام معالجة اللغة الطبيعية المماثلة.
الفكرة الحدسية وراء الطريقة
لقد قرأ RoBERTa بالفعل كميات هائلة من النصوص وتعلم تمثيلات غنية وسياقية للغة. يعيد الضبط الدقيق توظيف هذه المعرفة لمهمة تصنيف محددة: يتم وضع طبقة تصنيف صغيرة في الأعلى، ويتم تدريب النموذج بأكمله لبضع دورات تدريبية على بياناتك المصنفة. نظرًا لأن العمل الشاق لفهم اللغة تم إنجازه أثناء التدريب المسبق، فإن بضع مئات إلى بضعة آلاف من الأمثلة المصنفة غالبًا ما تكون كافية لإنتاج مصنف قوي. النتيجة تتفوق على طرق معالجة اللغة الطبيعية السابقة لأن كل رمز مميز يتم تمثيله في سياق الجملة الكاملة، وليس فقط نافذته المحلية.
التاريخ
تم تقديم RoBERTa بواسطة Liu وآخرون في Meta AI في عام 2019 كدراسة تكرار وتوسيع لـ BERT، مما يدل على أن BERT كان مدربًا بشكل غير كافٍ. من خلال التدريب لفترة أطول، وعلى المزيد من البيانات، وبدفعات أكبر، وإخفاء ديناميكي، وإزالة هدف التنبؤ بالجملة التالية، تفوق RoBERTa على BERT في معايير GLUE و SuperGLUE. أصبح ضبطه الدقيق للتصنيف نقطة البداية الافتراضية بسرعة لمهام تصنيف معالجة اللغة الطبيعية العملية في كل من البحث والصناعة.
متى تُستخدم
اختر تصنيف RoBERTa المُحسَّن بدقة عندما تكون لديك مشكلة تصنيف نصي — مشاعر، موضوع، نية، سمية، موقف، أو أي مهمة تعيين تسمية — وعلى الأقل بضع مئات من الأمثلة المصنفة لكل فئة، ويفضل أكثر من ألف. يتفوق عندما تكون الدقة اللغوية، أو السياق بعيد المدى، أو الصياغة الخاصة بالمجال مهمة. استخدم roberta-large عندما تكون الدقة هي الأهم وتسمح الحوسبة بذلك؛ استخدم roberta-base عندما تكون موارد وحدة معالجة الرسومات محدودة. لا تستخدمه عندما تحتاج إلى نموذج قابل للتفسير بالكامل مع أوزان ميزات صريحة، أو عندما تكون مجموعة بياناتك صغيرة جدًا (أقل من حوالي 100 مثال مصنف لكل فئة) بدون زيادة، أو عندما تمنع قيود زمن الاستجابة استدلال المحول.
الحدود والاعتبارات
- مكلف حسابيًا: يتطلب تحسين roberta-large وحدة معالجة رسومات وذاكرة كبيرة، مما يحد من إمكانية الوصول.
- يحد الحد الأقصى لطول الإدخال البالغ 512 رمزًا من أن المستندات الطويلة جدًا يجب تقسيمها أو تلخيصها قبل التصنيف.
- يجعل طبيعته كصندوق أسود من الصعب شرح التنبؤات بدون أدوات ما بعد التحليل مثل SHAP أو LIME.
- الضبط الدقيق على مجموعات مصنفة صغيرة جدًا يخاطر بالإفراط في التجهيز على الرغم من القاعدة المدربة مسبقًا.
- يجعل حجم النموذج زمن استجابة النشر مصدر قلق في أنظمة الإنتاج في الوقت الفعلي بدون تقطير أو تكميم.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يحقق باستمرار دقة هي الأفضل في فئتها أو قريبة منها على معايير تصنيف معالجة اللغة الطبيعية القياسية.
- يلتقط السياق ثنائي الاتجاه الكامل، ويتعامل مع النفي، والإحالة، والتبعيات بعيدة المدى التي تفوتها النماذج الأبسط.
- يتطلب بيانات مصنفة أقل بكثير من التدريب من الصفر بفضل تمثيلات اللغة الغنية المدربة مسبقًا.
- تعزز نقاط التحقق الخاصة بالمجال (مثل BioBERT، RoBERTa المشتق من FinBERT) الأداء في المجالات المتخصصة.
- تجعل مكتبة Hugging Face Transformers التنفيذ مباشرًا بأقل قدر من التعليمات البرمجية الإضافية.
التطبيقات
- تحليل مشاعر تقييمات المنتجات، ومنشورات وسائل التواصل الاجتماعي، واستجابات الاستبيانات.
- اكتشاف السمية وخطاب الكراهية في الإشراف على المحتوى عبر الإنترنت.
- تصنيف موضوعات الأخبار وتصنيف النوايا في أنظمة الحوار.
- تصنيف الملاحظات السريرية والترميز الطبي في المعلوماتية الصحية.
- كشف الموقف وتعدين الحجج في العلوم الاجتماعية الحاسوبية.
- تصنيف المستندات القانونية وتسمية بنود العقود.
كيف يعمل
كيف يعمل
يتم تحميل نقطة تحقق RoBERTa مدربة مسبقًا (على سبيل المثال، roberta-base أو roberta-large من Hugging Face). تم تدريب RoBERTa مسبقًا باستخدام إخفاء ديناميكي على مجموعة نصوص أكبر بكثير وعدد خطوات أكثر من BERT الأصلي، مما يجعل تمثيلاته أكثر قوة وقابلية للتعميم عبر المجالات.
يتم ترميز النص المدخل باستخدام مفردات ترميز الأزواج الثنائية (BPE) الخاصة بـ RoBERTa. يتم إضافة رمز خاص [CLS] قبل كل مثال ويتم اقتطاعه أو حشوه إلى أقصى طول تسلسل للنموذج (عادة 512 رمزًا). تشير أقنعة الانتباه إلى الرموز المميزة الحقيقية مقابل الحشو.
يتم تمرير الحالة المخفية للرمز المميز [CLS] الناتج عن طبقة المحول النهائية عبر رأس تصنيف خطي مع تفعيل softmax (متعدد الفئات) أو sigmoid (متعدد التسميات) لإنتاج احتمالات الفئة.
الصيغة
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)يتم تدريب النموذج بأكمله — جميع طبقات المحول بالإضافة إلى رأس التصنيف — بشكل شامل على مجموعة البيانات المصنفة باستخدام خسارة الانتروبيا المتقاطعة ومعدل تعلم صغير (عادةً 1e-5 إلى 3e-5). عادةً ما تكون بضع دورات تدريبية (2-5) كافية؛ التدريب الأطول يخاطر بالنسيان الكارثي للمعرفة المدربة مسبقًا.
الصيغة
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_iيتم تقييم الأداء على مجموعة اختبار منفصلة باستخدام الدقة، و F1 المتوسط، ودقة واستدعاء مستوى الفئة. بالنسبة للفئات غير المتوازنة، يُفضل F1 المتوسط و AUC-ROC على الدقة الخام. يتم عتبة التنبؤات عند 0.5 للمهام الثنائية أو argmax للمهام متعددة الفئات.
الأخطاء الشائعة
- استخدام معدل تعلم مرتفع جدًا (أعلى من 5e-5)، مما يدمر التمثيلات المدربة مسبقًا — وهي ظاهرة تسمى النسيان الكارثي.
- التقييم فقط على الدقة مع فئات غير متوازنة، مما يخفي الاستدعاء الضعيف للفئات الأقلية.
- تخطي تقسيم التدريب/التحقق/الاختبار وضبط المعلمات الفائقة على مجموعة الاختبار، مما يؤدي إلى تضخيم الأداء المُبلغ عنه.
- اقتطاع جميع النصوص إلى 128 رمزًا لتسريع العملية دون التحقق مما إذا كان المحتوى التمييزي يقع في الجزء المقتطع.
- نسيان تعيين بذرة عشوائية ثابتة وعدم الإبلاغ عن التباين عبر التشغيلات، مما يجعل النتائج غير قابلة للتكرار.
الأسئلة الشائعة
كيف يختلف RoBERTa المُحسَّن بدقة عن BERT المُحسَّن بدقة؟
يستخدم RoBERTa نفس بنية المحول مثل BERT ولكنه تم تدريبه مسبقًا باستخدام إخفاء ديناميكي على مجموعة نصوص أكبر (160 جيجابايت مقابل 16 جيجابايت)، وعدد خطوات أكثر، وبدون هدف التنبؤ بالجملة التالية. تنتج هذه التغييرات تمثيلات أكثر قوة، ويتفوق RoBERTa المُحسَّن بدقة باستمرار على BERT في معظم معايير التصنيف.
كم عدد الأمثلة المصنفة التي أحتاجها؟
غالبًا ما تكون المئات من الأمثلة لكل فئة كافية لتحقيق نتائج معقولة لأن النموذج المدرب مسبقًا يفهم اللغة بالفعل. مع أقل من حوالي 100 مثال لكل فئة، يُنصح باستخدام الاستدلال قليل اللقطات أو استراتيجيات زيادة البيانات لتقليل خطر الإفراط في التجهيز.
أي متغير RoBERTa يجب أن أستخدم — الأساسي أم الكبير؟
roberta-base (125 مليون معلمة) هو خيار افتراضي عملي: يتم تحسينه بسرعة على وحدة معالجة رسومات واحدة وغالبًا ما يقدم أداءً قريبًا من roberta-large. استخدم roberta-large (355 مليون معلمة) عندما تكون دقة المعيار هي الهدف الأساسي ولا تشكل الحوسبة عنق زجاجة.
كيف أتعامل مع النصوص الأطول من 512 رمزًا؟
تشمل الاستراتيجيات الشائعة الاقتطاع إلى الجزء الأكثر إفادة (غالبًا البداية والنهاية)، وتقسيم المستند إلى أجزاء متداخلة وتجميع التنبؤات، أو استخدام نهج هرمي حيث يتم تجميع تضمينات الجملة قبل التصنيف.
كيف يمكنني جعل تنبؤات النموذج أكثر قابلية للتفسير؟
طبق قيم SHAP (عبر Explainer الخاص بمكتبة shap للمحولات) أو LIME لإسناد التنبؤات إلى الرموز المميزة أو الامتدادات المدخلة. يمكن لأوزان الانتباه أيضًا تسليط الضوء على مناطق النص ذات الصلة، على الرغم من أنها ليست وكيلًا موثوقًا لأهمية الميزات بحد ذاتها.
طرق ذات صلة
المصادر
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692.
افتح مرجع المنشورتم النسخ.Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
افتح مرجع DOIتم النسخ.