تصنيف قائم على RoBERTa
- قدّمه
- Liu, Y. et al. (Facebook AI Research / University of Washington)
- السنة
- 2019
- النوع
- Pre-trained transformer fine-tuned for sequence classification
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يطبق التصنيف القائم على RoBERTa المحوّل المدرب مسبقًا RoBERTa — الذي تم تدريبه بشكل أقوى من BERT باستخدام الإخفاء الديناميكي والدفعات الأكبر — على مهام تصنيف النصوص عن طريق إضافة رأس تصنيف خفيف الوزن فوق تمثيل الرمز [CLS] وضبط النموذج بأكمله على أمثلة مصنفة. إنه يطابق باستمرار أو يتفوق على BERT في معايير معالجة اللغات الطبيعية القياسية.
الفكرة الحدسية وراء الطريقة
يبدأ RoBERTa (نهج التدريب المسبق لـ BERT المحسّن بقوة) بمحوّل ثنائي الاتجاه عميق تم تدريبه بالفعل على مئات الجيجابايت من النصوص، مما يمنحه فهمًا سياقيًا غنيًا للغة. لتصنيف نص جديد، يتم وضع طبقة خطية واحدة فوق رمزه الخاص [CLS] الذي يلخص النص، ويتم تدريب النموذج بأكمله لفترة وجيزة على مجموعة البيانات المصنفة الخاصة بالمهمة. نظرًا لأن RoBERTa يزيل هدف التنبؤ بالجملة التالية المستخدم في BERT ويدرب بكمية أكبر من البيانات والإخفاء الديناميكي، فإنه ينتج تمثيلات أقوى تتطلب بيانات ضبط أقل لتحقيق دقة تصنيف عالية.
التاريخ
تم تقديم RoBERTa بواسطة Liu وآخرون في Facebook AI Research وجامعة واشنطن في عام 2019 كدراسة تكرار وتحسين حرجة لـ BERT. أظهر المؤلفون أن BERT كان مدربًا بشكل غير كافٍ وأن إزالة التنبؤ بالجملة التالية، واستخدام الإخفاء الديناميكي، والتدريب على دفعات أكبر ببيانات أكثر، واستخدام جمل كاملة بدون سياق بين المستندات أنتج تمثيلات أقوى بكثير، محققًا أرقامًا قياسية جديدة في GLUE و SQuAD و RACE في وقت الإصدار.
متى تُستخدم
فضل التصنيف القائم على RoBERTa عندما تحتاج إلى دقة حديثة في مهام تصنيف النصوص مثل تحليل المشاعر، وتصنيف الموضوعات، واكتشاف النوايا، أو اكتشاف المحتوى السام، ولديك على الأقل بضع مئات من الأمثلة التدريبية المصنفة لكل فئة. إنه يتفوق في التقاط الإشارات الدلالية والنحوية الدقيقة التي تفوتها نماذج الكلمات البسيطة أو النماذج العصبية الضحلة. تجنبه عندما تكون الموارد الحسابية محدودة (يتطلب ضبطًا باستخدام GPU وذاكرة كبيرة)، وعندما يكون مجال النص متخصصًا للغاية بدون تدريب مسبق متكيف مع المجال، أو عندما تتضمن المهمة تسلسلات أطول بكثير من 512 رمزًا بدون استراتيجيات تقسيم.
الحدود والاعتبارات
- الحد الأقصى لطول الإدخال البالغ 512 رمزًا يجعله غير مناسب للمستندات الطويلة بدون تقسيم أو استراتيجيات هرمية.
- يتطلب الضبط موارد GPU ووقت تدريب غير تافه؛ الاستدلال على وحدة المعالجة المركزية بطيء لأعباء العمل الإنتاجية.
- الحجم الكبير للنموذج (125 مليون - 355 مليون معلمة) يمكن أن يكون غير عملي للنشر على الحافة أو في بيئات محدودة الموارد.
- يتدهور الأداء بشكل حاد في المجالات المتخصصة للغاية (السريرية، القانونية، العلمية) ما لم يتم استخدام نقطة فحص RoBERTa خاصة بالمجال.
- التمثيلات الداخلية غير الشفافة تجعل التفسير السببي أو الميكانيكي صعبًا بدون أدوات إضافية لـ XAI.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يحقق باستمرار دقة قريبة من أحدث ما توصلت إليه التكنولوجيا في معايير تصنيف معالجة اللغات الطبيعية القياسية مع الحد الأدنى من الهندسة الخاصة بالمهمة.
- يسمح السياق ثنائي الاتجاه بالتقاط التبعيات المعقدة بين الكلمات البعيدة، على عكس النماذج أحادية الاتجاه.
- الإخفاء الديناميكي أثناء التدريب المسبق ينتج تمثيلات أقوى من الإخفاء الثابت لـ BERT.
- يمكن ضبطه بفعالية باستخدام مجموعات بيانات مصنفة صغيرة نسبيًا (بضع مئات إلى بضعة آلاف من الأمثلة لكل فئة).
- نظام بيئي واسع من المتغيرات المدربة مسبقًا (roberta-base، roberta-large، نقاط فحص خاصة بالمجال) متاح عبر HuggingFace.
- التصنيف متعدد الملصقات مباشر عن طريق استبدال softmax بـ sigmoid وتعديل دالة الخسارة.
التطبيقات
- تحليل المشاعر وتعدين الرأي في وسائل التواصل الاجتماعي والمراجعات والأخبار المالية.
- تصنيف الموضوعات والنوايا لدعم العملاء وتوجيه روبوتات المحادثة والإشراف على المحتوى.
- اكتشاف اللغة السامة وخطاب الكراهية على المنصات عبر الإنترنت.
- تصنيف المستندات متعددة الفئات ومتعددة الملصقات في مجالات الأخبار والقانون والأكاديميا.
- تصنيف الادعاءات العلمية والتحقق من الحقائق في خطوط أنابيب أبحاث معالجة اللغات الطبيعية.
- ترميز النصوص السريرية وتصنيف السجلات الطبية باستخدام نقاط فحص RoBERTa المتكيفة مع المجال.
كيف يعمل
كيف يعمل
يتم تقسيم النص المدخل إلى رموز فرعية باستخدام ترميز زوج البايت (BPE). يتم إضافة رمز خاص [CLS] في البداية ورمز [SEP] في النهاية. يتم اقتطاع التسلسل الناتج أو حشوه بطول ثابت أقصى (عادةً 512 رمزًا).
يتم تمرير تسلسل الرموز عبر مشفّر المحوّل ثنائي الاتجاه متعدد الطبقات الخاص بـ RoBERTa. تطبق كل طبقة انتباهًا ذاتيًا متعدد الرؤوس وطبقات فرعية للتغذية الأمامية مع اتصالات متبقية، مما يبني تمثيلًا غنيًا مدركًا للسياق لكل رمز. تعمل الحالة المخفية النهائية للرمز [CLS] كتمثيل مجمع للجملة.
الصيغة
\mathbf{h} = \text{RoBERTa}([\text{CLS}], x_1, \ldots, x_n)يتم تطبيق رأس تصنيف خطي — مصفوفة وزن W وانحياز b — على تمثيل [CLS]، يليه تنشيط softmax (أو sigmoid للتصنيف متعدد الملصقات) لإنتاج احتمالات الفئة.
الصيغة
\hat{y} = \text{softmax}(\mathbf{W} \cdot \mathbf{h}_{[\text{CLS}]} + \mathbf{b})يتم تحديث جميع معلمات النموذج — كل من أوزان المحوّل المدربة مسبقًا ورأس التصنيف الجديد — بشكل مشترك عبر الانحدار التدريجي على الأمثلة المصنفة الخاصة بالمهمة، عادةً لمدة 3–10 دورات تدريبية بمعدل تعلم صغير (1e-5 إلى 5e-5) وجدول تسخين خطي لتجنب النسيان الكارثي.
عند الاستدلال، يتم ترميز النص المدخل، وتمريره عبر مشفّر RoBERTa المضبوط، ويعطي argmax لناتج softmax الفئة المتوقعة. يمكن عتبة الاحتمالات للتصنيف متعدد الملصقات أو التصفية المستندة إلى الثقة.
الأخطاء الشائعة
- استخدام نفس التقسيم للتحقق كما هو الحال بالنسبة للإيقاف المبكر بدون مجموعة اختبار منفصلة، مما يؤدي إلى تضخيم الدقة المبلغ عنها.
- النسيان في معالجة اختلال توازن الفئات: يؤدي الضبط على فئات منحرفة بشدة بدون خسارة مرجحة أو أخذ عينات زائدة إلى نماذج تتنبأ بالفئة الأغلبية بشكل شبه حصري.
- تعيين معدل التعلم مرتفعًا جدًا (أعلى من 5e-5) ونسيان تمثيلات التدريب المسبق بشكل كارثي خلال خطوات التدريب الأولى.
- اقتطاع المدخلات الطويلة دون النظر فيما إذا كانت المحتويات ذات الصلة تقع في النهاية (على سبيل المثال، جملة رئيسية في وثيقة قانونية)، مما يؤدي إلى فقدان منهجي للمعلومات.
- الإبلاغ عن الدقة فقط على مجموعات البيانات غير المتوازنة بدلاً من F1 المتوسط الكلي، والدقة، والاستدعاء، و AUC.
الأسئلة الشائعة
كيف يختلف RoBERTa عن BERT للتصنيف؟
يزيل RoBERTa هدف التنبؤ بالجملة التالية الخاص بـ BERT، ويستخدم الإخفاء الديناميكي بدلاً من الثابت، ويدرب على عشرة أضعاف البيانات مع دفعات مصغرة أكبر، ويستخدم مدخلات جمل كاملة بدلاً من أجزاء المستندات. هذه التغييرات تحسن باستمرار دقة التصنيف اللاحق بنسبة 1-3 نقاط مئوية في المعايير القياسية.
ما مقدار البيانات المصنفة التي أحتاجها لضبط RoBERTa؟
يمكن ضبط RoBERTa بفعالية باستخدام ما لا يقل عن بضع مئات من الأمثلة المصنفة لكل فئة للمهام الثنائية أو ذات الفئات التقريبية، على الرغم من أنه يوصى بـ 1000 أو أكثر لكل فئة للحصول على أداء قوي متعدد الفئات. مع عدد أقل من الأمثلة، فكر في الاستدلال القليل اللقطات باستخدام نموذج توليدي أو زيادة البيانات بدلاً من ذلك.
هل يجب أن أستخدم roberta-base أم roberta-large؟
يعد roberta-base (125 مليون معلمة) نقطة انطلاق عملية تدرب بشكل أسرع وتناسب ذاكرة GPU أقل. يضيف roberta-large (355 مليون معلمة) عادةً 1-3 نقاط دقة بتكلفة حوالي أربعة أضعاف الحوسبة والذاكرة. استخدم large عندما تكون الدقة القصوى حرجة وتسمح الموارد بذلك.
ماذا لو كانت نصوصي أطول من 512 رمزًا؟
تشمل الاستراتيجيات الشائعة الاقتطاع إلى أول 512 رمزًا (يعمل بشكل جيد عندما تكون إشارة التصنيف في البداية)، أو تجميع النافذة المنزلقة فوق أجزاء متداخلة، أو النماذج الهرمية التي تشفر الأجزاء باستخدام RoBERTa وتجمعها بنموذج ثانٍ.
كيف أتعامل مع اختلال توازن الفئات؟
استخدم خسارة إنتروبيا متقاطعة مرجحة حيث يكون وزن كل فئة يتناسب عكسيًا مع تكرارها، أو خذ عينات زائدة من الفئة الأقلية. قم دائمًا بالتقييم باستخدام F1 المتوسط الكلي بدلاً من الدقة للكشف عن التحيز المنهجي للفئة الأغلبية.
طرق ذات صلة
المصادر
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv preprint arXiv:1907.11692.
افتح مرجع المنشورتم النسخ.Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.
افتح مرجع DOIتم النسخ.