تصنيف مُحسَّن استنادًا إلى BERT
- قدّمه
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI)
- السنة
- 2019
- النوع
- Pre-trained transformer fine-tuned for classification
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يُكيِّف تصنيف مُحسَّن استنادًا إلى BERT نموذج BERT المُدرَّب مُسبقًا لمهمة تصنيف نصية محددة عن طريق إضافة طبقة إخراج خفيفة الوزن ومواصلة التدريب المستند إلى التدرج على أمثلة مُصنَّفة. يحقق باستمرار دقة قريبة من أحدث ما توصلت إليه التكنولوجيا في تحليل المشاعر، وتصنيف الموضوعات، واكتشاف النوايا، ومهام تصنيف معالجة اللغة الطبيعية الأخرى باستخدام مجموعات بيانات مُصنَّفة صغيرة نسبيًا.
الفكرة الحدسية وراء الطريقة
يُدرَّب BERT مُسبقًا على كميات هائلة من النصوص غير المُصنَّفة، مما يكتسب تمثيلات سياقية غنية للغة. يُعيد الضبط الدقيق توظيف تلك المعرفة العامة عن طريق إرفاق رأس تصنيف بسيط في الأعلى وتدريب النموذج بأكمله - أو الرأس فقط - على أمثلتك المُصنَّفة. نظرًا لأن BERT يفهم بالفعل بناء الجملة، والدلالات، ومعرفة العالم، يحتاج النموذج إلى أمثلة مُصنَّفة أقل بكثير من تدريب مصنف عصبي من الصفر، ويتلاقى إلى دقة أعلى بشكل أسرع. يقطر تمثيل الرمز [CLS] ملخصًا على مستوى الجملة يقرأه المصنف.
التاريخ
تم تقديم BERT (تمثيلات التشفير ثنائية الاتجاه للمحولات) بواسطة Google AI في عام 2019 بواسطة Devlin et al.، بناءً على بنية المحول الخاصة بـ Vaswani et al. (2017). أنتجت مهام التدريب المسبق لنمذجة اللغة المقنعة والتنبؤ بالجملة التالية تمثيلات سياقية عميقة تجاوزت أحدث ما توصلت إليه التكنولوجيا في إحدى عشرة معيارًا لمعالجة اللغة الطبيعية في وقت واحد. سرعان ما أصبح الضبط الدقيق لـ BERT للتصنيف هو النموذج السائد في أبحاث معالجة اللغة الطبيعية التطبيقية، مما أدى إلى ظهور نماذج لاحقة مثل RoBERTa و DistilBERT و ALBERT.
متى تُستخدم
استخدم التصنيف المُحسَّن استنادًا إلى BERT عندما يكون لديك بيانات نصية بفئات مُصنَّفة وتحتاج إلى دقة عالية في مهام مثل تحليل المشاعر، واكتشاف النوايا، وتسمية الموضوعات، أو فرز المستندات. يتفوق حتى مع بضع مئات إلى بضعة آلاف من الأمثلة المُصنَّفة، لأن التدريب المسبق يوفر معرفة مسبقة غنية. فضله على مصنفات حقيبة الكلمات التقليدية كلما كان المعنى السياقي مهمًا. لا تستخدمه عندما تكون موارد الحوسبة مقيدة بشدة (الاستدلال على وحدة المعالجة المركزية بطيء)، وعندما يكون مجال النص مختلفًا جذريًا عن نص الويب القياسي ولا يوجد نقطة فحص خاصة بالمجال، أو عندما تكون قابلية التفسير الكاملة لأوزان الميزات الفردية مطلوبة من قبل المراجعين أو المنظمين.
الحدود والاعتبارات
- بصمة ذاكرة وحوسبة عالية في وقت الضبط الدقيق والاستدلال؛ وحدة معالجة الرسومات مطلوبة فعليًا لتحقيق إنتاجية عملية.
- نافذة سياق محدودة (512 رمزًا لـ BERT الأساسي)؛ يجب اقتطاع المستندات الأطول من ذلك أو تقسيمها.
- تظل الأجزاء الداخلية للنموذج غامضة إلى حد كبير، مما قد يتعارض مع متطلبات قابلية التفسير التنظيمية أو متطلبات مراجعة الأقران.
- خطر النسيان الكارثي إذا كان معدل التعلم مرتفعًا جدًا أو استمر التدريب لفترة طويلة جدًا.
- يتدهور الأداء في المجالات المتخصصة للغاية (الملاحظات السريرية، العقود القانونية) ما لم يتم استخدام نقطة فحص مطابقة للمجال.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يحقق دقة قريبة من أحدث ما توصلت إليه التكنولوجيا في معظم معايير تصنيف النصوص مع بيانات مُصنَّفة محدودة.
- يلتقط المعنى السياقي طويل المدى الذي تفوته نماذج حقيبة الكلمات و TF-IDF.
- ينقل التعلم بالانتقال بشكل كبير البيانات المُصنَّفة ووقت التدريب المطلوب مقارنة بالتدريب من الصفر.
- نظام بيئي واسع لنقاط الفحص المُدرَّبة مُسبقًا الخاصة بالمجال (الطب الحيوي، القانوني، المالي، متعدد اللغات) عبر HuggingFace.
- واجهة برمجة تطبيقات متسقة عبر المهام - نفس وصفة الضبط الدقيق تنطبق على الإعدادات الثنائية والمتعددة الفئات والمتعددة التسميات.
- الترميز الفرعي المدمج يتعامل مع اللغات الغنية صرفيًا، والكلمات النادرة، والأخطاء الإملائية برشاقة.
التطبيقات
- تحليل مشاعر مراجعات المنتجات، ومنشورات وسائل التواصل الاجتماعي، واستجابات الاستبيانات.
- اكتشاف النوايا وملء الفراغات في أنظمة الحوار والمساعدين الافتراضيين.
- تسمية الموضوعات والفئات للمقالات الإخبارية، والملخصات، أو تذاكر الدعم.
- تصنيف النصوص السريرية مثل شدة الفرز أو تعيين رمز ICD باستخدام BioBERT الخاص بالمجال.
- اكتشاف خطاب الكراهية والسمية في خطوط أنابيب الإشراف على المحتوى.
- تصنيف المستندات القانونية وتحديد أنواع البنود باستخدام متغيرات BERT القانونية.
كيف يعمل
كيف يعمل
يتم تحميل نقطة فحص BERT مُدرَّبة مُسبقًا (على سبيل المثال، bert-base-uncased أو متغير خاص بالمجال) مع تجميد جميع طبقات المحولات الخاصة بها أو عدم تجميدها. يقوم المُرمِّز بتحويل النص الخام إلى رموز فرعية من WordPiece، ويسبق الرمز الخاص [CLS] المستخدم كتمثيل تسلسلي، ويضيف فواصل [SEP].
يقوم رأس تصنيف خطي بتعيين الحالة المخفية النهائية للرمز [CLS] إلى درجات لوجيت على مجموعة الفئات المستهدفة. يتم حساب خسارة الانتروبيا المتقاطعة بين التوزيع المتوقع والتسميات الذهبية. هذه هي كتلة الوزن الوحيدة المُهيأة حديثًا؛ كل شيء آخر موروث من التدريب المسبق.
الصيغة
p(y|x) = \text{softmax}(W \cdot h_{[CLS]})يتم تحديث جميع معلمات النموذج - أو مجموعة فرعية مختارة مثل أعلى N طبقات محولات - بشكل مشترك عبر الانتشار العكسي باستخدام معدل تعلم صغير (عادةً 2e-5 إلى 5e-5). يستمر التدريب لمدة فصلين إلى أربعة فصول؛ المزيد من الفصول تخاطر بالنسيان الكارثي للتمثيلات المُدرَّبة مُسبقًا.
يساعد التسرب (عادةً 0.1) المطبق قبل رأس التصنيف، جنبًا إلى جنب مع التوقف المبكر أو الإحماء بمعدل تعلم خطي مع انخفاض، على الحماية من الإفراط في التجهيز. تستفيد مجموعات البيانات غير المتوازنة للفئات من الخسارة الموزونة أو أخذ عينات زائدة من الفئة الأقلية قبل الضبط الدقيق.
عند الاستدلال، يتم تمرير المدخلات المُرمَّزة عبر النموذج المُحسَّن، ويحدد argmax لمخرجات softmax الفئة المتوقعة. يُوصى بمعايرة درجات الثقة إذا كانت القرارات اللاحقة تعتمد على عتبات الاحتمالية.
الصيغة
\hat{y} = \arg\max_k\, p(y=k|x)الأخطاء الشائعة
- استخدام معدل تعلم مرتفع جدًا (أعلى من 5e-5)، مما يؤدي إلى زعزعة استقرار الأوزان المُدرَّبة مُسبقًا وانهيار الأداء.
- الضبط الدقيق لعدد كبير جدًا من الفصول دون توقف مبكر، مما يؤدي إلى النسيان الكارثي لمعرفة اللغة المُدرَّبة مُسبقًا.
- تجاهل عدم توازن الفئات في خسارة الضبط الدقيق، مما يتسبب في أن يتنبأ النموذج بالفئة الأغلبية بشكل شبه حصري.
- اقتطاع المستندات الطويلة عند 512 رمزًا دون مراعاة الجزء الذي يحمل المعلومات الأكثر صلة.
- التقييم فقط على توزيع التدريب وعدم اختبار التعميم على مجموعة مُحرَّرة أو خارج النطاق.
الأسئلة الشائعة
ما هو عدد الأمثلة المُصنَّفة التي أحتاجها لضبط BERT بفعالية؟
يمكن أن يعمل الضبط الدقيق لـ BERT بشكل جيد مع بضع مئات من الأمثلة لكل فئة للمهام الثنائية البسيطة، ويصل عادةً إلى أداء قوي مع 1000-10000 مثال مُصنَّف. بالنسبة للإعدادات منخفضة الموارد جدًا، قد تتفوق الأساليب قليلة اللقطات أو القائمة على المطالبات على الضبط الدقيق القياسي.
هل يجب عليّ ضبط جميع الطبقات أم رأس التصنيف فقط؟
عادةً ما يؤدي ضبط جميع الطبقات بشكل مشترك إلى أفضل دقة، شريطة استخدام معدل تعلم صغير (2e-5 إلى 5e-5). تجميد معظم الطبقات وتدريب الرأس فقط أسرع وأكثر أمانًا عندما تكون البيانات المُصنَّفة نادرة جدًا، ولكنه عادةً ما يضحي بعدة نقاط دقة.
كيف أتعامل مع المستندات الأطول من 512 رمزًا؟
تشمل الاستراتيجيات الشائعة الاقتطاع إلى أول 512 رمزًا (غالبًا ما يكون كافيًا لإشارات التصنيف في البداية)، أو تجميع النافذة المنزلقة فوق الأجزاء المتداخلة، أو المشفرات الهرمية التي تجمع تمثيلات مستوى المقطع. يعتمد الخيار الأفضل على مكان ظهور المحتوى التمييزي للفئة في مستنداتك.
أي متغير BERT يجب أن أختار؟
ابدأ بـ bert-base-uncased للنصوص العامة باللغة الإنجليزية. استخدم نقطة فحص خاصة بالمجال (على سبيل المثال، BioBERT للطب الحيوي، LegalBERT للقانوني) عندما يختلف نصك اختلافًا كبيرًا عن ويكيبيديا و BookCorpus. غالبًا ما يتفوق RoBERTa-base على BERT في معايير التصنيف وهو بديل قوي.
كيف أبلغ عن النتائج للنشر؟
أبلغ عن الدقة، والاستدعاء، و F1 الكلي جنبًا إلى جنب مع الدقة، خاصة بالنسبة لمجموعات البيانات غير المتوازنة. قم بتشغيل الضبط الدقيق باستخدام بذور عشوائية متعددة (ثلاثة على الأقل) وأبلغ عن المتوسط والانحراف المعياري لإظهار استقرار النتائج. قم بتضمين تقييم مجموعة اختبار مُحرَّرة لم تُستخدم أبدًا لاختيار المعلمات الفائقة.
طرق ذات صلة
المصادر
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186.
افتح مرجع DOIتم النسخ.Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? Proceedings of CCL 2019, LNCS 11856, 194–206.
افتح مرجع DOIتم النسخ.