تصنيف قائم على BERT
- قدّمه
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
- السنة
- 2019
- النوع
- Pre-trained language model with fine-tuning
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يقوم التصنيف القائم على BERT بضبط نموذج Google للتمثيلات التشفيرية ثنائية الاتجاه من المحولات (BERT) على مجموعة بيانات نصية مصنفة، مستبدلاً الرأس العام المدرب مسبقًا بطبقة تصنيف خاصة بالمهمة. يستغل السياق ثنائي الاتجاه العميق من مئات الملايين من المعلمات المدربة مسبقًا لتقديم دقة متطورة في مهام تصنيف النصوص القصيرة والمتوسطة الطول مع كميات متواضعة نسبيًا من البيانات المصنفة.
الفكرة الحدسية وراء الطريقة
يقرأ BERT كل كلمة في جملة مع الوعي الكامل بجميع الكلمات المحيطة في كلا الاتجاهين في وقت واحد - على عكس النماذج السابقة التي كانت تقرأ من اليسار إلى اليمين أو من اليمين إلى اليسار. قبل الضبط الدقيق، يكون BERT قد استوعب بالفعل أنماط لغوية غنية من مجموعة نصوص ضخمة. لتصنيف النص، يتم وضع طبقة تصنيف رفيعة في الأعلى ويتم إعادة تدريب النموذج بأكمله لفترة وجيزة على أمثلتك المصنفة. يقوم النموذج بتعديل تمثيلاته الداخلية لتناسب فئاتك المحددة مع الاحتفاظ بالمعرفة اللغوية الواسعة التي تم تدريبه عليها مسبقًا، مما يسمح بأداء قوي حتى عندما تكون البيانات المصنفة نادرة.
التاريخ
نُشر BERT بواسطة Devlin وآخرون في Google AI Language في عام 2019 وحقق على الفور نتائج متطورة جديدة على 11 معيارًا لمعالجة اللغة الطبيعية بما في ذلك GLUE و SQuAD. كان ابتكاره الرئيسي هو التدريب المسبق ثنائي الاتجاه عبر نمذجة اللغة المقنعة والتنبؤ بالجملة التالية. منذ عام 2019، أنتج عائلة من المشتقات - RoBERTa، ALBERT، DistilBERT، متغيرات متخصصة في المجال - وأصبح أساسًا لمعالجة اللغة الطبيعية التطبيقية الحديثة، بما في ذلك تصنيف النصوص في المجالات الأكاديمية والصناعية والسريرية.
متى تُستخدم
استخدم التصنيف القائم على BERT عندما يكون لديك بيانات نصية مصنفة وتريد دقة متطورة لمهام مثل تحليل المشاعر، أو تصنيف الموضوعات، أو اكتشاف النوايا، أو تصنيف النصوص السريرية. يعمل بشكل جيد مع ما لا يقل عن بضع مئات من الأمثلة المصنفة لكل فئة، مما يجعله خيارًا قويًا عندما تكون مجموعات النصوص الكبيرة المشروحة غير متوفرة. فضله على النماذج الأبسط (TF-IDF + الانحدار اللوجستي، CNN، LSTM) عندما يكون الفارق اللغوي، أو السياق طويل المدى، أو التمييزات الدلالية الدقيقة هي المحرك للمهمة. تجنبه عندما تتجاوز التسلسلات 512 رمزًا بدون معالجة خاصة، أو عندما تكون موارد الحوسبة لوحدة معالجة الرسومات غير متوفرة أو باهظة الثمن، أو عندما تكون هناك حاجة إلى زمن استجابة استدلال في الوقت الفعلي أقل من بضعة مللي ثانية، أو عندما يكون المجال متخصصًا للغاية وتوجد بيانات تدريب مسبق قليلة جدًا في المجال - في مثل هذه الحالات، قد يكون النموذج المتخصص في المجال (BioBERT، LegalBERT) أكثر ملاءمة.
الحدود والاعتبارات
- حد أقصى صارم لطول التسلسل يبلغ 512 رمزًا؛ تتطلب المستندات الأطول الاقتطاع، أو التقسيم، أو الأساليب الهرمية.
- تكلفة حسابية وذاكرة عالية في وقت الاستدلال مقارنة بالنماذج الأخف مثل DistilBERT أو الانحدار اللوجستي.
- الضبط الدقيق على مجموعات بيانات صغيرة جدًا (أقل من حوالي 100 مثال لكل فئة) يخاطر بالنسيان الكارثي أو الإفراط في التخصيص.
- تبقى الأجزاء الداخلية للنموذج غامضة إلى حد كبير؛ يتطلب شرح التنبؤات أدوات إضافية مثل تصور الانتباه أو SHAP.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تلتقط آلية الانتباه الذاتي ثنائية الاتجاه المعنى السياقي الغني الذي لا تستطيع نماذج RNN أحادية الاتجاه تمثيله.
- يوفر التدريب المسبق على مجموعات نصوص كبيرة أولويات لغوية قوية، مما يتيح أداءً جيدًا مع بيانات مصنفة محدودة.
- الضبط الدقيق سريع - عادةً 3-5 حقب فقط - مقارنة بتدريب نموذج كبير من الصفر.
- يتعامل هيكل واحد مع العديد من مهام تصنيف معالجة اللغة الطبيعية دون هندسة ميزات خاصة بالمهمة.
- نقاط فحص مدربة مسبقًا متاحة على نطاق واسع (BERT-base، BERT-large) ومشتقات للعديد من اللغات والمجالات.
التطبيقات
- تحليل مشاعر المراجعات، ومنشورات وسائل التواصل الاجتماعي، واستجابات الاستبيانات.
- تصنيف الموضوعات والنوايا لدعم العملاء، وروبوتات الدردشة، والإشراف على المحتوى.
- تصنيف النصوص السريرية: ترميز التشخيص، فرز الملاحظات السريرية، واكتشاف الأحداث السلبية.
- تصنيف الملخصات العلمية وفحص الاستشهادات في المراجعات المنهجية.
- اكتشاف خطاب الكراهية والمعلومات المضللة على المنصات الاجتماعية.
كيف يعمل
كيف يعمل
يتم تقسيم النص المدخل إلى رموز WordPiece ويتم إضافة رمز خاص [CLS] في البداية. يحدد الرمز [SEP] حدود الجمل. يتم تعيين كل رمز إلى معرف رقمي ويتم حشوه أو اقتطاعه إلى طول تسلسل أقصى ثابت، عادةً 128 أو 512 رمزًا.
يمر تسلسل الرموز عبر جميع طبقات BERT Transformer. تطبق كل طبقة آلية الانتباه الذاتي متعدد الرؤوس بحيث يمكن لكل رمز الانتباه إلى كل رمز آخر في كلا الاتجاهين في وقت واحد، مما يبني تمثيلات غنية مدركة للسياق في كل موضع.
الصيغة
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])يتم استخراج الحالة المخفية المقابلة للرمز [CLS] في طبقة BERT النهائية كمتجه ثابت الطول يمثل تسلسل الإدخال بأكمله. يلتقط هذا التمثيل المجمع المعنى العام للنص.
تقوم طبقة تصنيف خطية - مصفوفة أوزان وانحياز - بتعيين متجه [CLS] إلى درجة لكل فئة. تقوم دالة softmax بتحويل هذه الدرجات إلى احتمالات الفئة، والفئة ذات الاحتمالية الأعلى هي التنبؤ.
الصيغة
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)يتم تحسين النموذج بالكامل - طبقات BERT وطبقة التصنيف - بشكل مشترك على مجموعة التدريب المصنفة باستخدام خسارة الانتروبيا المتقاطعة ومعدل تعلم صغير (عادةً 2e-5 إلى 5e-5 مع AdamW) لعدد قليل من الحقب (عادةً 3-5). يمنع جدول تسخين معدل التعلم تحديثات التدرج المبكرة الكبيرة التي يمكن أن تدمر الأوزان المدربة مسبقًا.
الأخطاء الشائعة
- استخدام معدل تعلم مرتفع جدًا، مما يدمر الأوزان المدربة مسبقًا ويؤدي إلى عدم وجود تحسن مقارنة بخط الأساس العشوائي.
- اقتطاع جميع المدخلات دون التحقق مما إذا كان النص الأكثر صلة يقع بالقرب من بداية التسلسل أو نهايته.
- تخطي تقسيم صحيح للتدريب/التحقق/الاختبار وقياس الأداء فقط على مجموعة التدريب.
- تجاهل عدم توازن الفئات - الإبلاغ عن الدقة وحدها على مجموعة بيانات غير متوازنة يخفي ضعف استدعاء الفئة الأقلية.
- اختيار BERT عندما تفتقر بيئة النشر إلى موارد وحدة معالجة الرسومات، مما يؤدي إلى زمن استجابة استدلال غير مقبول في الإنتاج.
الأسئلة الشائعة
ما مقدار البيانات المصنفة التي أحتاجها لضبط BERT؟
يمكن لـ BERT تقديم أداء مفيد مع ما لا يقل عن بضع مئات من الأمثلة المصنفة لكل فئة، لأن التدريب المسبق قد غرس بالفعل أولويات لغوية غنية. يتحسن الأداء بشكل كبير مع ما يصل إلى عدة آلاف من الأمثلة؛ بعد ذلك، تتضاءل العوائد. مع أقل من حوالي 100 مثال لكل فئة، فإن الإفراط في التخصيص هو خطر حقيقي - فكر في زيادة البيانات أو نموذج أخف.
ما هو معدل التعلم الذي يجب أن أستخدمه عند الضبط الدقيق؟
معدل تعلم بين 2e-5 و 5e-5 مع مُحسِّن AdamW هو النطاق القياسي الذي أوصى به الورقة الأصلية. تميل معدلات التعلم الأعلى إلى تدمير الأوزان المدربة مسبقًا؛ الأقل تجعل التقارب بطيئًا جدًا. استخدم تسخينًا خطيًا على مدار أول 10٪ من خطوات التدريب.
نصوصي أطول من 512 رمزًا. ماذا أفعل؟
تشمل الاستراتيجيات الشائعة الاقتطاع إلى أول أو آخر 512 رمزًا، أو تقسيم المستند إلى أجزاء متداخلة وتجميع تمثيلات [CLS]، أو استخدام نموذج مستندات طويل مثل Longformer أو BigBird الذي يمكنه التعامل مع تسلسلات من آلاف الرموز.
هل يجب أن أستخدم BERT-base أم BERT-large؟
BERT-base (110 مليون معلمة) هو الخيار الافتراضي العملي: فهو يدرب بشكل أسرع، ويستخدم ذاكرة GPU أقل، ودقته كافية لمعظم مهام التصنيف. يمكن لـ BERT-large (340 مليون معلمة) إضافة بضع نقاط مئوية في المهام المعقدة ولكنه يتطلب قدرًا كبيرًا من الحوسبة الإضافية وهو عرضة للإفراط في التخصيص على مجموعات البيانات الأصغر.
كيف أقوم بتقييم المصنف بشكل عادل؟
قسم البيانات إلى مجموعات تدريب وتحقق واختبار قبل أي ضبط دقيق. أبلغ عن F1 الكلي (وليس فقط الدقة) بحيث يكون أداء الفئة الأقلية مرئيًا. استخدم مجموعة التحقق للبحث عن المعلمات الفائقة والتوقف المبكر، وأبلغ عن نتيجة مجموعة الاختبار مرة واحدة فقط في النهاية.
طرق ذات صلة
المصادر
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.
افتح مرجع DOIتم النسخ.Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.
افتح مرجع DOIتم النسخ.