ضبط نموذج بيرت الدقيق
- قدّمه
- Devlin, J. et al.
- السنة
- 2019
- النوع
- Transfer learning (fine-tuning a pre-trained transformer)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
ضبط نموذج بيرت الدقيق، بناءً على نموذج بيرت الذي قدمه ديفلين وزملاؤه في عام 2019، يعيد تدريب نموذج بيرت مدرب مسبقًا على مجموعة بيانات صغيرة مصنفة لمهمة مستهدفة مثل التصنيف، أو التعرف على الكيانات المسماة، أو الإجابة على الأسئلة. من خلال التعلم بالنقل، فإنه يحقق أداءً عاليًا حتى مع وجود بيانات قليلة نسبيًا خاصة بالمهمة.
الفكرة الحدسية وراء الطريقة
يتطلب تدريب نموذج لغوي من الصفر كميات هائلة من النصوص وقوة الحوسبة. لقد تعلم بيرت بالفعل تمثيلات غنية وعامة للغة أثناء التدريب المسبق، لذا بدلاً من البدء من جديد، تأخذ هذا النموذج وتعدله بلطف لمهمتك. باستخدام مجموعة بيانات صغيرة مصنفة فقط، يقوم النموذج بتكييف معرفته الحالية لمشكلتك، وهذا هو سبب نجاح الضبط الدقيق حيث سيفشل تدريب نموذج من الصفر.
التاريخ
تم تقديم بيرت بواسطة ديفلين وزملاؤه في عام 2019، مما أظهر أن المحولات ثنائية الاتجاه العميقة المدربة مسبقًا على مجموعات كبيرة يمكن ضبطها بدقة لتحقيق نتائج حديثة عبر العديد من مهام فهم اللغة. ساعدت الإرشادات العملية مثل عمل صن وزملاؤه في عام 2019 حول كيفية ضبط بيرت لتصنيف النصوص في ترسيخ الضبط الدقيق كوصفة قياسية لتكييف نماذج اللغة الكبيرة المدربة مسبقًا مع مهام محددة.
متى تُستخدم
استخدم ضبط نموذج بيرت الدقيق لمهام النص - التصنيف، التنبؤ، أو استخراج العلاقات مثل التعرف على الكيانات المسماة والإجابة على الأسئلة - على متغيرات النص، مع ما لا يقل عن 50 مثالًا مصنفًا ويفضل عدة مئات أو أكثر. يفترض توفر نموذج بيرت مدرب مسبقًا وأن لديك بيانات مهمة مصنفة؛ يوصى باستخدام وحدة معالجة الرسوميات (GPU). أقل من حوالي 500 مثال مصنف يميل النموذج إلى الإفراط في التكيف، وأقل من حوالي 50 يكون الضبط الدقيق غير مجدٍ - التعلم الآلي الكلاسيكي القائم على TF-IDF هو الخيار الأكثر أمانًا هناك.
الحدود والاعتبارات
- على مجموعات البيانات المصنفة الصغيرة (أقل من حوالي 500 مثال) يفرط الضبط الدقيق في التكيف وتصبح المخرجات غير موثوقة.
- مع القليل جدًا من البيانات المصنفة (أقل من حوالي 50) يكون الضبط الدقيق غير ممكن على الإطلاق.
- يوصى باستخدام وحدة معالجة الرسوميات (GPU)، لذا فإن متطلبات الحوسبة أعلى من نماذج النص الكلاسيكية.
- يعتمد على توفر نموذج بيرت مدرب مسبقًا مناسب للغة والمجال.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يقدم التعلم بالنقل أداءً عاليًا حتى مع وجود بيانات مصنفة قليلة نسبيًا.
- يلتقط السياق ثنائي الاتجاه، ويتعامل مع معنى الكلمة الذي يعتمد على النص المحيط.
- عمود فقري مدرب مسبقًا واحد يخدم العديد من المهام: التصنيف، التعرف على الكيانات المسماة، الإجابة على الأسئلة.
- يتجنب تكلفة البيانات والحوسبة الهائلة لتدريب نموذج لغوي من الصفر.
التطبيقات
- تصنيف النصوص مثل تحليل المشاعر وتصنيف المواضيع.
- التعرف على الكيانات المسماة (NER) عبر النص.
- الإجابة على الأسئلة واستخراج النطاقات.
- تكييف نموذج لغوي عام مدرب مسبقًا مع مجال محدد ببيانات مصنفة محدودة.
كيف يعمل
كيف يعمل
تبدأ من نموذج بيرت مدرب مسبقًا تعلم بالفعل تمثيلات ثنائية الاتجاه للغة من مجموعات نصوص كبيرة. يحمل هذا النموذج المدرب مسبقًا معرفة لغوية عامة تنتقل إلى مهمتك المستهدفة، لذا لا تتعلم بنية اللغة من الصفر.
يتم إرفاق طبقة إخراج خاصة بالمهمة فوق بيرت لمهمتك المستهدفة - على سبيل المثال، رأس تصنيف لتصنيف المشاعر، أو رأس رمز مميز للتعرف على الكيانات المسماة، أو رأس نطاق للإجابة على الأسئلة. هذا الرأس يحول تمثيلات بيرت السياقية إلى تنبؤات لمهمتك.
يتم إعادة تدريب النموذج المدمج على مجموعة بيانات مهمتك الصغيرة المصنفة، وتحديث الأوزان لتتخصص في المهمة. عادةً ما يتم تدريب النموذج لبضع حقب؛ يوصى باستخدام وحدة معالجة الرسوميات (GPU) لأن الشبكة الأساسية كبيرة. النتيجة هي نموذج يقوم بتعيين مدخلات النص إلى تنبؤات المهمة.
الصيغة
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)الأخطاء الشائعة
- الضبط الدقيق على عدد قليل جدًا من الأمثلة المصنفة والثقة في المقاييس الناتجة.
- تخطي مجموعة تقييم منفصلة، وبالتالي لا يتم ملاحظة الإفراط في التكيف على مجموعة بيانات صغيرة.
- السعي وراء بيرت عندما يكون نموذج كلاسيكي قائم على TF-IDF أكثر موثوقية على البيانات الصغيرة جدًا.
- التدريب لعدد كبير جدًا من الحقب على مجموعة بيانات صغيرة، مما يضخم الإفراط في التكيف.
الأسئلة الشائعة
ما مقدار البيانات المصنفة التي أحتاجها؟
الضبط الدقيق مجدٍ من حوالي 50 مثالًا مصنفًا، ولكن الأداء أكثر موثوقية مع عدة مئات أو أكثر. أقل من حوالي 500 مثال يميل النموذج إلى الإفراط في التكيف، وأقل من حوالي 50 يكون الضبط الدقيق غير ممكن - نموذج كلاسيكي قائم على TF-IDF أكثر أمانًا هناك.
هل أحتاج إلى وحدة معالجة رسوميات (GPU)؟
يوصى باستخدام وحدة معالجة الرسوميات (GPU) لأن شبكة بيرت كبيرة والتدريب على وحدة المعالجة المركزية (CPU) بطيء. عادةً ما يعمل الضبط الدقيق لبضع حقب فقط، مما يبقي الحوسبة قابلة للإدارة على وحدة معالجة الرسوميات (GPU).
لماذا الضبط الدقيق بدلاً من التدريب من الصفر؟
لقد تعلم بيرت بالفعل تمثيلات لغوية ثنائية الاتجاه عامة أثناء التدريب المسبق. يعيد الضبط الدقيق استخدام هذه المعرفة من خلال التعلم بالنقل، لذا تحقق أداءً عاليًا ببيانات مصنفة وقوة حوسبة أقل بكثير من التدريب من الصفر.
ما هي المهام التي يمكن أن يتعامل معها ضبط نموذج بيرت الدقيق؟
عن طريق إرفاق رأس إخراج خاص بالمهمة، يمكنك استخدام نفس العمود الفقري المدرب مسبقًا للتصنيف، والتعرف على الكيانات المسماة، والإجابة على الأسئلة، من بين مهام نصية أخرى.
طرق ذات صلة
المصادر
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
افتح مرجع DOIتم النسخ.Sun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.
افتح مرجع DOIتم النسخ.