الانتقال إلى المحتوى
العودة إلى نتائج البحث

محوّل مُعدَّل

قدّمه
Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
السنة
2017–2019
النوع
Transfer learning / supervised fine-tuning
العائلة
Deep learning / NLP / CV

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يُعدِّل الضبط الدقيق للمحوّل (Transformer) نموذجًا كبيرًا مُدرَّبًا مسبقًا - مثل BERT أو GPT أو ViT - لمهمة محددة لاحقة عن طريق مواصلة التدريب المستند إلى التدرج على مجموعة بيانات مستهدفة مُصنَّفة. هذا النموذج المكون من مرحلتين (التدريب المسبق ثم الضبط الدقيق) يحقق باستمرار أحدث النتائج عبر مهام معالجة اللغة الطبيعية والرؤية الحاسوبية باستخدام بيانات أقل بكثير خاصة بالمهمة مقارنة بالتدريب من الصفر.

الفكرة الحدسية وراء الطريقة

لقد تعلم المحوّل المُدرَّب مسبقًا تمثيلات غنية للغة أو الصور من مجموعات بيانات ضخمة. يشبه الضبط الدقيق توظيف خبير يعرف المجال بعمق بالفعل وتعليمه وظيفتك المحددة. بدلاً من إعادة كتابة كل معرفتهم من الصفر، فإنك تضيف رأس إخراج صغير لمهمتك وتُحدِّث الشبكة بأكملها بمعدل تعلم منخفض على أمثلتك المصنفة. توفر الأوزان المدربة مسبقًا نقطة انطلاق دافئة وقوية، لذلك حتى بضع مئات من الأمثلة المصنفة يمكن أن تؤدي إلى أداء قوي - وهو أمر مستحيل عند التدريب من الصفر.

التاريخ

تم تقديم بنية المحوّل بواسطة Vaswani وآخرون في عام 2017، واستبدلت الشبكات المتكررة بآليات الانتباه الذاتي. قام Howard و Ruder (2018) بتشكيل الضبط الدقيق لنموذج اللغة باستخدام ULMFiT، وقام Devlin وآخرون (2019) بتوسيعه إلى BERT، مما أظهر أن الضبط الدقيق لنموذج واحد مدرب مسبقًا يحقق أفضل النتائج عبر أحد عشر معيارًا لمعالجة اللغة الطبيعية. أصبح هذا النموذج المكون من التدريب المسبق ثم الضبط الدقيق النهج السائد بسرعة في معالجة اللغة الطبيعية ثم انتشر إلى الرؤية الحاسوبية عبر محوّلات الرؤية.

متى تُستخدم

استخدم المحوّلات المُعدَّلة عندما يكون لديك مهمة نصية أو صورية أو متعددة الوسائط مُصنَّفة وتريد أحدث دقة دون تدريب نموذج كبير من الصفر. يتفوق عندما تكون البيانات المصنفة محدودة (عشرات إلى آلاف الأمثلة) لأن التمثيلات المدربة مسبقًا تحمل معظم المعرفة المطلوبة. قوي بشكل خاص لمهام معالجة اللغة الطبيعية مثل التصنيف، وتحديد الكيانات المسماة، والإجابة على الأسئلة، وبشكل متزايد لمهام الرؤية عبر محوّلات الرؤية (ViT). لا تستخدم عندما لا تستطيع بيئة النشر دعم استدلال النموذج الكبير (مثل أجهزة الحافة ذات ميزانيات زمن الاستجابة/الذاكرة الصارمة بدون تكميم)، عندما يكون مجال التدريب المسبق مختلفًا جذريًا عن المجال المستهدف ولا توجد نقطة تفتيش خاصة بالمجال، أو عندما تكون الشفافية الكاملة للنموذج وقابلية تفسير المعاملات مطلوبة من قبل المراجعين أو الجهات التنظيمية.

الحدود والاعتبارات

  • نماذج المحوّلات المدربة مسبقًا كبيرة (110 مليون - مليارات المعاملات)، وتتطلب ذاكرة GPU كبيرة وحوسبة للضبط الدقيق.
  • صندوق أسود بطبيعته؛ ينتج الضبط الدقيق القياسي لا معاملات قابلة للتفسير، مما قد يتعارض مع معايير إعداد التقارير الأكاديمية.
  • يمكن أن يكون الأداء غير مستقر عبر البذور العشوائية، خاصة على مجموعات البيانات المستهدفة الصغيرة، مما يتطلب تشغيلات متعددة للحصول على تقديرات موثوقة.
  • خطر النسيان الكارثي إذا كان معدل التعلم أو عدد الحقب مرتفعًا جدًا.
  • يتطلب محاذاة بين مجال التدريب المسبق والمجال المستهدف؛ تؤدي الاختلافات إلى تدهور الأداء بشكل كبير.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يحقق أداءً متطورًا في مجموعة واسعة من المهام باستخدام أمثلة مصنفة قليلة نسبيًا.
  • يستفيد من مليارات المعاملات من التمثيلات المتعلمة مسبقًا، مما يقلل بشكل كبير من بيانات التدريب المطلوبة.
  • تدعم البنية المرنة التصنيف والانحدار والتوليد والتنبؤ الهيكلي ومهام الرؤية ضمن إطار موحد.
  • توفر مراكز النماذج التي تحتفظ بها المجتمعات (Hugging Face Hub) آلاف نقاط التفتيش الخاصة بالمجال الجاهزة للضبط الدقيق.
  • تلتقط التمثيلات السياقية التبعيات طويلة المدى التي تفوتها نماذج حقيبة الكلمات (bag-of-words) والنماذج القائمة على RNN.
  • تؤدي وصفات ومكتبات الضبط الدقيق الموحدة (Transformers، PyTorch Lightning) إلى خفض حاجز التنفيذ القابل للتكرار.

التطبيقات

  • تصنيف النصوص (تحليل المشاعر، تصنيف المواضيع، اكتشاف خطاب الكراهية).
  • تحديد الكيانات المسماة، ووسم أجزاء الكلام، ومهام تسمية التسلسل الأخرى.
  • الإجابة على الأسئلة وفهم القراءة على مجموعات النصوص الخاصة بالمجال.
  • تصنيف الصور والتعرف على الكائنات عبر محوّلات الرؤية المُعدَّلة.
  • تحليل المستندات الطبية والقانونية باستخدام نقاط تفتيش مدربة مسبقًا خاصة بالمجال.
  • مهام اللغات منخفضة الموارد حيث تكون البيانات المصنفة نادرة ولكن توجد نقطة تفتيش متعددة اللغات (mBERT، XLM-R).

كيف يعمل

كيف يعمل

1

اختر نقطة تفتيش للمحوّل (Transformer checkpoint) تتطابق فيها مجال التدريب المسبق مع المهمة المستهدفة. بالنسبة لمهام النص، تعد نماذج مثل BERT أو RoBERTa أو GPT-2 المدربة مسبقًا على مجموعات بيانات كبيرة معيارية. بالنسبة لمهام الصور، تعد متغيرات محوّل الرؤية (ViT) المدربة مسبقًا على ImageNet أو CLIP شائعة. تُفضل النماذج المدربة مسبقًا الخاصة بالمجال (مثل BioBERT، LegalBERT) عندما تختلف مفردات المجال المستهدف عن مجموعات البيانات للأغراض العامة.

2

أضف رأسًا خفيف الوزن خاصًا بالمهمة فوق طبقة المحوّل النهائية: طبقة تصنيف خطية لتصنيف التسلسل، طبقة خطية على مستوى الرمز المميز لتسمية التسلسل (NER، POS)، أو رأس استخراج جزء لتحديد الإجابة على الأسئلة. يتم تهيئة هذا الرأس فقط عشوائيًا؛ يحمل جسم المحوّل أوزانًا مدربة مسبقًا.

3

قم بترميز مجموعة البيانات المستهدفة المصنفة باستخدام مُرمِّز النموذج الأصلي للحفاظ على محاذاة المفردات. قم بتطبيق الاقتطاع والحشو لتناسب الحد الأقصى لطول تسلسل النموذج. قسّم إلى مجموعات تدريب وتحقق؛ قم بالطبقية حسب الفئة إذا كانت تسميات التصنيف غير متوازنة. احسب أوزان الفئة أو قم بتطبيق زيادة العينات إذا كان هناك اختلال شديد.

4

قم بتدريب النموذج بأكمله من البداية إلى النهاية على البيانات المستهدفة باستخدام معدل تعلم صغير (عادةً من 1e-5 إلى 5e-5 لنماذج عائلة BERT) وجدول زمني قصير (2-5 حقب لمعظم مهام معالجة اللغة الطبيعية). يُعد الإحماء الخطي لمعدل التعلم على مدار أول 10٪ من الخطوات متبوعًا بانخفاض خطي ممارسة قياسية. راقب خسارة التحقق عند كل حقبة وطبق الإيقاف المبكر لمنع النسيان الكارثي للمعرفة المدربة مسبقًا.

الصيغة
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

قم بتقييم مجموعة اختبار منفصلة باستخدام مقاييس مناسبة للمهمة: الدقة و F1 الكلي للتصنيف، F1 على مستوى الجزء لتحديد الكيانات المسماة والإجابة على الأسئلة، ROUGE أو BERTScore للتلخيص. أبلغ عن الأداء عبر بذور عشوائية متعددة لأن نتائج الضبط الدقيق يمكن أن تكون حساسة للتهيئة، خاصة على مجموعات البيانات الصغيرة.

الأخطاء الشائعة

  • استخدام معدل تعلم مرتفع جدًا (أعلى من 1e-4) مما يسبب النسيان الكارثي للأوزان المدربة مسبقًا.
  • الضبط الدقيق لعدد كبير جدًا من الحقب دون إيقاف مبكر، مما يؤدي إلى الإفراط في التكيف مع مجموعات البيانات المستهدفة الصغيرة.
  • الإبلاغ عن النتائج من تشغيل ضبط دقيق واحد دون حساب المتوسط عبر بذور متعددة، مما يخفي التباين العالي.
  • تجاهل محاذاة الترميز باستخدام مُرمِّز مختلف عن المستخدم أثناء التدريب المسبق.
  • اختيار نقطة تفتيش للأغراض العامة عندما يكون نموذج خاص بالمجال (مثل BioBERT، SciBERT) متاحًا وأكثر ملاءمة بشكل واضح.

الأسئلة الشائعة

كم عدد الأمثلة المصنفة التي أحتاجها لضبط محوّل؟

يعتمد على تعقيد المهمة، لكن المحوّلات فعالة جدًا في استخدام البيانات. غالبًا ما تعمل مهام التصنيف بشكل جيد مع بضع مئات إلى بضعة آلاف من الأمثلة المصنفة. بالنسبة لمجموعات البيانات الصغيرة جدًا (أقل من حوالي 200 مثال)، قد تكون طرق التعلم القليل أو طرق المعاملات الفعالة مثل LoRA أو ضبط الموجه (prompt tuning) أكثر استقرارًا.

هل يجب عليّ تجميد جسم المحوّل وتدريب الرأس فقط؟

يتفوق الضبط الدقيق الكامل من البداية إلى النهاية باستمرار على التدريب بالرأس فقط في معظم الإعدادات. يُعد تجميد الجسم مفيدًا بشكل أساسي عندما يكون لديك أمثلة قليلة جدًا أو موارد حوسبة محدودة جدًا، ولكنه يضحي بالتكيف الخاص بالمهمة مع التمثيلات.

ما هو معدل التعلم الذي يجب أن أستخدمه؟

نماذج عائلة BERT حساسة لمعدل التعلم. تُعد القيم بين 1e-5 و 5e-5 مع إحماء خطي على مدار 6-10٪ من إجمالي الخطوات نقاط انطلاق قياسية. عادةً ما تسبب المعدلات الأعلى من 1e-4 نسيانًا كارثيًا.

كيف أختار بين نقاط التفتيش المختلفة المدربة مسبقًا؟

فضل نقاط التفتيش المطابقة للمجال (BioBERT للنصوص الطبية، LegalBERT للنصوص القانونية، SciBERT للنصوص العلمية) عند توفرها. للمهام العامة، تتفوق RoBERTa أو DeBERTa عادةً على BERT العادي. تحقق من لوحة المتصدرين لنماذج Hugging Face لمعايير الأداء الخاصة بالمهمة.

هل المحوّل المُعدَّل قابل للتفسير بما يكفي للتقارير الأكاديمية؟

ليس بالمعنى التقليدي للإبلاغ عن المعاملات. ومع ذلك، يمكن لتصور الانتباه، والتدرجات المتكاملة، والتفسيرات المستندة إلى SHAP الكشف عن الرموز التي تدفع التنبؤات. تُقبل هذه التقنيات بشكل متزايد في أبحاث معالجة اللغة الطبيعية التطبيقية ولكنها قد لا ترضي المراجعين في سياقات العلوم الاجتماعية التأكيدية الصارمة.

طرق ذات صلة

المصادر

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.

    افتح مرجع المنشور
    تم النسخ.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    افتح مرجع المنشور
    تم النسخ.