الانتقال إلى المحتوى
العودة إلى نتائج البحث

شبكة عصبية متكررة مضبوطة بدقة

قدّمه
Popularised by Howard & Ruder (ULMFiT, 2018); RNN fine-tuning concept developed iteratively in the NLP community from ~2015
السنة
2015–2018
النوع
Transfer learning / sequential model adaptation
العائلة
Deep learning / NLP / CV

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تبدأ الشبكة العصبية المتكررة (RNN) المضبوطة بدقة من نموذج مُدرَّب مسبقًا على مجموعات بيانات كبيرة أو بيانات سلاسل زمنية وتكيّف أوزانها لمهمة محددة لاحقة من خلال تحديثات تدرج مُتحكَّم بها. يقلل هذا النهج بشكل كبير من البيانات المصنفة المطلوبة لأداء قوي في نمذجة التسلسل لتصنيف النصوص، والتعرف على الكيانات المسماة، وتحليل المشاعر، والمهام ذات الصلة.

الفكرة الحدسية وراء الطريقة

يتطلب تدريب شبكة عصبية متكررة من الصفر مجموعات بيانات مصنفة كبيرة وأوقات تشغيل طويلة. الضبط الدقيق يتجاوز ذلك عن طريق استعارة شبكة تعرف بالفعل بنية اللغة أو الأنماط المتسلسلة، ثم دفعها للتخصص. الطبقات المتكررة السابقة - التي تشفر الأنماط النحوية والزمنية العامة - تحتاج فقط إلى تعديل لطيف، بينما تستوعب الطبقات اللاحقة ورأس الإخراج الخاص بالمهمة معظم المعلومات الجديدة. يمنع جدول معدل التعلم الدقيق النموذج من نسيان ما يعرفه بالفعل.

التاريخ

ظهر الضبط الدقيق للشبكات العصبية المتكررة المدربة مسبقًا لمعالجة اللغة الطبيعية تدريجيًا من عام 2015 حيث أظهرت نماذج اللغة المدربة على مجموعات بيانات كبيرة تمثيلات قابلة للنقل. تم تنظيم هذه الممارسة بواسطة ورقة ULMFiT لـ Howard و Ruder (ACL 2018)، والتي قدمت إلغاء التجميد التدريجي ومعدلات التعلم التمييزي لنماذج لغة LSTM، وحققت نتائج متطورة على ستة معايير لتصنيف النصوص باستخدام القليل جدًا من البيانات الخاصة بالمهمة. بينما سرعان ما هيمنت نماذج المحولات المضبوطة بدقة (BERT، 2018) على معايير معالجة اللغة الطبيعية، تظل الشبكات العصبية المتكررة المضبوطة بدقة ذات صلة بالنشر المحدود الموارد وتطبيقات السلاسل الزمنية.

متى تُستخدم

استخدم شبكة عصبية متكررة مضبوطة بدقة عندما تكون البيانات المصنفة لمهمتك محدودة ولكن تتوفر شبكة عصبية متكررة مدربة مسبقًا أو نموذج لغوي لمجالك أو لغتك. وهي مناسبة لتصنيف النصوص، وتحليل المشاعر، والتعرف على الكيانات المسماة، والتنبؤ المتسلسل حيث يكون نموذج قائم على المحولات مفرط المعلمات أو غير متاح. تجنب ضبط الشبكات العصبية المتكررة العادية عندما تهيمن التبعيات الطويلة جدًا - LSTM أو المحولات أفضل هناك - أو عندما يكون زمن الاستدلال في الوقت الفعلي حرجًا، حيث يمكن أن تكون حتى الشبكات العصبية المتكررة الصغيرة بطيئة في الفك. لا تطبق ضبط الشبكات العصبية المتكررة على البيانات الجدولية أو غير المتسلسلة بشكل بحت.

الحدود والاعتبارات

  • تعاني الشبكات العصبية المتكررة العادية من تدرجات متلاشية وتواجه صعوبة في التبعيات طويلة المدى؛ يُفضل نماذج LSTM أو GRU الأساسية.
  • تتأثر جودة الضبط الدقيق بمدى ملاءمة مجموعة بيانات التدريب المسبق - مجال غير متطابق يقلل من المكاسب.
  • تتطلب حساسية المعلمات الفائقة (جدول معدل التعلم، حقب إلغاء التجميد) ضبطًا دقيقًا أو بحثًا تحققًا.
  • تم استبدالها إلى حد كبير بنماذج قائمة على المحولات (BERT، RoBERTa) لمعظم معايير معالجة اللغة الطبيعية عندما تكون القدرة الحاسوبية كافية.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يقلل بشكل كبير من حجم البيانات المصنفة المطلوبة مقارنة بالتدريب من الصفر.
  • تشفّر الأوزان المدربة مسبقًا تمثيلات متسلسلة غنية تنتقل عبر المهام والمجالات ذات الصلة.
  • أخف من الناحية الحسابية من ضبط نماذج المحولات الكبيرة، مما يجعلها متاحة دون مجموعات وحدات معالجة الرسوميات.
  • يحد إلغاء التجميد التدريجي ومعدلات التعلم التمييزي من النسيان الكارثي بفعالية.
  • مرن: يعمل للنصوص، والسلاسل الزمنية، والكلام، وأي بيانات منظمة بالتسلسل.

التطبيقات

  • تصنيف النصوص (تحليل المشاعر، تصنيف الموضوعات) بأمثلة مصنفة محدودة.
  • التعرف على الكيانات المسماة وتصنيف التسلسل في مجالات متخصصة مثل النصوص الطبية الحيوية أو القانونية.
  • اكتشاف شذوذ السلاسل الزمنية عن طريق تكييف نماذج التسلسل المدربة مسبقًا مع إشارات المستشعرات المحددة.
  • تكييف نموذج اللغة لمجموعات البيانات منخفضة الموارد أو الخاصة بالمجال.
  • أنظمة التوصية المتسلسلة التي تستفيد من مشفرات سلوك المستخدم المدربة مسبقًا.

كيف يعمل

كيف يعمل

1

يتم أولاً تدريب شبكة عصبية متكررة أساسية (RNN عادية، LSTM، أو GRU) مسبقًا على مجموعة بيانات غير مصنفة كبيرة من خلال هدف نمذجة اللغة مثل التنبؤ بالرمز التالي، أو على سلسلة زمنية كبيرة من مجال المصدر. تنشئ هذه المرحلة تمثيلات تلتقط بنية التسلسل العامة دون أي تسميات خاصة بالمهمة.

2

عند التكيف مع المهمة المستهدفة، يتم إلغاء تجميد الطبقات تدريجيًا من الأعلى (الأقرب إلى الإخراج) إلى الأسفل. يمنع البدء بجميع الطبقات المتكررة المجمدة النسيان الكارثي للأوزان المدربة مسبقًا؛ يسمح إلغاء التجميد التدريجي لكل طبقة بالتكيف قبل تحرير الطبقة التالية.

3

يتم تعيين معدلات تعلم مختلفة لطبقات مختلفة - الأعلى بالقرب من الإخراج، والأدنى بالقرب من الإدخال. تعكس استراتيجية معدل التعلم التمييزي هذه، التي شاعها ULMFiT (Howard and Ruder 2018)، الملاحظة بأن الطبقات الدنيا تشفر ميزات عامة يجب أن تتغير بشكل طفيف فقط.

4

يتم إضافة رأس إخراج خاص بالمهمة (على سبيل المثال، مصنف خطي للمشاعر، أو CRF لتصنيف التسلسل) فوق الطبقة المتكررة النهائية. يتم تدريب هذا الرأس بشكل مشترك مع الطبقات المتكررة غير المجمدة، مما يسمح للنموذج بربط التمثيلات المتعلمة بتسميات المجال المستهدف.

5

يتم تقييم أداء النموذج على مجموعة تحقق منفصلة باستخدام مقاييس مناسبة للمهمة (الدقة، F1، F1 المتوسط ​​الكبير للفئات غير المتوازنة، أو مقاييس مستوى التسلسل). يمنع الإيقاف المبكر بناءً على خسارة التحقق من الصحة من الإفراط في ملاءمة مجموعة الضبط الدقيق الصغيرة.

الأخطاء الشائعة

  • استخدام معدل تعلم مرتفع واحد عبر جميع الطبقات، مما يكتب فوق الأوزان المدربة مسبقًا ويلغي فوائد النقل.
  • تخطي إلغاء التجميد التدريجي وضبط جميع الطبقات في وقت واحد، مما يؤدي إلى نسيان كارثي.
  • التقييم فقط على الدقة عندما تكون الفئات غير متوازنة - قم دائمًا بالإبلاغ عن F1 الكبير والمقاييس لكل فئة.
  • افتراض أن نموذجًا مدربًا مسبقًا من لغة أو مجال مختلف سينتقل جيدًا دون تكييف المجال.
  • إهمال الإيقاف المبكر والإفراط في ملاءمة مجموعة الضبط الدقيق عندما تكون البيانات المصنفة صغيرة.

الأسئلة الشائعة

هل يجب أن أستخدم شبكة عصبية متكررة عادية، LSTM، أم GRU كأساس؟

فضل دائمًا LSTM أو GRU على شبكة عصبية متكررة عادية. تعاني الشبكات العصبية المتكررة العادية من تدرجات متلاشية عبر تسلسلات أطول من بضع عشرات من الخطوات، مما يجعل التمثيلات المدربة مسبقًا هشة. تم تصميم LSTM و GRU خصيصًا للاحتفاظ بالمعلومات طويلة المدى والضبط الدقيق بشكل أكثر استقرارًا.

كم عدد الحقب التي يجب أن يستمر فيها الضبط الدقيق؟

عادةً 3-10 حقب في المهمة المستهدفة، اعتمادًا على حجم مجموعة البيانات. استخدم الإيقاف المبكر بناءً على خسارة التحقق من الصحة بدلاً من عدد ثابت من الحقب. الضبط الدقيق لفترة طويلة جدًا على مجموعة بيانات صغيرة سيؤدي إلى الإفراط في الملاءمة على الرغم من التهيئة المدربة مسبقًا.

متى يجب أن أفضل محولًا مضبوطًا بدقة على شبكة عصبية متكررة مضبوطة بدقة؟

عندما لا تكون القدرة الحاسوبية عنق الزجاجة والأداء المتطور للمعايير هو الهدف، تتفوق المحولات المضبوطة بدقة (BERT، RoBERTa) باستمرار على الشبكات العصبية المتكررة المضبوطة بدقة في مهام معالجة اللغة الطبيعية. اختر شبكة عصبية متكررة مضبوطة بدقة عندما تحتاج إلى بصمة ذاكرة أصغر، أو استدلال أسرع على وحدة المعالجة المركزية، أو تعمل مع بيانات سلاسل زمنية طويلة حيث يكون انتباه المحولات التربيعي غير عملي.

ماذا لو لم يكن هناك شبكة عصبية متكررة مدربة مسبقًا لمجالي؟

إذا كان النموذج المدرب مسبقًا للغتك أو مجالك غير متاح، ففكر في تدريب LSTM صغير مسبقًا على أي نص متاح غير مصنف من المجال كخطوة أولى، حتى لو كانت المجموعة متواضعة. بدلاً من ذلك، استخدم نموذجًا متعدد اللغات مدربًا مسبقًا واضبطه بدقة على بيانات اللغة المستهدفة.

كيف أتجنب النسيان الكارثي؟

طبق إلغاء التجميد التدريجي (إلغاء تجميد الطبقات واحدة تلو الأخرى من الأعلى إلى الأسفل) واستخدم معدلات تعلم أقل للطبقات السابقة (معدلات تعلم تمييزية). تساعد جداول معدل التعلم المائل المثلثي، كما هو مقترح في ULMFiT، النموذج أيضًا على الاستقرار في حل جيد دون محو المعرفة المدربة مسبقًا.

طرق ذات صلة

المصادر

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of ACL 2018, 328–339.

    افتح مرجع DOI
    تم النسخ.
  2. Recurrent neural network. Wikipedia.

    افتح مرجع المنشور
    تم النسخ.