شبكة الذاكرة طويلة قصيرة المدى المضبوطة بدقة (Fine-Tuned LSTM)
- قدّمه
- Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
- السنة
- 2018 (fine-tuning paradigm formalised); LSTM core: 1997
- النوع
- Supervised sequential model with transfer learning
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تُكيّف شبكة الذاكرة طويلة قصيرة المدى المضبوطة بدقة (Fine-Tuned LSTM) شبكة ذاكرة طويلة قصيرة المدى (Long Short-Term Memory) مُدربة مسبقًا على مجموعة نصوص كبيرة لمهمة لاحقة محددة — مثل تصنيف النصوص، أو تحليل المشاعر، أو وسم التسلسل — عن طريق مواصلة التدريب على بيانات مُوسومة خاصة بالمهمة. وقد شاع هذا النهج بفضل إطار عمل ULMFiT، ويحقق أداءً قويًا حتى عندما تكون البيانات المُوسومة نادرة.
الفكرة الحدسية وراء الطريقة
غالبًا ما يؤدي تدريب شبكة الذاكرة طويلة قصيرة المدى (LSTM) من الصفر على مجموعة بيانات مُوسومة صغيرة إلى نتائج ضعيفة لأن الشبكة يجب أن تتعلم بنية اللغة والمهمة في وقت واحد. يفصل الضبط الدقيق هذه الاهتمامات: فمجموعة نصوص كبيرة غير مُوسومة تُعلّم الشبكة تمثيلات تسلسلية عامة، ثم توجه مجموعة صغيرة مُوسومة تلك التمثيلات نحو المهمة المستهدفة. وتعمل الأوزان المُدربة مسبقًا كنقطة بداية معرفية، بحيث تُجري تحديثات التدرج أثناء الضبط الدقيق تعديلات مستهدفة بدلاً من تعلم كل شيء من التهيئة العشوائية.
التاريخ
قدم Hochreiter وSchmidhuber بنية شبكة الذاكرة طويلة قصيرة المدى (LSTM) في عام 1997 لمعالجة مشكلة التدرج المتلاشي في الشبكات المتكررة. وأصبح الضبط الدقيق لشبكات الذاكرة طويلة قصيرة المدى (LSTM) المُدربة مسبقًا لمعالجة اللغات الطبيعية (NLP) سائدًا مع ULMFiT (2018) لـ Howard وRuder، والذي أظهر أن التدريب ثلاثي المراحل — التدريب المسبق لنموذج اللغة، وتكييف المجال، والضبط الدقيق للمهمة — قلل بشكل كبير من البيانات المُوسومة المطلوبة لتصنيف نصوص قوي. وقد أثر ULMFiT على الموجة اللاحقة من الضبط الدقيق للمحولات (Transformer) المُدربة مسبقًا (BERT, GPT) التي تهيمن الآن على معايير معالجة اللغات الطبيعية (NLP).
متى تُستخدم
تُعد شبكة الذاكرة طويلة قصيرة المدى المضبوطة بدقة (Fine-Tuned LSTM) مناسبة عندما يكون لديك بيانات تسلسلية أو نصية، وأمثلة مُوسومة خاصة بالمهمة محدودة (عشرات إلى بضعة آلاف)، وإمكانية الوصول إلى نموذج لغوي لشبكة الذاكرة طويلة قصيرة المدى (LSTM) مُدرب مسبقًا أو القدرة على تحميله. وتتفوق في مهام تصنيف النصوص، وتحليل المشاعر، ووسم التسلسل حيث تكون نماذج المحولات (Transformer) الكاملة كثيفة الموارد للغاية أو تكون أطوال التسلسل متواضعة. تجنبها عندما تكون البيانات المُوسومة وفيرة والتدريب من الصفر ممكنًا، أو عندما يكون المجال المستهدف تقنيًا للغاية ولا يوجد نموذج مُدرب مسبقًا مناسب، أو عندما تتطلب المهمة تبعيات طويلة المدى جدًا تتعامل معها المحولات (Transformers) بشكل أفضل. بالنسبة لمجموعات النصوص المُوسومة الكبيرة، يتفوق ضبط نماذج BERT بدقة عادةً على مناهج شبكة الذاكرة طويلة قصيرة المدى (LSTM).
الحدود والاعتبارات
- يكون الأداء في مهام النصوص عمومًا أقل من نماذج المحولات (Transformer) المضبوطة بدقة (BERT, RoBERTa) عندما تسمح القدرة الحسابية بذلك.
- تعتمد الجودة بشكل كبير على مدى ملاءمة مجموعة نصوص التدريب المسبق للمجال المستهدف.
- التدريب في شبكة الذاكرة طويلة قصيرة المدى (LSTM) تسلسلي بطبيعته ولا يتوازى عبر الخطوات الزمنية، مما يجعل التدريب المسبق بطيئًا على التسلسلات الطويلة.
- يُدخل فك التجميد التدريجي ومعدلات التعلم التمييزية معلمات فائقة إضافية تتطلب ضبطًا دقيقًا.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- فعالة في أنظمة البيانات المنخفضة: تعوض التمثيلات المُدربة مسبقًا عن الأمثلة المُوسومة المحدودة.
- تكلفة حسابية أقل من الضبط الدقيق لنماذج المحولات (Transformer) الكبيرة على الأجهزة التي تعتمد على وحدة المعالجة المركزية فقط أو ذات الذاكرة المحدودة.
- يقلل فك التجميد التدريجي ومعدلات التعلم التمييزية من النسيان الكارثي للمعرفة المُدربة مسبقًا.
- تتعامل بشكل طبيعي مع التسلسلات ذات الأطوال المتغيرة دون آليات الانتباه الثقيلة التي تعتمد على الحشو.
- مناسبة تمامًا للاستدلال المتدفق أو في الوقت الفعلي نظرًا للطبيعة التسلسلية للحساب في شبكة الذاكرة طويلة قصيرة المدى (LSTM).
التطبيقات
- تصنيف النصوص ببيانات مُوسومة محدودة (المشاعر، الموضوع، النية).
- مهام وسم التسلسل مثل التعرف على الكيانات المسماة ووسم أجزاء الكلام.
- الكشف عن الشذوذ في السلاسل الزمنية والتنبؤ بها عندما تتوفر شبكات ذاكرة طويلة قصيرة المدى (LSTM) مُدربة مسبقًا خاصة بالمجال.
- معالجة اللغات الطبيعية (NLP) للغات ذات الموارد المنخفضة حيث لا تتوفر نماذج المحولات (Transformer) المُدربة مسبقًا.
- سيناريوهات النشر على الحافة أو المضمنة التي تتطلب نماذج تسلسلية أصغر من المحولات (Transformers) الكاملة.
- خطوط أنابيب تكييف المجال التكرارية حيث تُخصص شبكة ذاكرة طويلة قصيرة المدى (LSTM) عامة تدريجيًا لمجالات جديدة.
كيف يعمل
كيف يعمل
تُدرب شبكة ذاكرة طويلة قصيرة المدى (LSTM) متعددة الطبقات أولاً كنموذج لغوي على مجموعة نصوص كبيرة ذات مجال عام (مثل WikiText-103) للتنبؤ بالرمز التالي في التسلسل. وتُرسخ هذه المرحلة تمثيلات تسلسلية ودلالية غنية في الحالات المخفية دون الحاجة إلى أي تسميات للمهمة.
عند التكيف مع مجال جديد، تُفك تجميد الطبقات تدريجيًا من الطبقة المخرجة إلى الداخل — وهي تقنية تسمى فك التجميد التدريجي (gradual unfreezing). وهذا يمنع النسيان الكارثي للتمثيلات المُدربة مسبقًا من خلال السماح للطبقات المبكرة بالتحديث فقط بعد استقرار الطبقات اللاحقة على المهمة الجديدة.
يُلحق رأس إخراج خاص بالمهمة (مثل مصنف سوفت ماكس (softmax classifier)، أو طبقة CRF لوسم التسلسل، أو رأس الانحدار) بالحالة المخفية النهائية لشبكة الذاكرة طويلة قصيرة المدى (LSTM). يُدرب هذا الرأس أولاً بينما يكون جسم شبكة الذاكرة طويلة قصيرة المدى (LSTM) مجمدًا، ثم تُضبط الشبكة بأكملها بدقة من البداية إلى النهاية.
يُخصص الضبط الدقيق التمييزي (Discriminative fine-tuning) معدلات تعلم مختلفة لكل طبقة من طبقات شبكة الذاكرة طويلة قصيرة المدى (LSTM) — معدلات أقل للطبقات المبكرة التي تحتوي على ميزات عامة ومعدلات أعلى للطبقات اللاحقة الأقرب إلى المهمة. اقترح Howard & Ruder تقسيم معدل التعلم بمعامل 2.6 لكل طبقة عند الانتقال من المخرج إلى المدخل.
الصيغة
\eta_l = \eta_{L} / (2.6)^{L - l}تُدرب الشبكة غير المجمدة بالكامل على مجموعة البيانات المستهدفة المُوسومة، عادةً باستخدام جدول معدل تعلم مثلث مائل (slanted triangular learning rate schedule) يرتفع لفترة وجيزة ثم يتناقص. ويُقيّم الأداء على مجموعة تحقق محجوزة باستخدام مقاييس مناسبة للمهمة (الدقة، F1، AUROC، إلخ) ويُختار أفضل نقطة تفتيش.
الأخطاء الشائعة
- تخطي فك التجميد التدريجي والضبط الدقيق لجميع الطبقات في وقت واحد، مما يتسبب في نسيان كارثي للتمثيلات المُدربة مسبقًا.
- استخدام نموذج مُدرب مسبقًا من مجال غير متطابق (على سبيل المثال، نص ويب عام لتسلسلات طبية حيوية تقنية للغاية) دون تكييف مجال وسيط.
- التقييم فقط على تقسيم التدريب أو الفشل في مراقبة خسارة التحقق للكشف عن التجهيز الزائد على مجموعات البيانات المستهدفة الصغيرة.
- تحديد معدل تعلم موحد عبر جميع طبقات شبكة الذاكرة طويلة قصيرة المدى (LSTM) بدلاً من تطبيق معدلات تمييزية.
- تجاهل عدم توازن الفئات في رأس التصنيف، مما يؤدي إلى دقة مبالغ فيها في الفئة الغالبة.
الأسئلة الشائعة
هل لا تزال شبكة الذاكرة طويلة قصيرة المدى المضبوطة بدقة (Fine-Tuned LSTM) تنافسية مع النماذج القائمة على BERT؟
بالنسبة لمعظم معايير معالجة اللغات الطبيعية (NLP)، تتفوق نماذج المحولات (Transformer) المضبوطة بدقة على شبكات الذاكرة طويلة قصيرة المدى (LSTM) المضبوطة بدقة عندما تسمح القدرة الحسابية بذلك. ومع ذلك، تظل شبكات الذاكرة طويلة قصيرة المدى (LSTM) المضبوطة بدقة تنافسية على مجموعات البيانات الصغيرة، وفي البيئات محدودة الموارد، ومهام الاستدلال المتدفق حيث تُعد الحسابات التسلسلية لشبكة الذاكرة طويلة قصيرة المدى (LSTM) ميزة.
ما هي شبكة الذاكرة طويلة قصيرة المدى (LSTM) المُدربة مسبقًا التي يجب أن أستخدمها؟
بالنسبة لمعالجة اللغات الطبيعية (NLP) الإنجليزية، تُعد أوزان AWD-LSTM المُدربة على WikiText-103 (التي أصدرها مؤلفو ULMFiT عبر fastai) نقطة بداية قياسية. بالنسبة للمهام الخاصة بالمجال، عادةً ما يؤدي التدريب المسبق للمجال الوسيط على نصوص غير مُوسومة داخل المجال قبل الضبط الدقيق للمهمة إلى مكاسب ذات مغزى.
كم عدد الحقب (epochs) المطلوبة عادةً للضبط الدقيق؟
يتطلب الضبط الدقيق الخاص بالمهمة عادةً 2-10 حقب فقط على مجموعة البيانات المُوسومة. راقب خسارة التحقق عن كثب؛ يمكن لشبكات الذاكرة طويلة قصيرة المدى (LSTM) أن تُجهز بشكل زائد بسرعة على مجموعات البيانات المُوسومة الصغيرة. يوصى بشدة بالتوقف المبكر بناءً على F1 التحقق أو الخسارة.
ما الفرق بين الضبط الدقيق وتدريب شبكة الذاكرة طويلة قصيرة المدى (LSTM) باستخدام التعلم التحويلي؟
غالبًا ما تتداخل المصطلحات، لكن الضبط الدقيق يشير تحديدًا إلى تحديث الأوزان المُدربة مسبقًا (حتى لو بشكل انتقائي)، بينما يصف التعلم التحويلي أحيانًا تجميد جميع الطبقات المُدربة مسبقًا وتدريب رأس المهمة فقط. يتفوق الضبط الدقيق الكامل مع فك التجميد التدريجي باستمرار على نهج الجسم المجمد.
متى يجب أن أُفضل محولًا (Transformer) مضبوطًا بدقة على شبكة ذاكرة طويلة قصيرة المدى (Fine-Tuned LSTM) مضبوطة بدقة؟
فضل محولًا (Transformer) مضبوطًا بدقة (مثل BERT) عندما يكون لديك موارد وحدة معالجة الرسوميات (GPU)، وتتضمن المهمة تبعيات طويلة المدى أو فهمًا سياقيًا معقدًا، وتتوفر نقاط تفتيش كبيرة مُدربة مسبقًا لمجالك. اختر شبكة الذاكرة طويلة قصيرة المدى المضبوطة بدقة (Fine-Tuned LSTM) عندما تكون الأجهزة محدودة، وتكون التسلسلات قصيرة إلى متوسطة الطول، أو يكون زمن انتقال الاستدلال على الأجهزة الطرفية قيدًا.
طرق ذات صلة
المصادر
Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.
افتح مرجع DOIتم النسخ.Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
افتح مرجع DOIتم النسخ.