التعلم التحويلي باستخدام شبكات الذاكرة طويلة المدى (LSTM)
- قدّمه
- Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
- السنة
- 2018 (ULMFiT; concept since ~2010)
- النوع
- Transfer learning / Sequential model
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
التعلم التحويلي باستخدام شبكات الذاكرة طويلة المدى (LSTM) هو أسلوب يتم فيه تدريب شبكة الذاكرة طويلة المدى (Long Short-Term Memory) مسبقًا على مجموعة بيانات مصدر كبيرة أو مهمة معينة، ثم يتم نقل أوزانها المتعلمة وتعديلها بدقة لمهمة مستهدفة أصغر. يتيح هذا النهج، الذي شاعته ULMFiT (Howard & Ruder, 2018)، لنماذج LSTM تحقيق أداء قوي حتى عندما تكون البيانات المستهدفة الموصوفة نادرة.
الفكرة الحدسية وراء الطريقة
يُعد تدريب شبكة LSTM من الصفر على مجموعة بيانات صغيرة محفوفًا بالمخاطر: فنادرًا ما يتعلم النموذج أنماط اللغة أو التسلسل العامة ويسهل عليه الإفراط في التخصيص (overfitting). يتجنب التعلم التحويلي ذلك عن طريق تدريب شبكة LSTM أولاً على بيانات وفيرة — غالبًا ما يكون هدف نمذجة اللغة على مجموعة نصوص كبيرة — بحيث تقوم حالاتها المخفية بالفعل بترميز تمثيلات غنية للقواعد النحوية والسياق والمعنى. وعندما تقوم بعد ذلك بضبط هذه الأوزان بدقة لمهمتك المحددة، يتكيف النموذج بسرعة لأنه يبدأ من وضع أفضل بكثير من التهيئة العشوائية، تمامًا مثل الخبير الذي يحتاج فقط إلى توجيه موجز بدلاً من برنامج تدريبي كامل.
التاريخ
تم إضفاء الطابع الرسمي على المفهوم العام للتعلم التحويلي للشبكات العصبية بواسطة Pan & Yang (2010). وقد حظي تطبيقه العملي على الشبكات المتكررة باهتمام واسع مع ULMFiT (Howard & Ruder, 2018)، والذي أظهر أن نظام تدريب LSTM ثلاثي المراحل — نمذجة اللغة العامة، نمذجة اللغة في المجال المستهدف، الضبط الدقيق للمصنف — يمكن أن يضاهي أو يتفوق على النماذج الخاضعة للإشراف الأكبر بكثير في معايير تصنيف النصوص. وقد سبق نجاح ULMFiT وأثر بشكل مباشر على نموذج التدريب المسبق لعصر المحولات (BERT, GPT) ويظل مرجعًا أساسيًا للتعلم التحويلي التسلسلي.
متى تُستخدم
استخدم التعلم التحويلي باستخدام شبكات الذاكرة طويلة المدى (LSTM) عندما تكون لديك مهمة نمذجة تسلسلية — تصنيف النصوص، تحليل المشاعر، التعرف على الكيانات المسماة، التنبؤ بالسلاسل الزمنية — ولكن لديك فقط مجموعة بيانات موصوفة صغيرة. وهو فعال بشكل خاص لمهام معالجة اللغة الطبيعية (NLP) حيث يوجد نموذج لغوي مدرب مسبقًا للغة المصدر أو الهدف، وعندما يكون تكييف المجال (نصوص غير موصوفة من المجال المستهدف) ممكنًا. تجنبه عندما يختلف مجال التسلسل الخاص بك بشكل جذري عن مجموعة التدريب المسبق بحيث يكون النقل السلبي محتملاً، أو عندما تكون قابلية تفسير الحالات المتكررة الفردية مطلوبة (فضل النماذج الأبسط)، أو عندما تتوفر بدائل قائمة على المحولات (Transformer) مثل الضبط الدقيق لـ BERT وتكون مجموعة البيانات نصية (تتفوق المحولات عادةً على شبكات LSTM في معالجة اللغة الطبيعية منذ عام 2019).
الحدود والاعتبارات
- تجاوزت طرق النقل القائمة على المحولات (BERT, RoBERTa) إلى حد كبير شبكات LSTM لمهام معالجة اللغة الطبيعية (NLP)، وغالبًا ما تحقق دقة أعلى.
- تدريب شبكة LSTM تسلسلي ولا يمكن موازاته بسهولة، مما يجعل التدريب المسبق على مجموعات بيانات كبيرة جدًا بطيئًا.
- يمكن أن يحدث النقل السلبي إذا كانت مجالات المصدر والهدف غير متطابقة، مما يؤدي إلى تدهور الأداء إلى ما دون خط الأساس من الصفر.
- يتطلب نقطة تحقق LSTM مناسبة مدربة مسبقًا؛ للغات النادرة أو المجالات المتخصصة للغاية، قد لا يوجد أي منها.
- يمكن أن يكون استقرار الضبط الدقيق حساسًا لمعدل التعلم وجدولة التجميد، مما يتطلب بحثًا دقيقًا عن المعلمات الفائقة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يقلل بشكل كبير من متطلبات البيانات الموصوفة مقارنة بالتدريب من الصفر.
- يلتقط التبعيات التسلسلية طويلة المدى التي تفوتها نماذج حقيبة الكلمات والنماذج الضحلة.
- توفر الأوزان المدربة مسبقًا تهيئة قوية، مما يؤدي إلى تقارب أسرع وتعميم أفضل.
- قابل للتطبيق على كل من معالجة اللغة الطبيعية (NLP) وبيانات التسلسل غير اللغوية (السلاسل الزمنية، الكلام، الجينوميات).
- يوفر فك التجميد التدريجي ومعدلات التعلم التمييزية (ULMFiT) تحكمًا مبدئيًا في الضبط الدقيق.
- تمثيلات وسيطة قابلة للتفسير مقارنة بالعديد من معماريات المحولات (Transformer).
التطبيقات
- تصنيف النصوص (تحليل المشاعر، تصنيف الموضوعات، تصنيف الأخبار).
- التعرف على الكيانات المسماة وتسمية التسلسلات باستخدام مجموعات بيانات مشروحة محدودة.
- اكتشاف الشذوذ في السلاسل الزمنية والتنبؤ بها عندما تتوفر أوزان مدربة مسبقًا من سلاسل مماثلة.
- معالجة اللغة الطبيعية (NLP) للموارد المنخفضة للغات ذات البيانات المشروحة المحدودة ولكن مجموعات البيانات غير المشروحة المتاحة.
- تصنيف الملاحظات السريرية وتحليل التسلسلات الطبية الحيوية باستخدام نقاط تحقق LSTM المكيفة مع المجال.
- نمذجة تسلسل الكلام والصوت عندما يتوفر التدريب المسبق الصوتي.
كيف يعمل
كيف يعمل
يتم تدريب شبكة LSTM على مجموعة بيانات مصدر كبيرة باستخدام هدف عام، وأكثرها شيوعًا هو نمذجة اللغة (التنبؤ بالرمز التالي). تعلم هذه المرحلة الشبكة تمثيلات تسلسل عامة — البنية النحوية، والتواجدات المشتركة الشائعة، والتبعيات طويلة المدى — دون أي إشراف خاص بالمهمة. وتُستخدم الأوزان الناتجة كتهيئة للمهام اللاحقة.
قبل الضبط الدقيق للمهمة المستهدفة الموصوفة، يتم تكييف شبكة LSTM المدربة مسبقًا اختياريًا مع المجال المستهدف عن طريق مواصلة تدريب نمذجة اللغة على نصوص غير موصوفة من المجال المستهدف. تعمل خطوة تكييف المجال هذه، المستخدمة بشكل بارز في ULMFiT، على تضييق الفجوة في المفردات والأسلوب بين مجموعات البيانات المصدر والمستهدفة، مما يؤدي غالبًا إلى مكاسب كبيرة في الدقة بتكلفة منخفضة.
لتجنب تدمير التمثيلات المدربة مسبقًا، يتم عادةً تجميد الطبقات في البداية ثم فك تجميدها تدريجيًا من الأعلى (الخاص بالمهمة) إلى الأسفل (العام). قدمت ULMFiT فك التجميد التدريجي والضبط الدقيق التمييزي، حيث تتلقى الطبقات السفلية معدلات تعلم أصغر من الطبقات العليا، مما يحمي الميزات العامة مع السماح بالتكيف الخاص بالمهمة.
تُضاف طبقة علوية خاصة بالمهمة (مثل مصنف softmax لتصنيف النصوص، أو طبقة انحدار للتنبؤ بالتسلسل إلى قيمة) فوق شبكة LSTM. ثم يتم تدريب الشبكة بأكملها — أو الجزء غير المجمد منها — من البداية إلى النهاية على البيانات المستهدفة الموصوفة باستخدام معدل تعلم صغير وغالبًا ما يتم جدولة معدل التعلم المثلثي المائل لتثبيت التقارب.
يتم تقييم الأداء على مجموعة اختبار محجوزة باستخدام مقاييس مناسبة للمهمة (الدقة، F1، AUC للتصنيف؛ RMSE أو MAE للانحدار). نظرًا لندرة البيانات الموصوفة في إعدادات النقل النموذجية، يوصى بشدة باستخدام التحقق المتقاطع k-fold الطبقي. تقارن مقارنة مع خط أساس LSTM من الصفر لتحديد مقدار المكسب من النقل.
الأخطاء الشائعة
- استخدام نفس معدل التعلم المرتفع لجميع الطبقات أثناء الضبط الدقيق، مما يؤدي إلى نسيان كارثي للتمثيلات المدربة مسبقًا.
- تخطي تكييف المجال عندما يختلف المجال المستهدف بشكل ملحوظ عن مجموعة التدريب المسبق.
- التقييم فقط على تقسيم التدريب والإبلاغ عن دقة داخل العينة كنتيجة نهائية.
- تجاهل عدم توازن الفئات في المهمة المستهدفة دون إعادة وزن أو زيادة العينات.
- اختيار نقل LSTM عندما يتوفر محول (Transformer) مدرب مسبقًا لنفس اللغة أو المجال — التكلفة البديلة كبيرة.
الأسئلة الشائعة
متى يجب أن أفضل التعلم التحويلي لشبكات LSTM على الضبط الدقيق لـ BERT؟
فضل نقل LSTM للبيانات التسلسلية غير النصية (السلاسل الزمنية، الكلام، الجينوميات) أو عندما تكون الموارد الحاسوبية مقيدة بشدة، حيث أن شبكات LSTM أخف من المحولات الكبيرة. بالنسبة لمهام معالجة اللغة الطبيعية (NLP) القياسية مع النصوص الإنجليزية، تتفوق نماذج عائلة BERT دائمًا تقريبًا على شبكات LSTM ويجب أن تكون الخيار الافتراضي.
كم عدد الطبقات التي يجب أن أجمدها في بداية الضبط الدقيق؟
تتمثل الإستراتيجية الشائعة (من ULMFiT) في تجميد جميع الطبقات باستثناء الطبقة العلوية للمصنف في البداية، ثم فك تجميد طبقة واحدة تدريجيًا في كل مرة من الأعلى إلى الأسفل عبر العصور. وهذا يحمي تمثيلات الطبقات السفلية العامة مع تكييف الميزات عالية المستوى مع المهمة المستهدفة.
ماذا لو لم تكن هناك شبكة LSTM مدربة مسبقًا لمجالي أو لغتي؟
يمكنك تدريب نموذج لغوي LSTM الخاص بك مسبقًا على أي مجموعة بيانات كبيرة غير موصوفة في مجالك أو لغتك. حتى مجموعة بيانات مجال صغيرة نسبيًا (بضعة ملايين من الرموز) تنتج تهيئة أفضل من الأوزان العشوائية، خاصة للمصطلحات المتخصصة.
هل يمكنني تطبيق هذا على السلاسل الزمنية، وليس فقط النصوص؟
نعم. التعلم التحويلي باستخدام شبكات LSTM راسخ جيدًا للسلاسل الزمنية: يمكن ضبط شبكة مدربة مسبقًا على مجموعة كبيرة من التسلسلات ذات الصلة (مثل استهلاك الكهرباء أو إشارات تخطيط القلب الكهربائي) بدقة على سلسلة مستهدفة أصغر، وغالبًا ما تتفوق على خطوط الأساس لشبكات LSTM من الصفر ببيانات مستهدفة أقل بكثير.
كيف أعرف ما إذا كان النقل السلبي يحدث؟
قارن أداء النموذج المضبوط بدقة مقابل شبكة LSTM مدربة من الصفر على بيانات الهدف فقط. إذا كان أداء النموذج المنقول أسوأ، فمن المحتمل حدوث نقل سلبي. تشمل العلاجات تقييد الضبط الدقيق على الطبقات العليا فقط، أو استخدام معدل تعلم أصغر، أو اختيار مجموعة تدريب مسبق تتطابق بشكل أوثق مع المجال المستهدف.
طرق ذات صلة
المصادر
Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.
افتح مرجع DOIتم النسخ.Transfer learning. Wikipedia.
افتح مرجع المنشورتم النسخ.