التعلم بالنقل باستخدام الشبكات العصبية المتكررة
- قدّمه
- Pan, S. J. & Yang, Q. (transfer learning survey); RNN origins: Rumelhart, D. E. et al. (1986)
- السنة
- 2010 (TL survey); RNN: 1986
- النوع
- Transfer learning on sequence model
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يعيد التعلم بالنقل باستخدام الشبكات العصبية المتكررة (TL-RNN) استخدام الأوزان التي تعلمتها شبكة عصبية متكررة (RNN) على مهمة مصدر كبيرة - مثل نمذجة اللغة أو التنبؤ بالتسلسل - ويقوم بتكييفها لمهمة هدف جديدة، وغالبًا ما تكون أصغر. تتيح هذه الاستراتيجية للممارسين الحصول على أداء قوي في نمذجة التسلسل دون الحاجة إلى مجموعات بيانات ضخمة مصنفة.
الفكرة الحدسية وراء الطريقة
عادةً ما يؤدي تدريب شبكة عصبية متكررة من الصفر على مجموعة بيانات هدف صغيرة إلى ضعف التعميم لأن الشبكات المتكررة تحتوي على العديد من المعلمات وتتطلب بيانات كبيرة للتقارب بشكل موثوق. يختصر التعلم بالنقل هذه المشكلة: تتعلم شبكة عصبية متكررة أولاً أنماط التسلسل العامة من بيانات المصدر الوفيرة، وتشفير أشياء مثل تكرار الكلمات المشتركة أو الإيقاعات الزمنية في أوزانها. تُستخدم هذه الأوزان بعد ذلك كنقطة بداية دافئة للمهمة الهدف، لذلك تحتاج الشبكة فقط إلى ضبط جزء صغير من معلماتها على البيانات الهدف المحدودة. والنتيجة هي تقارب أسرع ودقة أفضل من التهيئة العشوائية وحدها.
التاريخ
تمت صياغة الأساس النظري للتعلم بالنقل بواسطة Pan و Yang في مسح IEEE TKDE لعام 2010، والذي لا يزال المرجع الأساسي. اكتسب تطبيق التعلم بالنقل على البنيات المتكررة زخمًا عمليًا حوالي عام 2015-2018 حيث أصبحت LSTMs و GRUs سائدة في معالجة اللغة الطبيعية. أظهرت أعمال مثل ELMo (Peters et al., 2018) أن شبكات LSTM ثنائية الاتجاه المدربة مسبقًا يمكنها نقل تمثيلات اللغة السياقية إلى مهام لاحقة متنوعة، قبل أن تتولى نماذج المحولات هذا الدور إلى حد كبير بعد عام 2019.
متى تُستخدم
استخدم TL-RNN عندما يكون لديك مهمة هدف تسلسلية أو نصية مع بيانات مصنفة محدودة ولكن يمكنك تحديد مهمة مصدر ذات صلة أو نموذج متكرر مدرب مسبقًا. وهي مناسبة تمامًا لمهام معالجة اللغة الطبيعية (تحليل المشاعر، تصنيف النصوص، التعرف على الكيانات المسماة) ومشكلات التسلسل الزمني (اكتشاف الشذوذ، التنبؤ بالطلب) حيث تكون البيانات المجاورة للمجال وفيرة ولكن تسميات الهدف نادرة. لا تستخدمها عندما تكون مجالات المصدر والهدف متباينة للغاية - يمكن أن يؤدي النقل السلبي إلى الإضرار بالأداء. بالنسبة للبيانات الجدولية غير التسلسلية البحتة، تتفوق نماذج الشجرة أو نماذج الانتباه عادةً على TL-RNN. عندما تتوفر نماذج المحولات (BERT، GPT) المدربة مسبقًا لمجالك، فإنها تتفوق عادةً على TL-RNN في مهام معالجة اللغة الطبيعية.
الحدود والاعتبارات
- عرضة للنقل السلبي عندما تكون مجالات أو مهام المصدر والهدف بعيدة دلاليًا.
- يتم استبدال نقل الشبكات العصبية المتكررة إلى حد كبير في معالجة اللغة الطبيعية بنماذج تعتمد على المحولات (BERT، GPT) التي توفر تمثيلات سياقية أغنى.
- خيارات المعلمات الفائقة - معدل التعلم، عمق الطبقات المجمدة، حقب الضبط الدقيق - تؤثر بشكل كبير على النتيجة وتتطلب ضبطًا دقيقًا.
- البنيات المتكررة متسلسلة بطبيعتها وأبطأ في التدريب من المحولات القابلة للتوازي.
- قد لا تكون أوزان الشبكات العصبية المتكررة المدربة مسبقًا متاحة للجمهور لجميع المجالات، مما يتطلب تدريبًا مكلفًا على مهمة المصدر.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تحقيق أداء قوي على مجموعات بيانات الهدف الصغيرة من خلال الاستفادة من التمثيلات المتعلمة من بيانات المصدر الكبيرة.
- تقليل وقت التدريب وتكلفة الحوسبة مقارنة بتدريب شبكة عصبية متكررة من الصفر.
- مرونة: تعمل مع بنيات RNN العادية و LSTM و GRU وهي قابلة للتطبيق على مجالات معالجة اللغة الطبيعية والسلاسل الزمنية.
- تسمح بتجميد انتقائي للطبقات للتحكم في درجة التكيف ومنع الإفراط في التجهيز.
- توفر نقطة بداية دافئة مبدئية تعمل على استقرار تدفق التدرج أثناء الضبط الدقيق.
التطبيقات
- تصنيف النصوص (تحليل المشاعر، تسمية الموضوعات) مع مجموعات بيانات مصنفة محدودة.
- التعرف على الكيانات المسماة تم تكييفه من نموذج NER عام إلى مجال متخصص.
- اكتشاف شذوذ السلاسل الزمنية حيث يتم ضبط نموذج مدرب مسبقًا على بيانات التشغيل العادية على تسميات أعطال نادرة.
- التنبؤ بالطلب أو المبيعات في فئة منتج جديدة باستخدام نموذج مدرب مسبقًا على بيانات تاريخية من فئات ذات صلة.
- التنبؤ بالأحداث السريرية، وتكييف شبكة RNN مدربة مسبقًا على تسلسلات سجلات صحية إلكترونية كبيرة لمجموعة مرضى أصغر.
- تسمية التسلسل متعدد اللغات، ونقل التمثيلات المتكررة بين اللغات ذات الصلة.
كيف يعمل
كيف يعمل
يتم تدريب شبكة عصبية متكررة (RNN عادية، LSTM، أو GRU) على مجموعة بيانات أو مهمة مصدر كبيرة - على سبيل المثال، نمذجة اللغة على مستوى الحرف أو الكلمة. تتعلم الطبقات المتكررة تشفير الاعتماديات الزمنية والتمثيلات السياقية التي تعمم عبر العديد من المشكلات التسلسلية.
عند الانتقال إلى المهمة الهدف، يقرر الممارس أي الطبقات سيتم تجميدها (إبقاء أوزان المصدر ثابتة) وأيها سيسمح بتحديثها. تلتقط الطبقات المتكررة المبكرة ميزات التسلسل العامة وغالبًا ما يتم تجميدها؛ تُترك الطبقات اللاحقة أو الخاصة بالمهمة قابلة للتدريب. هذه القرارات توازن بين منع الإفراط في التجهيز على بيانات الهدف الصغيرة والسماح بالتكيف الخاص بالمهمة.
يتم توصيل شبكة RNN المدربة مسبقًا برأس إخراج جديد مناسب للمهمة الهدف (على سبيل المثال، مصنف softmax للمشاعر أو رأس انحدار للتنبؤ بالطلب). يتم التدريب على مجموعة بيانات الهدف، عادةً بمعدل تعلم صغير لتجنب الكتابة فوق التمثيلات المعممة التي تم تعلمها أثناء التدريب المسبق.
يتم تقييم الأداء على مجموعة اختبار منفصلة باستخدام مقاييس مناسبة للمهمة (الدقة، F1، RMSE، إلخ). يتم قياس مكاسب النقل عن طريق مقارنة TL-RNN بشبكة RNN مهيأة عشوائيًا تم تدريبها على نفس بيانات الهدف في ظل ظروف متطابقة.
الأخطاء الشائعة
- استخدام نموذج مدرب مسبقًا من مجال غير مرتبط بالمهمة الهدف دون التحقق من تشابه المجال، مما يخاطر بالنقل السلبي.
- الضبط الدقيق بمعدل تعلم مرتفع جدًا، مما يؤدي إلى الكتابة فوق التمثيلات المدربة مسبقًا وإلغاء فائدة النقل.
- نسيان مقارنة TL-RNN بخط أساس مهيأ عشوائيًا - بدون هذه المقارنة، لا يمكن قياس مكاسب النقل.
- معاملة حدود الطبقات المجمدة/القابلة للتدريب كافتراضية بسيطة بدلاً من اختيار تصميم متعمد تم التحقق منه على مجموعة تحقق.
- تجاهل تسرب البيانات بين تقسيمات المصدر والهدف، مما يؤدي إلى تضخيم أداء النقل الظاهري.
الأسئلة الشائعة
كيف أختار أي طبقات RNN يجب تجميدها؟
الاستراتيجية الشائعة هي تجميد الطبقات المتكررة السفلية (التي تلتقط أنماط التسلسل العامة) وإبقاء الطبقات العليا ورأس الإخراج قابلة للتدريب. تحقق من صحة هذا الاختيار على مجموعة تحقق منفصلة - إذا استقر الأداء، حاول إلغاء تجميد طبقة إضافية في كل مرة.
هل لا يزال TL-RNN منطقيًا عندما تتوفر نماذج BERT أو GPT؟
بالنسبة لمهام معالجة اللغة الطبيعية القياسية، تتفوق نماذج المحولات عادةً على TL-RNN ويفضل عمومًا. يظل TL-RNN ذا صلة بالنشر المقيد بالموارد، أو لبيانات التسلسل غير معالجة اللغة الطبيعية (السلاسل الزمنية، التسلسلات البيولوجية)، أو عندما يوجد شبكة RNN مدربة مسبقًا خاصة بالمجال ولكن لا يوجد نموذج محول مماثل.
ما هو معدل التعلم الذي يجب أن أستخدمه للضبط الدقيق؟
ابدأ بمعدل تعلم أصغر بمرتبة أو اثنتين من حيث الحجم مما ستستخدمه للتدريب من الصفر (على سبيل المثال، 1e-4 بدلاً من 1e-2). يمكن أن يؤدي استخدام مجدول معدل التعلم الذي يلغي تجميد الطبقات تدريجيًا (الضبط الدقيق التمييزي) إلى مزيد من استقرار التدريب.
كيف يمكنني اكتشاف النقل السلبي؟
قم بتدريب شبكة RNN مهيأة عشوائيًا على نفس بيانات الهدف كخط أساس. إذا لم يتحسن TL-RNN فوق هذا الخط الأساسي - خاصة على مجموعة اختبار منفصلة - فمن المحتمل حدوث نقل سلبي. أعد فحص مدى صلة مهام المصدر والهدف الخاصة بك.
هل TL-RNN مناسب للسلاسل الزمنية القصيرة جدًا؟
توفر التسلسلات القصيرة إشارة قليلة لتستغلها الطبقات المتكررة، لذلك قد تكون مكاسب النقل ضئيلة. في هذا النظام، غالبًا ما يتفوق هندسة الميزات جنبًا إلى جنب مع نموذج أبسط (على سبيل المثال، تعزيز التدرج) على TL-RNN.
طرق ذات صلة
المصادر
Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.
افتح مرجع DOIتم النسخ.Transfer learning. Wikipedia.
افتح مرجع المنشورتم النسخ.