التعلم التحويلي
- قدّمه
- Pan, S. J. & Yang, Q. (survey); Bengio, Y. (deep learning framing)
- السنة
- 2010 (formalized); 1990s (early roots)
- النوع
- Learning paradigm
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
التعلم التحويلي هو نموذج للتعلم الآلي يُعاد فيه استخدام المعرفة المكتسبة من تدريب نموذج على مهمة أو مجال مصدر لتحسين التعلم على مهمة أو مجال هدف مختلف ولكنه ذو صلة. وهو قوي بشكل خاص عندما تكون البيانات المصنفة للمهمة الهدف نادرة، ويُعد أساس معظم تطبيقات التعلم العميق الحديثة في الرؤية الحاسوبية، ومعالجة اللغات الطبيعية، وما بعدها.
الفكرة الحدسية وراء الطريقة
تخيل أنك تتعلم ركوب الدراجة ثم تطبق معرفة التوازن والتنسيق تلك على تعلم ركوب الدراجة النارية — أنت لا تبدأ من الصفر. يعمل التعلم التحويلي بنفس الطريقة: فالنموذج المدرب على مجموعة بيانات كبيرة وغنية (المجال المصدر) قد تعلم بالفعل تمثيلات مفيدة مثل الحواف، أو الأنسجة، أو الأنماط النحوية. وعند تطبيقه على مجموعة بيانات هدف جديدة وأصغر، يحتاج النموذج إلى بيانات مصنفة أقل بكثير لتحقيق أداء جيد، لأن العمل التمثيلي الشاق قد تم بالفعل.
التاريخ
ظهر مفهوم نقل المعرفة بين المهام في التسعينيات (برات 1993؛ ثرون 1996). تم مسح المجال وتصنيفه رسميًا بواسطة بان ويانغ في ورقتهما لعام 2010 في IEEE TKDE، والتي لا تزال المرجع الأساسي. تم تعزيز النموذج بنجاح التعلم العميق: أظهر بينجيو وزملاؤه أن الشبكات العميقة تتعلم تمثيلات قابلة للتحويل، وجعل التدريب المسبق على ImageNet (كريزيفسكي وآخرون، 2012) التحويل ممارسة افتراضية في الرؤية الحاسوبية. أدى إدخال نماذج اللغة الكبيرة مثل BERT (2018) و GPT (2018–) إلى توسيع التعلم التحويلي ليشمل معالجة اللغات الطبيعية (NLP) وحوله إلى النموذج السائد عبر جميع تطبيقات التعلم العميق تقريبًا.
متى تُستخدم
يُعد التعلم التحويلي الخيار الصحيح عندما تكون البيانات المصنفة للمهمة الهدف محدودة ولكن يوجد مجال مصدر ذو صلة بملصقات وفيرة أو نموذج كبير مُدرب مسبقًا — على سبيل المثال، الضبط الدقيق لـ BERT لمصنف نصوص خاص بمجال معين أو تكييف الشبكات العصبية التلافيفية (CNNs) المُدربة مسبقًا على ImageNet للتصوير الطبي. إنه يقلل بشكل كبير من البيانات والحوسبة اللازمة لتحقيق أداء قوي. تجنبه عندما تكون مجالات المصدر والهدف غير مرتبطة بشكل أساسي، لأن التحويل السلبي يمكن أن يجعل الأداء أسوأ من التدريب من الصفر. كما أنه أقل مبررًا عندما تكون مجموعة بيانات الهدف كبيرة بما يكفي لتدريب نموذج قادر بشكل مستقل.
الحدود والاعتبارات
- يمكن أن يحدث التحويل السلبي عندما تكون مجالات المصدر والهدف شديدة الاختلاف، مما قد يضر بالأداء مقارنة بالتدريب من الصفر.
- يتطلب الضبط الدقيق للنماذج الكبيرة المُدربة مسبقًا ذاكرة كبيرة، وبالنسبة للنماذج الكبيرة جدًا، موارد كبيرة من وحدات معالجة الرسوميات (GPU).
- الكمية المناسبة من النموذج التي يجب تجميدها مقابل الضبط الدقيق تعتمد على المهمة وتتطلب التجريب.
- قد لا يكون تحول المجال بين المصدر والهدف واضحًا ويمكن أن يؤدي إلى تدهور الأداء بصمت.
- قد تحد القيود القانونية والأخلاقية على النماذج المُدربة مسبقًا (الترخيص، تحيز بيانات التدريب) من استخدامها في تطبيقات معينة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يقلل بشكل كبير من متطلبات البيانات المصنفة للمهمة الهدف عن طريق إعادة استخدام تمثيلات المصدر.
- يقلل من وقت التدريب وتكلفة الحوسبة مقارنة بتدريب النماذج الكبيرة من الصفر.
- يحقق غالبًا أداءً رائدًا على مجموعات بيانات الهدف الصغيرة والمتوسطة.
- توفر النماذج المُدربة مسبقًا ذات الأغراض العامة (مثل ResNet، BERT، GPT) نقاط بداية قوية عبر العديد من المجالات.
- يتيح وضع استخلاص الميزات استخدام تمثيلات عميقة حتى بدون الضبط الدقيق الذي يتطلب وحدات معالجة رسومية (GPU) مكثفة.
التطبيقات
- الضبط الدقيق لنماذج اللغة المُدربة مسبقًا (BERT، GPT) لتصنيف النصوص الخاصة بالمجال، أو التعرف على الكيانات المسماة (NER)، أو الإجابة على الأسئلة.
- تكييف الشبكات العصبية التلافيفية (CNNs) المُدربة مسبقًا على ImageNet لتحليل الصور الطبية حيث تكون الفحوصات المصنفة نادرة.
- أنظمة التعرف على الكلام المُكيّفة من نماذج متعددة اللغات كبيرة إلى لغات قليلة الموارد.
- تحليل المشاعر عبر المجالات عن طريق نقل التمثيلات المتعلمة على مراجعات المنتجات إلى نصوص وسائل التواصل الاجتماعي.
- البيانات الجدولية: استخدام ميزات الشبكة العصبية المُدربة مسبقًا على مجموعات بيانات ذات صلة لتحسين التنبؤات على جدول هدف صغير.
- المجالات العلمية (اكتشاف الأدوية، علم المواد) حيث تكون البيانات التجريبية المصنفة باهظة الثمن وتوفر نماذج المصدر من الأدبيات الكيميائية أولويات قوية.
كيف يعمل
كيف يعمل
يتم تدريب نموذج على مجموعة بيانات مصدر كبيرة تتوفر فيها بيانات مصنفة وفيرة. خلال هذه المرحلة، يتعلم النموذج تمثيلات الميزات ذات الأغراض العامة — على سبيل المثال، تتعلم الشبكة الالتفافية التسلسلات الهرمية المرئية من ملايين الصور، أو يتعلم نموذج اللغة الأنماط النحوية والدلالية من مليارات الرموز.
يتم تقييم العلاقة بين المجالات المصدر والهدف. إذا كانت المجالات متقاربة (على سبيل المثال، كلاهما يتضمن صورًا طبيعية)، فإن التمثيلات المتعلمة تنتقل بشكل مباشر أكثر. إذا كان تحول المجال كبيرًا، تُطبق تقنيات مثل التدريب المعادي للمجال أو إعادة ترجيح الحالات لتقليل عدم التطابق التوزيعي قبل بدء التكيف.
يُطبق النموذج المُدرب مسبقًا على المهمة الهدف. في استخلاص الميزات، تُجمّد الطبقات المبكرة وتُستبدل وتُدرب فقط الطبقات اللاحقة الخاصة بالمهمة. في الضبط الدقيق الكامل، تُحدّث جميع الطبقات على بيانات الهدف، عادةً بمعدل تعلم أقل للحفاظ على التمثيلات المتعلمة سابقًا وتجنب النسيان الكارثي.
يُدرب النموذج المُكيّف على مجموعة بيانات الهدف المصنفة (التي تكون صغيرة عادةً). تمنع استراتيجيات التنظيم — مثل L2-SP (عقوبة تجاه أوزان المصدر)، أو الانقطاع (dropout)، أو التوقف المبكر — الإفراط في التخصيص للعلامات الهدف المحدودة. يُعد جدولة معدل التعلم على مستوى الطبقات أمرًا شائعًا في الشبكات العميقة.
يُقاس الأداء على مجموعة اختبار هدف محجوزة باستخدام مقاييس مناسبة للمهمة (الدقة، F1، RMSE، إلخ). تقارن النتائج بالتدريب من الصفر وبالخط الأساسي للمصدر فقط لتحديد مكاسب التحويل والكشف عما إذا كان قد حدث تحويل سلبي.
الأخطاء الشائعة
- افتراض أن أي نموذج مُدرب مسبقًا سينتقل بشكل جيد دون التحقق من تشابه المجال — دائمًا قارن بالتدريب من الصفر.
- استخدام معدل تعلم مرتفع جدًا أثناء الضبط الدقيق، مما يتسبب في نسيان كارثي لتمثيلات المصدر.
- التقييم فقط على مجموعة تدريب الهدف أو تجاهل تقسيم اختبار مناسب محجوز.
- التغاضي عن تحيز مجموعة البيانات الموروث من المجال المصدر، والذي يمكن أن ينتشر إلى تنبؤات الهدف.
- الضبط الدقيق على مجموعة هدف صغيرة جدًا بدون تنظيم، مما يؤدي إلى إفراط شديد في التخصيص.
الأسئلة الشائعة
ما الفرق بين استخلاص الميزات والضبط الدقيق في التعلم التحويلي؟
في استخلاص الميزات، تُجمّد أوزان النموذج المُدرب مسبقًا ويُدرب فقط رأس جديد خاص بالمهمة. في الضبط الدقيق، تُحدّث بعض أو كل الأوزان المُدربة مسبقًا أيضًا على بيانات الهدف — عادةً بمعدل تعلم صغير لتجنب النسيان الكارثي. استخلاص الميزات أسرع وأقل عرضة للإفراط في التخصيص على مجموعات البيانات الصغيرة جدًا؛ بينما يحقق الضبط الدقيق عمومًا أداءً أفضل عندما تكون هناك بيانات هدف كافية.
كيف أعرف ما إذا كان التعلم التحويلي سيساعد أم يضر؟
السؤال الأساسي هو تشابه المجال. إذا كانت توزيعات المصدر والهدف تشترك في بنية ذات معنى (نفس النمط، مفردات متشابهة، مفاهيم بصرية ذات صلة)، فإن التحويل يساعد دائمًا تقريبًا. قم بتدريب خط أساسي من الصفر وقارن: إذا لم يكن النموذج المحول أفضل، فقد تكون المجالات شديدة الاختلاف، أو قد تحتاج إلى تقنيات محاذاة معادية للمجال.
ما هو التحويل السلبي؟
يحدث التحويل السلبي عندما تضر المعرفة من المجال المصدر بنشاط بالأداء في المهمة الهدف — لا تتطابق التمثيلات المُدربة مسبقًا مع بنية الهدف وتضلل التحسين. وهو الأكثر شيوعًا عندما يكون المصدر والهدف غير متشابهين دلاليًا أو إحصائيًا. يمكن التخفيف من ذلك عن طريق التنظيم نحو أوزان المصدر (مثل L2-SP) أو استخدام الطبقات الضحلة فقط.
كم أحتاج من بيانات الهدف للضبط الدقيق؟
لا يوجد حد عالمي، ولكن التعلم التحويلي يكون ذا قيمة قصوى عندما يتراوح عدد الأمثلة المصنفة للهدف من العشرات إلى بضعة آلاف. مع عدد قليل جدًا من الأمثلة (أقل من حوالي 100)، يكون تجميد معظم الطبقات وتدريب الرأس فقط (استخلاص الميزات) أكثر أمانًا. مع آلاف الأمثلة، يكون الضبط الدقيق الأعمق ممكنًا ومفيدًا عادةً.
هل التعلم التحويلي قابل للتطبيق على البيانات الجدولية، وليس فقط الصور والنصوص؟
نعم، على الرغم من أنه أقل جاهزية للاستخدام. تشمل الأساليب التدريب المسبق للشبكات العصبية على مجموعات بيانات جدولية كبيرة من المجالات ذات الصلة، أو استخدام التضمينات من النماذج الأساسية كميزات إضافية. تستكشف مكتبات مثل SAINT و TabPFN هذا الاتجاه. بالنسبة للمهام الجدولية الكلاسيكية، غالبًا ما يظل تعزيز التدرج منافسًا قويًا حتى بدون التحويل.
طرق ذات صلة
المصادر
Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.
افتح مرجع DOIتم النسخ.Bengio, Y. (2012). Deep Learning of Representations for Unsupervised and Transfer Learning. In Proceedings of ICML Workshop on Unsupervised and Transfer Learning, PMLR 27, 17–36.
افتح مرجع المنشورتم النسخ.