تقطير المعرفة
- قدّمه
- Hinton, G., Vinyals, O. & Dean, J.
- السنة
- 2015
- النوع
- Neural network compression (teacher–student)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تقطير المعرفة هو أسلوب لضغط النماذج، قدمه جيفري هينتون وزملاؤه في عام 2015، يقوم بتدريب نموذج طالب صغير باستخدام مخرجات التسميات الناعمة لنموذج معلم كبير. تصل النماذج المقطرة مثل DistilBERT و TinyBERT إلى حوالي 97% من أداء النموذج الأكبر بينما تعمل بشكل أسرع بكثير.
الفكرة الحدسية وراء الطريقة
غالبًا ما يكون النموذج الكبير والدقيق بطيئًا جدًا أو ثقيلًا بحيث لا يمكن نشره. بدلاً من تدريب نموذج صغير من الصفر على التسميات الصارمة وحدها، تتركه يتعلم من مخرجات الاحتمالية الغنية للنموذج الكبير: يحمل التوزيع الكامل للمعلم عبر الفئات معلومات أكثر بكثير من إجابة صحيحة واحدة، ويكشف عن الفئات المتشابهة ومدى ثقة المعلم. يمتص الطالب هذه "المعرفة المظلمة" وينتهي به الأمر أصغر بكثير ولكنه بنفس القدرة تقريبًا.
التاريخ
تم تقديم تقطير المعرفة بواسطة جيفري هينتون، أوريول فينيالز وجيف دين في ورقة عمل NeurIPS Deep Learning لعام 2015، والتي صاغت ضغط نموذج كبير إلى نموذج صغير عن طريق مطابقة المخرجات المخففة للنموذج الأكبر. أصبح أداة قياسية لنشر النماذج العميقة المدمجة؛ أظهرت DistilBERT لـ Sanh وزملائه في عام 2019 نسخة مقطرة من BERT أصغر وأسرع وأرخص وأخف وزنًا مع الاحتفاظ بمعظم دقة الأصل.
متى تُستخدم
استخدمه عندما يكون لديك نموذج معلم قوي ولكنه ثقيل ومدرب، وتريد طالبًا أصغر وأسرع للنشر في مهام النصوص أو المهام ذات الميزات المستمرة، مع ما لا يقل عن 100 ملاحظة خاصة بالمهمة. يفترض أن نموذج المعلم مدرب ومتاح بالفعل وأن مجموعة بيانات خاصة بالمهمة جاهزة. أقل من حوالي 500 ملاحظة، لا يستطيع الطالب تقطير ما يكفي من المعلم ويصبح الإفراط في التخصيص خطرًا؛ أقل من حوالي 100، يكون التقطير بلا جدوى والتعلم الآلي الكلاسيكي هو الخيار الأكثر أمانًا.
الحدود والاعتبارات
- يتطلب نموذج معلم مدرب ومتاح بالفعل — لا يمكن أن يبدأ التقطير بدونه.
- يحتاج إلى مجموعة بيانات خاصة بالمهمة؛ مع القليل جدًا من البيانات يتعلم الطالب القليل من المعلم.
- في مجموعات البيانات الصغيرة (n أقل من حوالي 500) يفرط الطالب في التخصيص ويفشل في استيعاب معرفة المعلم.
- يضيف عبئًا على خط أنابيب التدريب والضبط (درجة الحرارة، وزن الخلط) بالإضافة إلى النموذج الأصلي.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- ينتج نموذجًا أصغر وأسرع بكثير يمكنه استعادة حوالي 97% من أداء المعلم.
- تحمل التسميات الناعمة للمعلم معلومات أغنى من التسميات الصارمة، مما يحسن تعميم الطالب.
- قليل الافتراضات: لا يتطلب بيانات موزعة طبيعيًا.
- يعيد استخدام معلم مدرب موجود، لذا فهو مناسب للنشر والخدمة حيث تكون السرعة والحجم مهمين.
التطبيقات
- ضغط نماذج اللغة الكبيرة إلى نماذج طلاب قابلة للنشر مثل DistilBERT و TinyBERT.
- تسريع الاستدلال لتصنيف النصوص والتنبؤ حيث يكون المعلم الكامل بطيئًا جدًا.
- تقليص النماذج لبيئات الخدمة محدودة الموارد أو الحساسة للكمون.
- نقل قدرة نموذج ثقيل إلى نموذج خفيف الوزن دون إعادة التدريب من الصفر.
كيف يعمل
كيف يعمل
يُفترض وجود نموذج معلم كبير ومدرب جيدًا — يجب أن يكون مدربًا ومتاحًا بالفعل. يمتلك هذا المعلم القوة التنبؤية التي ترغب في الحفاظ عليها ولكنه مكلف للغاية لتشغيله على نطاق واسع.
ينتج المعلم مخرجات تسميات ناعمة: توزيعات احتمالية كاملة عبر الفئات بدلاً من تسمية صارمة واحدة. تكشف هذه التنبؤات المخففة عن أوجه التشابه التي يراها المعلم بين الفئات، مما يوفر إشارة تدريب أغنى بكثير من تسميات الحقيقة الأساسية وحدها.
يتم تدريب نموذج الطالب الصغير لمطابقة كل من التسميات الحقيقية ومخرجات المعلم الناعمة في آن واحد. تجمع خسارة التقطير بين حد الانتروبيا المتقاطعة القياسي على التسميات الصارمة مع حد تباعد كولباك-لايبلر الذي يسحب لوغاريتمات الطالب نحو لوغاريتمات المعلم، مرجحًا بعامل خلط ألفا. والنتيجة هي طالب مدمج يحتفظ بمعظم دقة المعلم.
الصيغة
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)الأخطاء الشائعة
- محاولة التقطير بدون معلم مدرب بشكل صحيح للنسخ منه.
- تشغيله على مجموعة بيانات مهمة صغيرة حيث يكون التعلم الآلي الكلاسيكي أفضل.
- تجاهل وزن الخلط ألفا بين حدود الخسارة للتسميات الصارمة والتسميات الناعمة.
- توقع أن يطابق الطالب المعلم تمامًا بدلاً من الاقتراب منه.
الأسئلة الشائعة
لماذا نستخدم التسميات الناعمة بدلاً من الإجابة الصحيحة فقط؟
يكشف التوزيع الاحتمالي الكامل للمعلم عن مدى تشابه الفئات بالنسبة له ومدى ثقته. تساعد هذه الإشارة الإضافية — التي تسمى أحيانًا المعرفة المظلمة — الطالب على التعميم بشكل أفضل من التسميات الصارمة وحدها.
ما مدى صغر حجم الطالب؟
النماذج المقطرة مثل DistilBERT و TinyBERT أصغر وأسرع بكثير من معلميها بينما تصل إلى حوالي 97% من أداء المعلم، على الرغم من أن المقايضة الدقيقة تعتمد على المهمة والبنية.
ماذا أحتاج قبل التقطير؟
تحتاج إلى نموذج معلم مدرب ومتاح بالفعل، بالإضافة إلى مجموعة بيانات خاصة بالمهمة. مع أقل من حوالي 500 ملاحظة، يواجه الطالب صعوبة في تقطير ما يكفي من المعلم وقد يفرط في التخصيص.
ما هو ألفا في الخسارة؟
يمزج ألفا الجزأين من خسارة التقطير: حد الانتروبيا المتقاطعة على التسميات الحقيقية وحد تباعد كولباك-لايبلر الذي يواءم مخرجات الطالب مع مخرجات المعلم. يوازن ضبطه بين التعلم من الحقيقة الأساسية مقابل التعلم من المعلم.
طرق ذات صلة
المصادر
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
افتح مرجع المنشورتم النسخ.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
افتح مرجع المنشورتم النسخ.