تقطیر دانش (Knowledge Distillation)
- معرفیشده توسط
- Hinton, G., Vinyals, O. & Dean, J.
- سال
- 2015
- نوع
- Neural network compression (teacher–student)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
تقطیر دانش یک تکنیک فشردهسازی مدل است که در سال ۲۰۱۵ توسط جفری هینتون و همکارانش معرفی شد و در آن یک مدل کوچک دانشآموز (student) با استفاده از خروجیهای برچسب نرم (soft-label) یک مدل بزرگ معلم (teacher) آموزش داده میشود. مدلهای تقطیر شده مانند DistilBERT و TinyBERT به حدود ۹۷٪ از عملکرد مدل بزرگتر دست مییابند در حالی که بسیار سریعتر اجرا میشوند.
شهود پشت روش
یک مدل بزرگ و دقیق اغلب برای استقرار (deploy) بسیار کند یا سنگین است. به جای آموزش یک مدل کوچک از ابتدا فقط با برچسبهای سخت (hard labels)، به آن اجازه میدهید از خروجیهای احتمالاتی غنی مدل بزرگ یاد بگیرد: توزیع کامل کلاسها توسط معلم، اطلاعات بسیار بیشتری نسبت به یک پاسخ صحیح واحد حمل میکند و نشان میدهد کدام کلاسها شبیه به هم به نظر میرسند و معلم چقدر اطمینان دارد. دانشآموز این «دانش تاریک» (dark knowledge) را جذب میکند و در نهایت بسیار کوچکتر اما تقریباً به همان اندازه توانا میشود.
تاریخ
تقطیر دانش توسط جفری هینتون، اوریول وینیالس و جف دین در مقالهای در کارگاه یادگیری عمیق NeurIPS در سال ۲۰۱۵ معرفی شد که فشردهسازی یک مدل بزرگ به یک مدل کوچک را با تطبیق خروجیهای نرم شده مدل بزرگتر چارچوببندی کرد. این روش به یک ابزار استاندارد برای استقرار مدلهای عمیق فشرده تبدیل شد؛ DistilBERT سان و همکارانش در سال ۲۰۱۹ نشان دادند که نسخه تقطیر شده BERT کوچکتر، سریعتر، ارزانتر و سبکتر است در حالی که بیشتر دقت نسخه اصلی را حفظ میکند.
چه زمانی استفاده شود
زمانی از آن استفاده کنید که یک مدل معلم قوی اما سنگین آموزش دیده دارید و یک دانشآموز کوچکتر و سریعتر برای استقرار در وظایف متنی یا وظایف با ویژگی پیوسته، با حداقل حدود ۱۰۰ مشاهده خاص وظیفه میخواهید. فرض میکند که مدل معلم از قبل آموزش دیده و در دسترس است و مجموعه داده خاص وظیفه آماده است. در زیر حدود ۵۰۰ مشاهده، دانشآموز نمیتواند به اندازه کافی از معلم تقطیر کند و بیشبرازش (overfitting) خطرناک میشود؛ در زیر حدود ۱۰۰ مشاهده، تقطیر بیمعنی است و یادگیری ماشین کلاسیک انتخاب امنتری است.
محدودیتها و ملاحظات
- نیاز به یک مدل معلم از قبل آموزش دیده و در دسترس دارد - تقطیر بدون آن نمیتواند شروع شود.
- به مجموعه داده خاص وظیفه نیاز دارد؛ با دادههای کم، دانشآموز چیز کمی از معلم یاد میگیرد.
- در مجموعه دادههای کوچک (n زیر حدود ۵۰۰) دانشآموز بیشبرازش میکند و در جذب دانش معلم ناموفق است.
- یک خط لوله آموزش و بار تنظیم (دما، وزن اختلاط) را علاوه بر مدل اصلی اضافه میکند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- مدل کوچکتر و سریعتری را ارائه میدهد که میتواند حدود ۹۷٪ از عملکرد معلم را بازیابی کند.
- برچسبهای نرم معلم اطلاعات غنیتری نسبت به برچسبهای سخت حمل میکنند و تعمیمپذیری (generalisation) دانشآموز را بهبود میبخشند.
- فرضیات کم: نیازی به دادههای با توزیع نرمال ندارد.
- از معلم آموزش دیده موجود مجدداً استفاده میکند، بنابراین برای استقرار و سرویسدهی که سرعت و اندازه مهم هستند، مناسب است.
کاربردها
- فشردهسازی مدلهای زبان بزرگ به دانشآموزان قابل استقرار مانند DistilBERT و TinyBERT.
- تسریع استنتاج (inference) برای طبقهبندی متن و پیشبینی که در آن معلم کامل بسیار کند است.
- کوچک کردن مدلها برای محیطهای سرویسدهی با منابع محدود یا حساس به تأخیر.
- انتقال قابلیت یک مدل سنگین به یک مدل سبک بدون آموزش مجدد از ابتدا.
چگونه کار میکند
چگونه کار میکند
یک مدل معلم بزرگ و به خوبی آموزش دیده، مفروض گرفته میشود - باید از قبل آموزش دیده و در دسترس باشد. این معلم قدرت پیشبینیای را دارد که میخواهید حفظ کنید اما اجرای آن در مقیاس بزرگ پرهزینه است.
معلم خروجیهای برچسب نرم تولید میکند: توزیعهای احتمالاتی کامل روی کلاسها به جای یک برچسب سخت واحد. این پیشبینیهای نرم شده، شباهتهایی را که معلم بین کلاسها میبیند آشکار میسازد و سیگنال آموزشی بسیار غنیتری نسبت به برچسبهای حقیقت زمینی (ground-truth) به تنهایی ارائه میدهد.
مدل کوچک دانشآموز برای تطبیق همزمان با برچسبهای واقعی و خروجیهای نرم معلم آموزش داده میشود. زیان تقطیر (distillation loss) ترکیبی از یک جمله آنتروپی متقاطع (cross-entropy) استاندارد روی برچسبهای سخت و یک جمله واگرایی کولبک-لایبلر (Kullback–Leibler divergence) است که لوگیتهای (logits) دانشآموز را به سمت لوگیتهای معلم میکشد، که با یک ضریب اختلاط آلفا (alpha) وزندهی میشود. نتیجه یک دانشآموز فشرده است که بیشتر دقت معلم را حفظ میکند.
فرمول
\mathcal{L} = \alpha\, \mathrm{CE}(y, p_s) + (1-\alpha)\, \mathrm{KL}(p_t \,\|\, p_s)دامهای رایج
- تلاش برای تقطیر بدون یک معلم به درستی آموزش دیده برای کپی کردن.
- اجرای آن بر روی یک مجموعه داده وظیفه بسیار کوچک که در آن یادگیری ماشین کلاسیک بهتر عمل میکند.
- نادیده گرفتن وزن اختلاط آلفا بین جملات زیان برچسب سخت و برچسب نرم.
- انتظار اینکه دانشآموز به طور کامل با معلم مطابقت داشته باشد به جای اینکه به آن نزدیک شود.
پرسشهای متداول
چرا به جای فقط پاسخ صحیح از برچسبهای نرم استفاده کنیم؟
توزیع احتمالاتی کامل معلم نشان میدهد که کلاسها چقدر شبیه به نظر میرسند و چقدر اطمینان دارد. این سیگنال اضافی - که گاهی اوقات دانش تاریک نامیده میشود - به دانشآموز کمک میکند تا بهتر از برچسبهای سخت به تنهایی تعمیم یابد.
دانشآموز چقدر میتواند کوچکتر باشد؟
مدلهای تقطیر شده مانند DistilBERT و TinyBERT به طور قابل توجهی کوچکتر و سریعتر از معلمان خود هستند در حالی که به حدود ۹۷٪ از عملکرد معلم میرسند، اگرچه توازن دقیق به وظیفه و معماری بستگی دارد.
قبل از تقطیر به چه چیزی نیاز دارم؟
شما به یک مدل معلم که از قبل آموزش دیده و در دسترس است، به علاوه یک مجموعه داده خاص وظیفه نیاز دارید. با کمتر از حدود ۵۰۰ مشاهده، دانشآموز برای تقطیر کافی از معلم تلاش میکند و ممکن است بیشبرازش کند.
آلفا در زیان چیست؟
آلفا دو بخش از زیان تقطیر را مخلوط میکند: یک جمله آنتروپی متقاطع روی برچسبهای واقعی و یک جمله واگرایی کولبک-لایبلر که خروجیهای دانشآموز را با خروجیهای معلم همتراز میکند. تنظیم آن، یادگیری از حقیقت زمینی در مقابل یادگیری از معلم را متعادل میکند.
روشهای مرتبط
منابع
Hinton, G., Vinyals, O. & Dean, J. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning Workshop.
باز کردن مرجع انتشارکپی شد.Sanh, V., Debut, L., Chaumond, J. & Wolf, T. (2019). DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv:1910.01108.
باز کردن مرجع انتشارکپی شد.