Skip to content
بازگشت به نتایج جست‌وجو

ترنسفورمر تنظیم‌شده

معرفی‌شده توسط
Vaswani et al. (architecture); fine-tuning paradigm popularised by Howard & Ruder, Devlin et al.
سال
2017–2019
نوع
Transfer learning / supervised fine-tuning
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تنظیم دقیق یک ترنسفورمر، یک مدل از پیش آموزش‌دیده بزرگ - مانند BERT، GPT یا ViT - را با ادامه آموزش مبتنی بر گرادیان بر روی یک مجموعه داده هدف برچسب‌دار، برای یک وظیفه خاص پایین‌دستی تطبیق می‌دهد. این پارادایم دو مرحله‌ای (پیش‌آموزش سپس تنظیم دقیق) به طور مداوم نتایج پیشرفته‌ای را در وظایف پردازش زبان طبیعی و بینایی کامپیوتر با داده‌های کمتر مخصوص وظیفه نسبت به آموزش از ابتدا به دست می‌آورد.

شهود پشت روش

یک ترنسفورمر از پیش آموزش‌دیده، بازنمایی‌های غنی از زبان یا تصاویر را از مجموعه‌های متنی عظیم آموخته است. تنظیم دقیق مانند استخدام یک متخصص است که از قبل حوزه را عمیقاً می‌شناسد و شغل خاص شما را به او آموزش می‌دهید. به جای بازنویسی تمام دانش او از ابتدا، یک سر خروجی کوچک برای وظیفه خود اضافه می‌کنید و کل شبکه را با نرخ یادگیری پایین بر روی نمونه‌های برچسب‌دار خود به‌روز می‌کنید. وزن‌های از پیش آموزش‌دیده یک نقطه شروع گرم و قدرتمند را فراهم می‌کنند، بنابراین حتی چند صد نمونه برچسب‌دار می‌توانند عملکرد قوی را ارائه دهند - چیزی که هنگام آموزش از ابتدا غیرممکن است.

تاریخ

معماری ترنسفورمر توسط Vaswani و همکاران در سال 2017 معرفی شد و شبکه‌های بازگشتی را با مکانیسم‌های خود-توجه جایگزین کرد. Howard و Ruder (2018) تنظیم دقیق مدل زبان را با ULMFiT رسمی کردند، و Devlin و همکاران (2019) آن را به BERT مقیاس‌بندی کردند و نشان دادند که تنظیم دقیق یک مدل از پیش آموزش‌دیده واحد نتایج برتر را در یازده معیار NLP به دست می‌آورد. این پارادایم پیش‌آموزش-سپس-تنظیم دقیق به سرعت به رویکرد غالب در NLP تبدیل شد و سپس از طریق Vision Transformers به بینایی کامپیوتر گسترش یافت.

چه زمانی استفاده شود

از ترنسفورمرهای تنظیم‌شده زمانی استفاده کنید که یک وظیفه متنی، تصویری یا چندوجهی برچسب‌دار دارید و دقت پیشرفته را بدون آموزش یک مدل بزرگ از ابتدا می‌خواهید. این روش زمانی که داده‌های برچسب‌دار محدود هستند (ده‌ها تا هزاران نمونه) عالی عمل می‌کند زیرا بازنمایی‌های از پیش آموزش‌دیده بیشتر دانش مورد نیاز را حمل می‌کنند. به ویژه برای وظایف NLP مانند طبقه‌بندی، NER و پاسخ به پرسش، و به طور فزاینده‌ای برای وظایف بینایی از طریق Vision Transformer قوی است. زمانی که محیط استقرار نمی‌تواند استنتاج مدل بزرگ را پشتیبانی کند (به عنوان مثال، دستگاه‌های لبه با بودجه تأخیر/حافظه سختگیرانه بدون کوانتیزاسیون)، زمانی که حوزه پیش‌آموزش به شدت با حوزه هدف متفاوت است و هیچ چک‌پوینت مخصوص حوزه وجود ندارد، یا زمانی که شفافیت کامل مدل و تفسیرپذیری ضرایب توسط بازبینان یا تنظیم‌کنندگان مورد نیاز است، از آن استفاده نکنید.

محدودیت‌ها و ملاحظات

  • مدل‌های ترنسفورمر از پیش آموزش‌دیده بزرگ هستند (110 میلیون تا میلیاردها پارامتر)، که به حافظه GPU و محاسبات قابل توجهی برای تنظیم دقیق نیاز دارند.
  • ذاتاً جعبه سیاه؛ تنظیم دقیق استاندارد هیچ ضریب قابل تفسیری تولید نمی‌کند، که می‌تواند با هنجارهای گزارش‌دهی علمی در تضاد باشد.
  • عملکرد می‌تواند در بذرهای تصادفی ناپایدار باشد، به خصوص در مجموعه داده‌های هدف کوچک، که نیاز به چندین اجرا برای به دست آوردن تخمین‌های قابل اعتماد دارد.
  • خطر فراموشی فاجعه‌بار در صورت بالا بودن نرخ یادگیری یا تعداد دوره‌ها.
  • نیاز به هم‌ترازی بین حوزه پیش‌آموزش و حوزه هدف؛ عدم تطابق به طور قابل توجهی عملکرد را کاهش می‌دهد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • دستیابی به عملکرد پیشرفته در طیف گسترده‌ای از وظایف با نمونه‌های برچسب‌دار نسبتاً کم.
  • استفاده از بازنمایی‌های از پیش آموخته شده با میلیاردها پارامتر، که داده‌های آموزشی مورد نیاز را به شدت کاهش می‌دهد.
  • معماری انعطاف‌پذیر از طبقه‌بندی، رگرسیون، تولید، پیش‌بینی ساختاریافته و وظایف بینایی در یک چارچوب واحد پشتیبانی می‌کند.
  • مخازن مدل نگهداری شده توسط جامعه (Hugging Face Hub) هزاران چک‌پوینت مخصوص حوزه را آماده تنظیم دقیق ارائه می‌دهند.
  • بازنمایی‌های متنی، وابستگی‌های دوربرد را که مدل‌های مبتنی بر bag-of-words و RNN از دست می‌دهند، ثبت می‌کنند.
  • دستورالعمل‌های تنظیم دقیق استاندارد و کتابخانه‌ها (Transformers، PyTorch Lightning) مانع پیاده‌سازی قابل تکرار را کاهش می‌دهند.

کاربردها

  • طبقه‌بندی متن (تحلیل احساسات، دسته‌بندی موضوع، تشخیص گفتار نفرت).
  • شناسایی موجودیت نام‌گذاری شده، برچسب‌گذاری اجزای کلام، و سایر وظایف برچسب‌گذاری دنباله.
  • پاسخ به پرسش و درک مطلب بر روی مجموعه‌های متنی مخصوص حوزه.
  • طبقه‌بندی تصویر و تشخیص اشیاء از طریق Vision Transformers تنظیم‌شده.
  • تحلیل اسناد پزشکی و حقوقی با استفاده از چک‌پوینت‌های از پیش آموزش‌دیده مخصوص حوزه.
  • وظایف زبان کم‌منبع که در آن داده‌های برچسب‌دار کمیاب هستند اما یک چک‌پوینت چندزبانه (mBERT، XLM-R) وجود دارد.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک نقطه بازرسی ترنسفورمر را انتخاب کنید که حوزه پیش‌آموزش آن با وظیفه هدف مطابقت داشته باشد. برای وظایف متنی، مدل‌هایی مانند BERT، RoBERTa یا GPT-2 که بر روی مجموعه‌های متنی بزرگ پیش‌آموزش دیده‌اند، استاندارد هستند. برای وظایف تصویری، انواع Vision Transformer (ViT) که بر روی ImageNet یا CLIP پیش‌آموزش دیده‌اند، رایج هستند. مدل‌های از پیش آموزش‌دیده مخصوص حوزه (مانند BioBERT، LegalBERT) زمانی ترجیح داده می‌شوند که واژگان حوزه هدف از مجموعه‌های عمومی واگرا باشد.

2

یک سر سبک مخصوص وظیفه را در بالای آخرین لایه ترنسفورمر اضافه کنید: یک لایه طبقه‌بندی خطی برای طبقه‌بندی دنباله، یک لایه خطی در سطح توکن برای برچسب‌گذاری دنباله (NER، POS)، یا یک سر استخراج زیردنباله برای پاسخ به پرسش. فقط این سر به طور تصادفی مقداردهی اولیه می‌شود؛ بدنه ترنسفورمر وزن‌های از پیش آموزش‌دیده را حمل می‌کند.

3

مجموعه داده هدف برچسب‌دار را با استفاده از توکن‌ساز اصلی مدل توکن‌سازی کنید تا هم‌ترازی واژگان حفظ شود. برش و پر کردن را برای مطابقت با حداکثر طول دنباله مدل اعمال کنید. به مجموعه‌های آموزش و اعتبارسنجی تقسیم کنید؛ در صورت نامتوازن بودن برچسب‌های طبقه‌بندی، بر اساس کلاس طبقه‌بندی کنید. وزن‌های کلاس را محاسبه کنید یا در صورت وجود عدم توازن شدید، از نمونه‌برداری بیش از حد استفاده کنید.

4

کل مدل را به صورت سرتاسری (end-to-end) بر روی داده‌های هدف با استفاده از نرخ یادگیری کم (معمولاً 1e-5 تا 5e-5 برای مدل‌های خانواده BERT) و یک برنامه کوتاه (2-5 دوره برای اکثر وظایف NLP) آموزش دهید. گرم کردن خطی نرخ یادگیری در طول 10٪ اول مراحل و سپس کاهش خطی، رویه استاندارد است. زیان اعتبارسنجی را در هر دوره نظارت کنید و توقف زودهنگام را برای جلوگیری از فراموشی فاجعه‌بار دانش از پیش آموزش‌دیده اعمال کنید.

فرمول
\mathcal{L} = -\sum_{i} y_i \log \hat{y}_i
5

بر روی یک مجموعه آزمون جدا شده با استفاده از معیارهای مناسب وظیفه ارزیابی کنید: دقت و F1 ماکرو برای طبقه‌بندی، F1 در سطح زیردنباله برای NER و QA، ROUGE یا BERTScore برای خلاصه‌سازی. عملکرد را در چندین بذر تصادفی گزارش دهید زیرا نتایج تنظیم دقیق می‌تواند به مقداردهی اولیه حساس باشد، به خصوص در مجموعه داده‌های کوچک.

دام‌های رایج

  • استفاده از نرخ یادگیری بیش از حد بالا (بالاتر از 1e-4) که باعث فراموشی فاجعه‌بار وزن‌های از پیش آموزش‌دیده می‌شود.
  • تنظیم دقیق برای دوره‌های بیش از حد زیاد بدون توقف زودهنگام، که منجر به بیش‌برازش (overfitting) در مجموعه داده‌های هدف کوچک می‌شود.
  • گزارش نتایج یک اجرای تنظیم دقیق واحد بدون میانگین‌گیری بر روی بذرهای متعدد، که واریانس بالا را پنهان می‌کند.
  • نادیده گرفتن هم‌ترازی توکن‌سازی با استفاده از توکن‌سازی متفاوت از آنچه در طول پیش‌آموزش استفاده شده است.
  • انتخاب یک چک‌پوینت عمومی در حالی که یک مدل مخصوص حوزه (مانند BioBERT، SciBERT) در دسترس است و به وضوح مناسب‌تر است.

پرسش‌های متداول

چه تعداد نمونه برچسب‌دار برای تنظیم دقیق یک ترنسفورمر نیاز دارم؟

بستگی به پیچیدگی وظیفه دارد، اما ترنسفورمرها به ویژه کارآمد از نظر داده هستند. وظایف طبقه‌بندی اغلب با چند صد تا چند هزار نمونه برچسب‌دار به خوبی کار می‌کنند. برای مجموعه داده‌های بسیار کوچک (کمتر از حدود 200 نمونه)، روش‌های چند-نمونه‌ای (few-shot) یا پارامتر-کارآمد مانند LoRA یا prompt tuning ممکن است پایدارتر باشند.

آیا باید بدنه ترنسفورمر را منجمد کنم و فقط سر را آموزش دهم؟

تنظیم دقیق کامل سرتاسری به طور مداوم در اکثر تنظیمات از آموزش فقط سر بهتر عمل می‌کند. منجمد کردن بدنه عمدتاً زمانی مفید است که نمونه‌های بسیار کمی یا محاسبات بسیار محدودی دارید، اما سازگاری مخصوص وظیفه بازنمایی‌ها را قربانی می‌کند.

از چه نرخ یادگیری باید استفاده کنم؟

مدل‌های خانواده BERT به نرخ یادگیری حساس هستند. مقادیر بین 1e-5 و 5e-5 با گرم کردن خطی در طول 6-10٪ از کل مراحل، نقاط شروع استاندارد هستند. نرخ‌های بالاتر از 1e-4 معمولاً باعث فراموشی فاجعه‌بار می‌شوند.

چگونه بین چک‌پوینت‌های مختلف از پیش آموزش‌دیده انتخاب کنم؟

در صورت وجود، چک‌پوینت‌های مطابق با حوزه (BioBERT برای پزشکی، LegalBERT برای متن حقوقی، SciBERT برای علمی) را ترجیح دهید. برای وظایف عمومی، RoBERTa یا DeBERTa معمولاً بهتر از BERT استاندارد عمل می‌کنند. برای معیارهای مخصوص وظیفه، رهبران مدل Hugging Face را بررسی کنید.

آیا ترنسفورمر تنظیم‌شده برای گزارش‌دهی علمی به اندازه کافی قابل تفسیر است؟

نه به معنای سنتی گزارش ضرایب. با این حال، تجسم توجه، گرادیان‌های یکپارچه، و توضیحات مبتنی بر SHAP می‌توانند نشان دهند که کدام توکن‌ها پیش‌بینی‌ها را هدایت می‌کنند. این تکنیک‌ها به طور فزاینده‌ای در تحقیقات کاربردی NLP پذیرفته می‌شوند اما ممکن است در زمینه‌های علوم اجتماعی که نیاز به تأیید دقیق دارند، بازبینان را راضی نکنند.

روش‌های مرتبط

منابع

  1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.

    باز کردن مرجع انتشار
    کپی شد.
  2. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186.

    باز کردن مرجع انتشار
    کپی شد.