Skip to content
بازگشت به نتایج جست‌وجو

شبکه عصبی بازگشتی تنظیم‌شده

معرفی‌شده توسط
Popularised by Howard & Ruder (ULMFiT, 2018); RNN fine-tuning concept developed iteratively in the NLP community from ~2015
سال
2015–2018
نوع
Transfer learning / sequential model adaptation
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یک شبکه عصبی بازگشتی (RNN) تنظیم‌شده، با مدلی که قبلاً روی مجموعه‌های بزرگ داده یا داده‌های سری زمانی آموزش دیده است، آغاز می‌شود و وزن‌های خود را از طریق به‌روزرسانی‌های گرادیان کنترل‌شده برای یک وظیفه خاص پایین‌دستی تطبیق می‌دهد. این رویکرد به طور چشمگیری داده‌های برچسب‌دار مورد نیاز برای عملکرد قوی مدل‌سازی توالی را در طبقه‌بندی متن، تشخیص موجودیت نام‌گذاری شده، تحلیل احساسات و وظایف مرتبط کاهش می‌دهد.

شهود پشت روش

آموزش یک RNN از ابتدا نیازمند مجموعه داده‌های بزرگ برچسب‌دار و زمان‌های طولانی اجرا است. تنظیم دقیق با قرض گرفتن شبکه‌ای که از قبل ساختار زبان یا الگوهای ترتیبی را می‌داند و سپس آن را برای تخصص‌یافتن هدایت می‌کند، از این امر اجتناب می‌کند. لایه‌های بازگشتی قبلی - که الگوهای نحوی و زمانی گسترده را رمزگذاری می‌کنند - فقط به تنظیمات جزئی نیاز دارند، در حالی که لایه‌های بعدی و سر خروجی مخصوص وظیفه، بیشتر اطلاعات جدید را جذب می‌کنند. زمان‌بندی دقیق نرخ یادگیری از فراموش کردن آنچه مدل از قبل می‌داند جلوگیری می‌کند.

تاریخ

تنظیم دقیق RNNهای از پیش آموزش‌دیده برای NLP به تدریج از سال ۲۰۱۵ با آموزش مدل‌های زبان روی مجموعه‌های بزرگ داده که نمایش‌های قابل انتقال را نشان دادند، پدیدار شد. این عمل با مقاله ULMFiT هاوارد و رادر (ACL 2018) نظام‌مند شد، که باز شدن تدریجی و نرخ‌های یادگیری تبعیضی را برای مدل‌های زبان LSTM معرفی کرد و با داده‌های بسیار کم مخصوص وظیفه، به نتایج پیشرفته در شش معیار طبقه‌بندی متن دست یافت. در حالی که تنظیم دقیق مبتنی بر ترنسفورمر (BERT، ۲۰۱۸) به زودی معیارهای NLP را تحت سلطه خود درآورد، RNNهای تنظیم‌شده برای استقرارهای با منابع محدود و برنامه‌های سری زمانی مرتبط باقی می‌مانند.

چه زمانی استفاده شود

هنگامی از RNN تنظیم‌شده استفاده کنید که داده‌های برچسب‌دار برای وظیفه شما محدود است اما یک RNN از پیش آموزش‌دیده یا مدل زبان برای دامنه یا زبان شما در دسترس است. این روش برای طبقه‌بندی متن، تحلیل احساسات، NER و پیش‌بینی ترتیبی که در آن مدل مبتنی بر ترنسفورمر بیش از حد پارامتردار یا در دسترس نیست، مناسب است. از تنظیم دقیق RNNهای ساده در مواردی که وابستگی‌های بسیار طولانی غالب هستند - LSTM یا ترنسفورمرها در آنجا بهتر هستند - یا زمانی که تأخیر استنتاج در زمان واقعی حیاتی است، اجتناب کنید، زیرا حتی RNNهای کوچک نیز می‌توانند برای باز شدن کند باشند. تنظیم دقیق RNN را برای داده‌های صرفاً جدولی یا غیر ترتیبی اعمال نکنید.

محدودیت‌ها و ملاحظات

  • RNNهای معمولی از گرادیان‌های محوشونده رنج می‌برند و با وابستگی‌های دوربرد مشکل دارند؛ مدل‌های پایه LSTM یا GRU ترجیح داده می‌شوند.
  • کیفیت تنظیم دقیق توسط ارتباط مجموعه داده از پیش آموزش‌دیده محدود می‌شود - دامنه نامتجانس، سود را کاهش می‌دهد.
  • حساسیت به ابرپارامترها (زمان‌بندی نرخ یادگیری، دوره‌های باز شدن) نیاز به تنظیم دقیق یا جستجوی اعتبارسنجی دارد.
  • تا حد زیادی توسط مدل‌های مبتنی بر ترنسفورمر (BERT، RoBERTa) برای اکثر معیارهای NLP در صورت در دسترس بودن محاسبات کافی، جایگزین شده است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • حجم داده‌های برچسب‌دار مورد نیاز را در مقایسه با آموزش از ابتدا به طور قابل توجهی کاهش می‌دهد.
  • وزن‌های از پیش آموزش‌دیده، نمایش‌های ترتیبی غنی را رمزگذاری می‌کنند که در وظایف و دامنه‌های مرتبط منتقل می‌شوند.
  • از نظر محاسباتی سبک‌تر از تنظیم دقیق مدل‌های ترنسفورمر بزرگ، که آن را بدون نیاز به خوشه‌های GPU در دسترس قرار می‌دهد.
  • باز شدن تدریجی و نرخ‌های یادگیری تبعیضی، فراموشی فاجعه‌بار را به طور مؤثر محدود می‌کنند.
  • انعطاف‌پذیر: برای متن، سری زمانی، گفتار و هر داده با ساختار ترتیبی کار می‌کند.

کاربردها

  • طبقه‌بندی متن (تحلیل احساسات، دسته‌بندی موضوع) با نمونه‌های برچسب‌دار محدود.
  • تشخیص موجودیت نام‌گذاری شده و برچسب‌گذاری توالی در دامنه‌های تخصصی مانند متن زیست‌پزشکی یا حقوقی.
  • تشخیص ناهنجاری سری زمانی با تطبیق مدل‌های توالی از پیش آموزش‌دیده با سیگنال‌های حسگر خاص.
  • تطبیق مدل زبان برای مجموعه‌های داده کم‌منبع یا مخصوص دامنه.
  • سیستم‌های توصیه‌گر ترتیبی با استفاده از رمزگذارهای توالی رفتار کاربر از پیش آموزش‌دیده.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک RNN پایه (RNN ساده، LSTM یا GRU) ابتدا روی یک مجموعه بزرگ داده بدون برچسب از طریق یک هدف مدل‌سازی زبان مانند پیش‌بینی توکن بعدی، یا روی یک سری زمانی دامنه منبع بزرگ، از پیش آموزش داده می‌شود. این مرحله نمایش‌هایی را ایجاد می‌کند که ساختار ترتیبی عمومی را بدون هیچ گونه برچسب مخصوص وظیفه، ثبت می‌کنند.

2

هنگام تطبیق با وظیفه هدف، لایه‌ها به تدریج از بالا (نزدیک‌ترین به خروجی) به پایین باز می‌شوند. شروع با تمام لایه‌های بازگشتی مسدود شده، از فراموشی فاجعه‌بار وزن‌های از پیش آموزش‌دیده جلوگیری می‌کند؛ باز شدن تدریجی به هر لایه اجازه می‌دهد قبل از آزاد شدن لایه بعدی، تنظیم شود.

3

نرخ‌های یادگیری متفاوتی به لایه‌های مختلف اختصاص داده می‌شود - بالاترین نزدیک خروجی، پایین‌ترین نزدیک ورودی. این استراتژی نرخ یادگیری تبعیضی، که توسط ULMFiT (Howard and Ruder 2018) محبوب شد، منعکس‌کننده این مشاهده است که لایه‌های پایین‌تر ویژگی‌های عمومی‌تری را رمزگذاری می‌کنند که باید حداقل تغییر کنند.

4

یک سر خروجی مخصوص وظیفه (به عنوان مثال، یک طبقه‌بند خطی برای احساسات، یک CRF برای برچسب‌گذاری توالی) در بالای آخرین لایه بازگشتی اضافه می‌شود. این سر به طور مشترک با لایه‌های بازگشتی باز شده آموزش داده می‌شود و به مدل اجازه می‌دهد تا نمایش‌های آموخته شده را به برچسب‌های دامنه هدف نگاشت کند.

5

عملکرد مدل بر روی یک مجموعه اعتبارسنجی نگه‌داشته شده با استفاده از معیارهای مناسب وظیفه (دقت، F1، F1 میانگین‌گیری شده ماکرو برای کلاس‌های نامتوازن، یا معیارهای سطح توالی) ارزیابی می‌شود. توقف زودهنگام بر اساس زیان اعتبارسنجی، از بیش‌برازش مجموعه تنظیم دقیق کوچک محافظت می‌کند.

دام‌های رایج

  • استفاده از یک نرخ یادگیری بالا در تمام لایه‌ها، که وزن‌های از پیش آموزش‌دیده را بازنویسی می‌کند و مزایای انتقال را از بین می‌برد.
  • نادیده گرفتن باز شدن تدریجی و تنظیم دقیق همزمان تمام لایه‌ها، منجر به فراموشی فاجعه‌بار می‌شود.
  • ارزیابی فقط بر اساس دقت زمانی که کلاس‌ها نامتوازن هستند - همیشه F1 ماکرو و معیارهای هر کلاس را گزارش دهید.
  • فرض اینکه یک مدل از پیش آموزش‌دیده از زبان یا دامنه متفاوت به خوبی بدون تطبیق دامنه منتقل می‌شود.
  • نادیده گرفتن توقف زودهنگام و بیش‌برازش مجموعه تنظیم دقیق زمانی که داده‌های برچسب‌دار کم هستند.

پرسش‌های متداول

آیا باید از یک RNN ساده، LSTM یا GRU به عنوان پایه استفاده کنم؟

همیشه LSTM یا GRU را بر RNN ساده ترجیح دهید. RNNهای ساده از گرادیان‌های محوشونده در توالی‌های طولانی‌تر از چند ده مرحله رنج می‌برند و نمایش‌های از پیش آموزش‌دیده را شکننده می‌کنند. LSTMها و GRUها به طور خاص برای حفظ اطلاعات دوربرد و تنظیم پایدارتر طراحی شده‌اند.

تنظیم دقیق چند دوره باید اجرا شود؟

معمولاً ۳ تا ۱۰ دوره روی وظیفه هدف، بسته به اندازه مجموعه داده. از توقف زودهنگام بر اساس زیان اعتبارسنجی به جای تعداد دوره ثابت استفاده کنید. تنظیم دقیق طولانی‌مدت روی یک مجموعه داده کوچک، علی‌رغم مقداردهی اولیه از پیش آموزش‌دیده، منجر به بیش‌برازش می‌شود.

چه زمانی باید یک ترنسفورمر تنظیم‌شده را بر یک RNN تنظیم‌شده ترجیح دهم؟

هنگامی که محاسبات گلوگاه نیست و عملکرد معیار قوی هدف است، ترنسفورمرهای تنظیم‌شده (BERT، RoBERTa) به طور مداوم در وظایف NLP از RNNهای تنظیم‌شده بهتر عمل می‌کنند. یک RNN تنظیم‌شده را زمانی انتخاب کنید که به ردپای حافظه کوچکتر، استنتاج سریع‌تر روی CPU، یا کار با داده‌های سری زمانی طولانی که در آن توجه درجه دوم ترنسفورمر غیرعملی است، نیاز دارید.

اگر هیچ RNN از پیش آموزش‌دیده برای دامنه من وجود نداشته باشد چه؟

اگر مدل از پیش آموزش‌دیده برای زبان یا دامنه شما در دسترس نیست، در نظر بگیرید که یک LSTM کوچک را روی هر متن بدون برچسب موجود در دامنه به عنوان اولین مرحله، از پیش آموزش دهید، حتی اگر مجموعه داده متوسط باشد. به طور متناوب، از یک مدل از پیش آموزش‌دیده چندزبانه استفاده کنید و آن را روی داده‌های زبان هدف تنظیم کنید.

چگونه از فراموشی فاجعه‌بار جلوگیری کنم؟

باز شدن تدریجی (باز کردن لایه‌ها یکی یکی از بالا به پایین) را اعمال کنید و از نرخ‌های یادگیری پایین‌تر برای لایه‌های قبلی (نرخ‌های یادگیری تبعیضی) استفاده کنید. زمان‌بندی نرخ یادگیری مثلثی کج، همانطور که در ULMFiT پیشنهاد شده است، همچنین به مدل کمک می‌کند تا بدون پاک کردن دانش از پیش آموزش‌دیده، در یک راه‌حل خوب مستقر شود.

روش‌های مرتبط

منابع

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of ACL 2018, 328–339.

    باز کردن مرجع DOI
    کپی شد.
  2. Recurrent neural network. Wikipedia.

    باز کردن مرجع انتشار
    کپی شد.