Skip to content
بازگشت به نتایج جست‌وجو

یادگیری انتقالی با LSTM

معرفی‌شده توسط
Howard, J. & Ruder, S. (ULMFiT); general concept: Pan & Yang (2010)
سال
2018 (ULMFiT; concept since ~2010)
نوع
Transfer learning / Sequential model
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری انتقالی با LSTM تکنیکی است که در آن یک شبکه حافظه طولانی کوتاه‌مدت (Long Short-Term Memory) ابتدا بر روی یک مجموعه داده بزرگ منبع یا وظیفه پیش‌آموزش داده می‌شود، و سپس وزن‌های آموخته‌شده آن به یک وظیفه هدف کوچک‌تر منتقل و تنظیم دقیق (fine-tuned) می‌شوند. این رویکرد که توسط ULMFiT (Howard & Ruder, 2018) محبوبیت یافت، به مدل‌های مبتنی بر LSTM اجازه می‌دهد تا حتی زمانی که داده‌های هدف برچسب‌دار کمیاب هستند، به عملکرد قوی دست یابند.

شهود پشت روش

آموزش یک LSTM از ابتدا بر روی یک مجموعه داده کوچک پرخطر است: مدل به ندرت الگوهای کلی زبان یا توالی را می‌آموزد و به راحتی بیش‌برازش (overfits) می‌شود. یادگیری انتقالی با آموزش اولیه LSTM بر روی داده‌های فراوان - اغلب با هدف مدل‌سازی زبان بر روی یک مجموعه متنی بزرگ - از این مشکل اجتناب می‌کند، به طوری که حالت‌های پنهان آن از قبل بازنمایی‌های غنی از دستور زبان، زمینه و معنا را کدگذاری می‌کنند. هنگامی که سپس آن وزن‌ها را بر روی وظیفه خاص خود تنظیم دقیق می‌کنید، مدل به سرعت سازگار می‌شود زیرا از موقعیت بسیار بهتری نسبت به مقداردهی اولیه تصادفی شروع می‌کند، بسیار شبیه به یک متخصص که فقط به یک جهت‌گیری مختصر نیاز دارد تا یک برنامه آموزشی کامل.

تاریخ

مفهوم کلی یادگیری انتقالی برای شبکه‌های عصبی توسط Pan & Yang (2010) رسمی شد. کاربرد عملی آن برای شبکه‌های بازگشتی با ULMFiT (Howard & Ruder, 2018) که نشان داد یک رژیم آموزشی سه مرحله‌ای LSTM - مدل‌سازی زبان عمومی، مدل‌سازی زبان دامنه هدف، تنظیم دقیق طبقه‌بند - می‌تواند با مدل‌های نظارت‌شده بسیار بزرگ‌تر در معیارهای طبقه‌بندی متن رقابت کند یا از آن‌ها پیشی بگیرد - توجه گسترده‌ای را به خود جلب کرد. موفقیت ULMFiT پیش از پارادایم پیش‌آموزش دوران ترنسفورمر (BERT، GPT) بود و مستقیماً بر آن تأثیر گذاشت و به عنوان یک مرجع متعارف برای یادگیری انتقالی توالی باقی مانده است.

چه زمانی استفاده شود

هنگامی که یک وظیفه مدل‌سازی توالی - طبقه‌بندی متن، تحلیل احساسات، تشخیص موجودیت نام‌گذاری شده، پیش‌بینی سری زمانی - دارید اما فقط یک مجموعه داده برچسب‌دار کوچک، از یادگیری انتقالی با LSTM استفاده کنید. این روش به ویژه برای وظایف پردازش زبان طبیعی (NLP) که در آن یک مدل زبان پیش‌آموزش‌دیده برای زبان منبع یا هدف وجود دارد، و زمانی که سازگاری دامنه (متن بدون برچسب دامنه هدف) امکان‌پذیر است، مؤثر است. از آن اجتناب کنید زمانی که دامنه توالی شما به طور رادیکال با مجموعه داده پیش‌آموزش متفاوت است به طوری که انتقال منفی (negative transfer) محتمل است، زمانی که تفسیرپذیری حالت‌های بازگشتی منفرد مورد نیاز است (مدل‌های ساده‌تر را ترجیح دهید)، یا زمانی که جایگزین‌های مبتنی بر ترنسفورمر مانند تنظیم دقیق BERT در دسترس هستند و مجموعه داده مبتنی بر متن است (ترنسفورمرها از سال ۲۰۱۹ به طور کلی در NLP از LSTMها بهتر عمل می‌کنند).

محدودیت‌ها و ملاحظات

  • روش‌های انتقالی مبتنی بر ترنسفورمر (BERT، RoBERTa) تا حد زیادی جایگزین LSTMها برای وظایف NLP شده‌اند و اغلب دقت بالاتری ارائه می‌دهند.
  • آموزش LSTM ترتیبی است و به راحتی قابل موازی‌سازی نیست، که باعث می‌شود پیش‌آموزش بر روی مجموعه‌های داده بسیار بزرگ کند باشد.
  • انتقال منفی می‌تواند رخ دهد اگر دامنه‌های منبع و هدف نامنطبق باشند، که عملکرد را به زیر سطح پایه آموزش‌دیده از ابتدا کاهش می‌دهد.
  • به یک نقطه بازرسی (checkpoint) LSTM پیش‌آموزش‌دیده مناسب نیاز دارد؛ برای زبان‌های نادر یا دامنه‌های بسیار تخصصی، ممکن است هیچ کدام وجود نداشته باشد.
  • پایداری تنظیم دقیق می‌تواند به نرخ یادگیری و برنامه منجمدسازی حساس باشد و نیازمند جستجوی دقیق هایپرپارامترها است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • نیاز به داده‌های برچسب‌دار را در مقایسه با آموزش از ابتدا به شدت کاهش می‌دهد.
  • وابستگی‌های توالی دوربرد را که مدل‌های bag-of-words و سطحی از دست می‌دهند، ثبت می‌کند.
  • وزن‌های پیش‌آموزش‌دیده یک مقداردهی اولیه قوی فراهم می‌کنند که منجر به همگرایی سریع‌تر و تعمیم بهتر می‌شود.
  • قابل اعمال به داده‌های توالی غیرزبانی (سری زمانی، گفتار، ژنومیک) و همچنین NLP.
  • بازگشایی تدریجی و نرخ‌های یادگیری تمایزی (ULMFiT) کنترل تنظیم دقیق اصولی را ارائه می‌دهند.
  • بازنمایی‌های میانی قابل تفسیر در مقایسه با بسیاری از معماری‌های ترنسفورمر.

کاربردها

  • طبقه‌بندی متن (تحلیل احساسات، دسته‌بندی موضوع، دسته‌بندی اخبار).
  • تشخیص موجودیت نام‌گذاری شده و برچسب‌گذاری توالی با مجموعه‌های داده حاشیه‌نویسی محدود.
  • تشخیص ناهنجاری و پیش‌بینی سری زمانی زمانی که وزن‌های پیش‌آموزش‌دیده از سری‌های مشابه در دسترس هستند.
  • NLP کم‌منبع برای زبان‌هایی با داده‌های حاشیه‌نویسی محدود اما مجموعه‌های داده بدون برچسب در دسترس.
  • طبقه‌بندی یادداشت‌های بالینی و تحلیل توالی زیست‌پزشکی با نقاط بازرسی LSTM سازگار شده با دامنه.
  • مدل‌سازی توالی گفتار و صدا زمانی که پیش‌آموزش صوتی در دسترس است.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک LSTM بر روی یک مجموعه داده منبع بزرگ با استفاده از یک هدف کلی، که معمولاً مدل‌سازی زبان است (پیش‌بینی توکن بعدی)، آموزش داده می‌شود. این مرحله به شبکه بازنمایی‌های توالی کلی - ساختار نحوی، هم‌آیی‌های رایج، وابستگی‌های دوربرد - را بدون هیچ نظارت خاص وظیفه آموزش می‌دهد. وزن‌های حاصل به عنوان مقداردهی اولیه برای وظایف پایین‌دستی عمل می‌کنند.

2

قبل از تنظیم دقیق بر روی وظیفه هدف برچسب‌دار، LSTM پیش‌آموزش‌دیده به صورت اختیاری با ادامه آموزش مدل‌سازی زبان بر روی متن بدون برچسب دامنه هدف، با دامنه هدف سازگار می‌شود. این مرحله سازگاری دامنه، که به طور برجسته در ULMFiT استفاده شد، شکاف واژگان و سبک بین مجموعه داده‌های منبع و هدف را کاهش می‌دهد و اغلب افزایش دقت معنی‌داری را با هزینه کم به همراه دارد.

3

برای جلوگیری از تخریب بازنمایی‌های پیش‌آموزش‌دیده، لایه‌ها معمولاً در ابتدا منجمد (frozen) شده و به تدریج از بالا (مخصوص وظیفه) به پایین (کلی) باز می‌شوند. ULMFiT بازگشایی تدریجی و تنظیم دقیق تمایزی (discriminative fine-tuning) را معرفی کرد، که در آن لایه‌های پایین‌تر نرخ‌های یادگیری کمتری نسبت به لایه‌های بالاتر دریافت می‌کنند، و از ویژگی‌های عمومی محافظت کرده و در عین حال امکان سازگاری مخصوص وظیفه را فراهم می‌آورد.

4

یک سر مخصوص وظیفه (مانند طبقه‌بند سافت‌مکس برای طبقه‌بندی متن، یا لایه رگرسیون برای پیش‌بینی توالی به مقدار) در بالای LSTM اضافه می‌شود. سپس کل شبکه - یا بخش باز شده - به صورت سرتاسری (end-to-end) بر روی داده‌های هدف برچسب‌دار با استفاده از نرخ یادگیری کوچک و اغلب زمان‌بندی نرخ یادگیری مثلثی کج (slanted triangular learning rate scheduling) برای تثبیت همگرایی آموزش داده می‌شود.

5

عملکرد بر روی یک مجموعه آزمون نگه‌داشته شده با استفاده از معیارهای مناسب وظیفه (دقت، F1، AUC برای طبقه‌بندی؛ RMSE یا MAE برای رگرسیون) ارزیابی می‌شود. از آنجایی که داده‌های برچسب‌دار در تنظیمات انتقالی معمول کمیاب هستند، اعتبارسنجی متقابل K-fold طبقه‌بندی شده (stratified k-fold cross-validation) به شدت توصیه می‌شود. مقایسه با یک پایه LSTM آموزش‌دیده از ابتدا، سود حاصل از انتقال را کمی می‌کند.

دام‌های رایج

  • استفاده از همان نرخ یادگیری بالا برای همه لایه‌ها در طول تنظیم دقیق، که بازنمایی‌های پیش‌آموزش‌دیده را به طور فاجعه‌باری فراموش می‌کند.
  • نادیده گرفتن سازگاری دامنه زمانی که دامنه هدف به طور قابل توجهی با مجموعه داده پیش‌آموزش متفاوت است.
  • ارزیابی فقط بر روی زیرمجموعه آموزش و گزارش دقت درون نمونه‌ای به عنوان نتیجه نهایی.
  • نادیده گرفتن عدم تعادل کلاس در وظیفه هدف بدون وزن‌دهی مجدد یا نمونه‌برداری بیش از حد.
  • انتخاب انتقال LSTM زمانی که یک ترنسفورمر پیش‌آموزش‌دیده برای همان زبان یا دامنه در دسترس است - هزینه فرصت قابل توجه است.

پرسش‌های متداول

چه زمانی باید یادگیری انتقالی LSTM را به تنظیم دقیق BERT ترجیح دهم؟

یادگیری انتقالی LSTM را برای داده‌های توالی غیرمتنی (سری زمانی، گفتار، ژنومیک) یا زمانی که منابع محاسباتی به شدت محدود هستند ترجیح دهید، زیرا LSTMها سبک‌تر از ترنسفورمرهای بزرگ هستند. برای وظایف استاندارد NLP با متن انگلیسی، مدل‌های خانواده BERT تقریباً همیشه از LSTMها بهتر عمل می‌کنند و باید انتخاب پیش‌فرض باشند.

در ابتدای تنظیم دقیق، چند لایه را باید منجمد کنم؟

یک استراتژی رایج (از ULMFiT) این است که در ابتدا همه لایه‌ها به جز سر طبقه‌بند بالایی را منجمد کنید، سپس به تدریج در طول دوره‌ها یک لایه در هر بار از بالا به پایین باز کنید. این کار از بازنمایی‌های لایه پایینی با هدف عمومی محافظت می‌کند و در عین حال ویژگی‌های سطح بالاتر را با وظیفه هدف سازگار می‌کند.

اگر هیچ LSTM پیش‌آموزش‌دیده‌ای برای دامنه یا زبان من وجود نداشته باشد چه؟

شما می‌توانید مدل زبان LSTM خود را بر روی هر مجموعه داده بدون برچسب بزرگی در دامنه یا زبان خود پیش‌آموزش دهید. حتی یک مجموعه داده دامنه نسبتاً کوچک (چند میلیون توکن) مقداردهی اولیه بهتری نسبت به وزن‌های تصادفی ارائه می‌دهد، به خصوص برای اصطلاحات تخصصی.

آیا می‌توانم این را برای سری‌های زمانی، نه فقط متن، اعمال کنم؟

بله. یادگیری انتقالی با LSTM برای سری‌های زمانی به خوبی تثبیت شده است: یک شبکه که بر روی مجموعه بزرگی از توالی‌های مرتبط (مانند مصرف برق یا سیگنال‌های ECG) پیش‌آموزش داده شده است، می‌تواند بر روی یک سری هدف کوچک‌تر تنظیم دقیق شود و اغلب از پایه‌های LSTM آموزش‌دیده از ابتدا با داده‌های هدف بسیار کمتر بهتر عمل می‌کند.

چگونه بفهمم که انتقال منفی در حال رخ دادن است؟

عملکرد مدل تنظیم دقیق شده را با یک LSTM آموزش‌دیده از ابتدا که فقط بر روی داده‌های هدف آموزش دیده است، مقایسه کنید. اگر مدل منتقل شده بدتر عمل کرد، انتقال منفی محتمل است. راه‌حل‌ها شامل محدود کردن تنظیم دقیق به لایه‌های بالایی، استفاده از نرخ یادگیری کمتر، یا انتخاب یک مجموعه داده پیش‌آموزش است که بیشتر با دامنه هدف مطابقت دارد.

روش‌های مرتبط

منابع

  1. Howard, J. & Ruder, S. (2018). Universal Language Model Fine-Tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    باز کردن مرجع DOI
    کپی شد.
  2. Transfer learning. Wikipedia.

    باز کردن مرجع انتشار
    کپی شد.