Skip to content
بازگشت به نتایج جست‌وجو

LSTM تنظیم‌شده

معرفی‌شده توسط
Howard, J. & Ruder, S. (ULMFiT); foundational LSTM by Hochreiter & Schmidhuber
سال
2018 (fine-tuning paradigm formalised); LSTM core: 1997
نوع
Supervised sequential model with transfer learning
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

LSTM تنظیم‌شده، یک شبکه حافظه طولانی کوتاه‌مدت (Long Short-Term Memory) را که بر روی یک مجموعه داده بزرگ از متون از پیش آموزش دیده است، با ادامه آموزش بر روی داده‌های برچسب‌دار خاص وظیفه، برای یک وظیفه خاص پایین‌دستی - مانند طبقه‌بندی متن، تحلیل احساسات، یا برچسب‌گذاری توالی - تطبیق می‌دهد. این رویکرد که توسط چارچوب ULMFiT محبوبیت یافته است، حتی زمانی که داده‌های برچسب‌دار کمیاب هستند، عملکرد قوی را به دست می‌آورد.

شهود پشت روش

آموزش یک LSTM از ابتدا بر روی یک مجموعه داده کوچک برچسب‌دار اغلب نتایج ضعیفی به بار می‌آورد زیرا شبکه باید هم ساختار زبان و هم وظیفه را به طور همزمان بیاموزد. تنظیم دقیق این نگرانی‌ها را جدا می‌کند: یک مجموعه داده بزرگ از متون بدون برچسب، نمایش‌های ترتیبی عمومی را به شبکه می‌آموزد و سپس یک مجموعه کوچک برچسب‌دار آن نمایش‌ها را به سمت وظیفه هدف هدایت می‌کند. وزن‌های از پیش آموزش‌دیده به عنوان یک نقطه شروع آگاهانه عمل می‌کنند، بنابراین به‌روزرسانی‌های گرادیان در طول تنظیم دقیق، تنظیمات هدفمند را انجام می‌دهند نه اینکه همه چیز را از مقداردهی اولیه تصادفی یاد بگیرند.

تاریخ

معماری LSTM در سال 1997 توسط هوخ رایت و اشمیدهوبر برای رفع مشکل گرادیان ناپدید شونده در شبکه‌های بازگشتی معرفی شد. تنظیم دقیق LSTMهای از پیش آموزش‌دیده برای پردازش زبان طبیعی با ULMFiT (2018) هاوارد و رودر رایج شد، که نشان داد آموزش سه مرحله‌ای - پیش‌آموزش مدل زبان، تطبیق دامنه، و تنظیم وظیفه - به طور چشمگیری داده‌های برچسب‌دار مورد نیاز برای طبقه‌بندی متن قوی را کاهش داد. ULMFiT موج بعدی تنظیم دقیق ترانسفورمرهای از پیش آموزش‌دیده (BERT، GPT) را که اکنون معیارهای NLP را تحت سلطه خود درآورده‌اند، تحت تأثیر قرار داد.

چه زمانی استفاده شود

LSTM تنظیم‌شده زمانی مناسب است که شما داده‌های ترتیبی یا متنی، مثال‌های برچسب‌دار محدود خاص وظیفه (ده‌ها تا هزاران کم) و دسترسی به یا توانایی بارگذاری یک مدل زبان LSTM از پیش آموزش‌دیده را دارید. این مدل در وظایف طبقه‌بندی متن، تحلیل احساسات و برچسب‌گذاری توالی که در آن مدل‌های ترانسفورمر کامل بیش از حد منابع مصرف می‌کنند یا طول توالی‌ها متوسط ​​است، عالی عمل می‌کند. از آن زمانی اجتناب کنید که داده‌های برچسب‌دار فراوان هستند و آموزش از ابتدا امکان‌پذیر است، زمانی که دامنه هدف بسیار فنی است و هیچ مدل از پیش آموزش‌دیده مناسبی وجود ندارد، یا زمانی که وظیفه نیاز به وابستگی‌های بسیار طولانی‌مدت دارد که ترانسفورمرها بهتر مدیریت می‌کنند. برای مجموعه داده‌های بزرگ برچسب‌دار، تنظیم دقیق مدل‌های مبتنی بر BERT معمولاً بهتر از رویکردهای مبتنی بر LSTM عمل می‌کند.

محدودیت‌ها و ملاحظات

  • عملکرد در وظایف متنی به طور کلی پایین‌تر از مدل‌های ترانسفورمر تنظیم‌شده (BERT، RoBERTa) است، زمانی که محاسبات امکان‌پذیر باشد.
  • کیفیت به شدت به ارتباط مجموعه داده از پیش آموزش‌دیده با دامنه هدف بستگی دارد.
  • آموزش LSTM ذاتاً ترتیبی است و در طول گام‌های زمانی موازی نمی‌شود، که پیش‌آموزش را بر روی توالی‌های طولانی کند می‌کند.
  • باز کردن تدریجی و نرخ‌های یادگیری تمایزگذار، پارامترهای اضافی را معرفی می‌کنند که نیاز به تنظیم دقیق دارند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • در رژیم‌های کم‌داده مؤثر است: نمایش‌های از پیش آموزش‌دیده، مثال‌های برچسب‌دار محدود را جبران می‌کنند.
  • هزینه محاسباتی کمتر نسبت به تنظیم دقیق مدل‌های ترانسفورمر بزرگ بر روی سخت‌افزار فقط CPU یا محدود از نظر حافظه.
  • باز کردن تدریجی و نرخ‌های یادگیری تمایزگذار، فراموشی فاجعه‌بار دانش از پیش آموزش‌دیده را کاهش می‌دهند.
  • به طور طبیعی توالی‌های با طول متغیر را بدون مکانیسم‌های توجه سنگین پدگذاری مدیریت می‌کند.
  • به دلیل ماهیت ترتیبی محاسبات LSTM، برای استنتاج جریانی یا بلادرنگ مناسب است.

کاربردها

  • طبقه‌بندی متن با داده‌های برچسب‌دار محدود (احساسات، موضوع، قصد).
  • وظایف برچسب‌گذاری توالی مانند تشخیص موجودیت نام‌گذاری شده و برچسب‌گذاری جزء گفتار.
  • تشخیص ناهنجاری سری زمانی و پیش‌بینی زمانی که LSTMهای از پیش آموزش‌دیده خاص دامنه در دسترس باشند.
  • پردازش زبان طبیعی زبان‌های کم‌منبع که در آن مدل‌های از پیش آموزش‌دیده ترانسفورمر در دسترس نیستند.
  • سناریوهای استقرار لبه یا تعبیه‌شده که به مدل‌های ترتیبی کوچک‌تر از ترانسفورمرهای کامل نیاز دارند.
  • خطوط لوله تطبیق دامنه تکراری که در آن یک LSTM عمومی به تدریج برای دامنه‌های جدید تخصصی می‌شود.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک LSTM چند لایه ابتدا به عنوان یک مدل زبان بر روی یک مجموعه داده بزرگ عمومی (مانند WikiText-103) آموزش داده می‌شود تا توکن بعدی را در یک توالی پیش‌بینی کند. این مرحله، نمایش‌های ترتیبی و معنایی غنی را بدون نیاز به هیچ برچسب وظیفه‌ای در حالت‌های پنهان القا می‌کند.

2

هنگام تطبیق با یک دامنه جدید، لایه‌ها به تدریج از لایه خروجی به سمت داخل باز می‌شوند - تکنیکی به نام باز کردن تدریجی. این کار با اجازه دادن به لایه‌های اولیه برای به‌روزرسانی تنها پس از تثبیت لایه‌های بعدی در وظیفه جدید، از فراموشی فاجعه‌بار نمایش‌های از پیش آموزش‌دیده جلوگیری می‌کند.

3

یک سر خروجی خاص وظیفه (مانند یک طبقه‌بند سافت‌مکس، یک لایه CRF برای برچسب‌گذاری توالی، یا یک سر رگرسیون) به آخرین حالت پنهان LSTM اضافه می‌شود. این سر ابتدا در حالی که بدنه LSTM مسدود شده است آموزش داده می‌شود، سپس کل شبکه به صورت سرتاسری تنظیم می‌شود.

4

تنظیم دقیق تمایزگذار، نرخ‌های یادگیری متفاوتی را به هر لایه LSTM اختصاص می‌دهد - نرخ‌های پایین‌تر برای لایه‌های اولیه که ویژگی‌های عمومی را نگه می‌دارند و نرخ‌های بالاتر برای لایه‌های بعدی نزدیک به وظیفه. هاوارد و رودر پیشنهاد کردند که نرخ یادگیری را بر اساس ضریب 2.6 در هر لایه از خروجی به ورودی تقسیم کنیم.

فرمول
\eta_l = \eta_{L} / (2.6)^{L - l}
5

شبکه کاملاً باز شده بر روی مجموعه داده هدف برچسب‌دار، معمولاً با یک برنامه نرخ یادگیری مثلثی کج که به طور مختصر افزایش یافته و سپس کاهش می‌یابد، آموزش داده می‌شود. عملکرد بر روی یک مجموعه اعتبارسنجی جدا شده با استفاده از معیارهای مناسب وظیفه (دقت، F1، AUROC و غیره) ارزیابی می‌شود و بهترین نقطه بازرسی انتخاب می‌شود.

دام‌های رایج

  • نادیده گرفتن باز کردن تدریجی و تنظیم همزمان تمام لایه‌ها، که منجر به فراموشی فاجعه‌بار نمایش‌های از پیش آموزش‌دیده می‌شود.
  • استفاده از یک مدل از پیش آموزش‌دیده از یک دامنه نامتناسب (مانند متن عمومی وب برای توالی‌های زیست‌پزشکی بسیار فنی) بدون تطبیق دامنه میانی.
  • ارزیابی فقط بر روی تقسیم آموزش یا عدم نظارت بر زیان اعتبارسنجی برای تشخیص بیش‌برازش بر روی مجموعه داده‌های هدف کوچک.
  • تنظیم یک نرخ یادگیری یکنواخت در تمام لایه‌های LSTM به جای اعمال نرخ‌های تمایزگذار.
  • نادیده گرفتن عدم تعادل کلاس در سر طبقه‌بند، که منجر به دقت متورم بر روی کلاس اکثریت می‌شود.

پرسش‌های متداول

آیا LSTM تنظیم‌شده هنوز با مدل‌های مبتنی بر BERT رقابتی است؟

برای اکثر معیارهای NLP، مدل‌های ترانسفورمر تنظیم‌شده بهتر از LSTMهای تنظیم‌شده عمل می‌کنند، زمانی که محاسبات امکان‌پذیر باشد. با این حال، LSTMهای تنظیم‌شده در مجموعه داده‌های کوچک، در محیط‌های محدود از نظر منابع، و برای وظایف استنتاج جریانی که در آن محاسبات ترتیبی LSTM یک مزیت است، رقابتی باقی می‌مانند.

از کدام LSTM از پیش آموزش‌دیده باید استفاده کنم؟

برای پردازش زبان طبیعی انگلیسی، وزن‌های AWD-LSTM که بر روی WikiText-103 آموزش دیده‌اند (منتشر شده توسط نویسندگان ULMFiT از طریق fastai) یک نقطه شروع استاندارد هستند. برای وظایف خاص دامنه، پیش‌آموزش دامنه میانی بر روی متن بدون برچسب در دامنه قبل از تنظیم وظیفه، معمولاً سود قابل توجهی به همراه دارد.

چند دوره معمولاً برای تنظیم دقیق لازم است؟

تنظیم دقیق خاص وظیفه معمولاً فقط به 2-10 دوره بر روی مجموعه داده برچسب‌دار نیاز دارد. زیان اعتبارسنجی را به دقت نظارت کنید؛ LSTMها می‌توانند به سرعت بر روی مجموعه‌های برچسب‌دار کوچک بیش‌برازش کنند. توقف زودهنگام بر اساس F1 یا زیان اعتبارسنجی به شدت توصیه می‌شود.

تفاوت بین تنظیم دقیق و آموزش یک LSTM با یادگیری انتقالی چیست؟

این اصطلاحات اغلب همپوشانی دارند، اما تنظیم دقیق به طور خاص به به‌روزرسانی وزن‌های از پیش آموزش‌دیده (حتی اگر به صورت انتخابی باشد) اشاره دارد، در حالی که یادگیری انتقالی گاهی اوقات توصیف کننده مسدود کردن تمام لایه‌های از پیش آموزش‌دیده و آموزش فقط سر وظیفه است. تنظیم دقیق کامل با باز کردن تدریجی به طور مداوم بهتر از رویکرد بدنه مسدود شده عمل می‌کند.

چه زمانی باید یک ترانسفورمر تنظیم‌شده را به یک LSTM تنظیم‌شده ترجیح دهم؟

یک ترانسفورمر تنظیم‌شده (مانند BERT) را ترجیح دهید زمانی که منابع GPU دارید، وظیفه شامل وابستگی‌های طولانی‌مدت یا درک متنی پیچیده است، و نقاط بازرسی از پیش آموزش‌دیده بزرگ برای دامنه شما در دسترس هستند. LSTM تنظیم‌شده را زمانی انتخاب کنید که سخت‌افزار محدود است، توالی‌ها کوتاه تا متوسط ​​هستند، یا تأخیر استنتاج بر روی دستگاه‌های لبه یک محدودیت است.

روش‌های مرتبط

منابع

  1. Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL), 328–339.

    باز کردن مرجع DOI
    کپی شد.
  2. Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    باز کردن مرجع DOI
    کپی شد.