Skip to content
بازگشت به نتایج جست‌وجو

LSTM

معرفی‌شده توسط
Hochreiter, S. & Schmidhuber, J.
سال
1997
نوع
Recurrent neural network (gated memory cell)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

LSTM (حافظه طولانی کوتاه‌مدت) یک معماری شبکه عصبی بازگشتی است که توسط سپ هوخ‌رایتر و یورگن اشمیدهوبر در سال ۱۹۹۷ معرفی شد. این معماری قادر به یادگیری وابستگی‌های طولانی‌مدت در داده‌های متوالی است و به طور گسترده برای پیش‌بینی سری‌های زمانی و توالی‌ها استفاده می‌شود. این شبکه یک حافظه داخلی را حفظ می‌کند که به اطلاعات اجازه می‌دهد در طول گام‌های زمانی متعدد باقی بمانند.

شهود پشت روش

شبکه‌های بازگشتی معمولی به دلیل محو شدن سیگنال یادگیری در فواصل دور، در انتقال اطلاعات در طول توالی‌های طولانی با مشکل مواجه هستند. LSTM با اختصاص دادن یک سلول حافظه به هر واحد، که می‌تواند مقداری را در طول زمان نگه دارد، و همچنین گیت‌هایی که تصمیم می‌گیرند چه چیزی به خاطر سپرده شود، چه چیزی فراموش شود و چه چیزی منتقل گردد، این مشکل را حل می‌کند. بنابراین، شبکه می‌تواند رویدادهایی را که در یک توالی از هم دور هستند، به هم مرتبط کند، که دقیقاً همان چیزی است که مسائل سری زمانی و توالی به آن نیاز دارند.

تاریخ

LSTM توسط سپ هوخ‌رایتر و یورگن اشمیدهوبر در سال ۱۹۹۷ برای غلبه بر مشکل محو شدن گرادیان (vanishing-gradient problem) که مانع یادگیری وابستگی‌های دوربرد در شبکه‌های بازگشتی قبلی می‌شد، معرفی شد. سلول حافظه گیت‌دار آن به سنگ بنای مدل‌سازی توالی و یک انتخاب استاندارد برای وظایف پیش‌بینی سری زمانی و توالی تبدیل شد، پیش از آنکه معماری‌های مبتنی بر توجه ظهور کنند.

چه زمانی استفاده شود

مناسب برای پیش‌بینی و تخمین در توالی‌های پیوسته یا با شاخص تاریخ که دارای ساختار سری زمانی یا طولی هستند، زمانی که الگوهای زمانی دوربرد اهمیت دارند و مجموعه داده بزرگی (حدود ۵۰۰ مشاهده یا بیشتر) در دسترس است. ورودی‌ها باید نرمال‌سازی شوند و شتاب‌دهنده GPU توصیه می‌شود. در نمونه‌های کوچکتر، شبکه بیش‌برازش (overfitting) می‌کند، بنابراین مدل‌های ساده‌تر مانند Random Forest (کمتر از ۵۰۰) یا XGBoost (کمتر از ۲۰۰) ایمن‌تر هستند.

محدودیت‌ها و ملاحظات

  • برای آموزش قابل اعتماد به مجموعه داده بزرگی (حدود ۵۰۰ مشاهده یا بیشتر) نیاز دارد.
  • در نمونه‌های کوچک بیش‌برازش می‌کند، جایی که مدل‌های یادگیری ماشین ساده‌تر بهتر تعمیم می‌یابند.
  • ورودی‌ها باید قبل از آموزش نرمال‌سازی شوند، که یک مرحله پیش‌پردازش اجباری را اضافه می‌کند.
  • از نظر محاسباتی سنگین است؛ شتاب‌دهنده GPU برای آموزش عملی به شدت ترجیح داده می‌شود.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • وابستگی‌های طولانی‌مدت در داده‌های متوالی را یاد می‌گیرد که شبکه‌های بازگشتی معمولی از دست می‌دهند.
  • برای پیش‌بینی سری‌های زمانی و طولی و پیش‌بینی توالی بسیار مناسب است.
  • فرض حداقلی بر توزیع: نیازی به داده‌های با توزیع نرمال ندارد.
  • ورودی‌های توالی پیوسته و با شاخص تاریخ را به صورت بومی مدیریت می‌کند.

کاربردها

  • پیش‌بینی سری زمانی بر روی داده‌های پیوسته یا با شاخص تاریخ.
  • پیش‌بینی توالی که در آن الگوهای زمانی دوربرد اهمیت دارند.
  • مدل‌سازی داده‌های طولی با وابستگی‌هایی که چندین گام زمانی را در بر می‌گیرند.
  • وظایف پیش‌بینی بر روی مجموعه داده‌های متوالی بزرگ که حافظه زمانی در آن‌ها ضروری است.

چگونه کار می‌کند

چگونه کار می‌کند

1

هر واحد LSTM یک سلول حافظه را حمل می‌کند که وضعیت آن در طول توالی به جلو می‌رود. این سلول مانند یک نوار نقاله برای اطلاعات عمل می‌کند و به سیگنال‌های مرتبط اجازه می‌دهد تا به جای اینکه پس از یکی دو گام زمانی از بین بروند، در طول گام‌های زمانی متعدد باقی بمانند، که این امر شبکه را قادر می‌سازد تا وابستگی‌های طولانی‌مدت را یاد بگیرد.

2

گیت‌ها جریان ورودی و خروجی به سلول حافظه را تنظیم می‌کنند: یک گیت تصمیم می‌گیرد چه مقدار از وضعیت گذشته حفظ شود، یک گیت تصمیم می‌گیرد چه اطلاعات جدیدی نوشته شود و یک گیت تصمیم می‌گیرد چه چیزی به عنوان پاسخ واحد خوانده شود. با یادگیری این گیت‌ها از داده‌ها، شبکه حافظه را در طول توالی‌های طولانی کنترل می‌کند، نه اینکه تحت تأثیر آن قرار گیرد.

3

همانطور که توالی گام به گام پردازش می‌شود، وضعیت پنهان گیت‌دار در هر گام به یک لایه خروجی تغذیه می‌شود که پیش‌بینی را تولید می‌کند - به عنوان مثال، مقدار بعدی در یک سری زمانی. از آنجایی که ورودی‌ها باید نرمال‌سازی شوند و شبکه بزرگ است، آموزش به مجموعه داده‌ای قابل توجه (حدود ۵۰۰ مشاهده یا بیشتر) و ترجیحاً شتاب‌دهنده GPU نیاز دارد.

فرمول
\hat{y}_t = f(h_t)

دام‌های رایج

  • تغذیه ورودی‌های نرمال‌سازی نشده که آموزش را بی‌ثبات می‌کند.
  • آموزش بر روی کمتر از حدود ۵۰۰ مشاهده و اعتماد به نتیجه به جای بازگشت به یک مدل ساده‌تر.
  • اعمال یک شبکه بازگشتی عمیق بر روی یک نمونه بسیار کوچک که در آن یادگیری ماشین کلاسیک کافی است.
  • نادیده گرفتن بیش‌برازش و گزارش برازش درون نمونه به گونه‌ای که گویی عملکرد پیش‌بینی‌کننده است.

پرسش‌های متداول

یک LSTM به چه مقدار داده نیاز دارد؟

این شبکه برای مجموعه داده‌های بزرگ - تقریباً ۵۰۰ مشاهده یا بیشتر - در نظر گرفته شده است. در زیر این مقدار، شبکه تمایل به بیش‌برازش دارد و تعمیم ضعیفی دارد، بنابراین یک مدل ساده‌تر مانند Random Forest توصیه می‌شود و برای کمتر از حدود ۲۰۰ مشاهده، XGBoost انتخاب بهتری است.

آیا باید ورودی‌ها را نرمال‌سازی کنم؟

بله. نرمال‌سازی یک مرحله پیش‌پردازش اجباری برای LSTM است؛ ورودی‌های بدون مقیاس، آموزش را بی‌ثبات کرده و نتیجه را تخریب می‌کنند.

چه چیزی LSTM را از یک شبکه بازگشتی ساده متمایز می‌کند؟

LSTM یک سلول حافظه و گیت‌هایی را اضافه می‌کند که آنچه را که باید به خاطر سپرد، فراموش کرد و خروجی داد، کنترل می‌کنند. این به آن اجازه می‌دهد تا اطلاعات را در طول توالی‌های طولانی حمل کند و وابستگی‌های طولانی‌مدت را یاد بگیرد که یک شبکه بازگشتی ساده به دلیل محو شدن گرادیان‌ها از دست می‌دهد.

آیا GPU مورد نیاز است؟

به طور دقیق مورد نیاز نیست، اما شتاب‌دهنده GPU به شدت ترجیح داده می‌شود زیرا آموزش LSTM بر روی مجموعه داده‌های متوالی بزرگ از نظر محاسباتی سنگین است.

روش‌های مرتبط

منابع

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.

    باز کردن مرجع DOI
    کپی شد.