Skip to content
بازگشت به نتایج جست‌وجو

حافظه طولانی کوتاه‌مدت (LSTM)

معرفی‌شده توسط
Hochreiter, S. & Schmidhuber, J.
سال
1997
نوع
Recurrent neural network with gated memory cells
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

حافظه طولانی کوتاه‌مدت (LSTM) یک معماری شبکه عصبی بازگشتی گیت‌دار است که توسط هوخرایتر و اشمیدهوبر در سال ۱۹۹۷ معرفی شد. این معماری برای یادگیری وابستگی‌ها در طول دنباله‌های طولانی با استفاده از سلول‌های حافظه اختصاصی و سه گیت یادگرفته‌شده — فراموشی، ورودی، و خروجی — طراحی شده است که اطلاعات نگهداری‌شده، به‌روزرسانی‌شده، یا منتقل‌شده در هر گام زمانی را کنترل می‌کنند.

شهود پشت روش

یک شبکه بازگشتی ساده سعی می‌کند اطلاعات را با استفاده مجدد از یک حالت پنهان واحد در طول زمان حمل کند، اما گرادیان‌ها در دنباله‌های طولانی کوچک یا منفجر می‌شوند و یادگیری وابستگی‌هایی که چندین گام را پوشش می‌دهند را تقریباً غیرممکن می‌سازند. LSTMها این مشکل را با یک سلول حافظه جداگانه که مانند یک تسمه نقاله عمل می‌کند، حل می‌کنند: گیت فراموشی تصمیم می‌گیرد چه اطلاعات قدیمی پاک شود، گیت ورودی اطلاعات جدید را اضافه می‌کند، و گیت خروجی تعیین می‌کند که سلول چه چیزی را به لایه بعدی منتقل کند. از آنجایی که سلول می‌تواند اطلاعات را برای گام‌های زیادی تقریباً بدون تغییر حمل کند، گرادیان‌ها در طول آموزش قابل اطمینان‌تر جریان می‌یابند و به شبکه اجازه می‌دهند الگوهایی را که جملات، پاراگراف‌ها یا پنجره‌های زمانی طولانی را پوشش می‌دهند، یاد بگیرد.

تاریخ

هوخرایتر و اشمیدهوبر معماری LSTM را در سال ۱۹۹۷ برای رفع مشکل ناپدید شدن گرادیان معرفی کردند که مانع از یادگیری وابستگی‌های دوربرد توسط RNNهای ساده می‌شد. در طول دهه ۲۰۰۰، این معماری یک کنجکاوی تحقیقاتی باقی ماند؛ تا اوایل دهه ۲۰۱۰، با هدایت کارهای گراوز و هینتون در تشخیص گفتار و سوتسکور در یادگیری دنباله به دنباله، LSTMها به معماری غالب برای وظایف ترتیبی تبدیل شدند. آن‌ها این موقعیت را تا زمانی که ترنسفورمر حدود سال‌های ۲۰۱۸-۲۰۱۹ از آن‌ها پیشی گرفت، حفظ کردند، اگرچه LSTMها همچنان در سری‌های زمانی و محیط‌های با منابع محدود به طور گسترده مورد استفاده قرار می‌گیرند.

چه زمانی استفاده شود

LSTM برای وظایفی که ترتیب مشاهدات مهم است و زمینه مرتبط ممکن است چندین گام را پوشش دهد، مناسب است: طبقه‌بندی متن، تحلیل احساسات، تشخیص موجودیت نام‌گذاری‌شده، ترجمه ماشینی، پیش‌بینی سری زمانی، و پردازش گفتار. زمانی LSTM را انتخاب کنید که دنباله‌های شما نسبتاً طولانی باشند (ده‌ها تا چند صد گام) و داده‌های برچسب‌دار کافی (معمولاً هزاران مثال) برای یادگیری پارامترهای گیت داشته باشید. برای دنباله‌های بسیار طولانی یا زمانی که موازی‌سازی حیاتی است، ترنسفورمر معمولاً ترجیح داده می‌شود. برای دنباله‌های کوتاه‌تر یا زمانی که سادگی مهم است، GRU (پارامترهای کمتر) یا یک مدل از پیش آموزش‌دیده تنظیم‌شده (BERT، RoBERTa) ممکن است مناسب‌تر باشد.

محدودیت‌ها و ملاحظات

  • آموزش کندتر از ترنسفورمرها زیرا محاسبات ترتیبی را نمی‌توان به طور کامل موازی کرد.
  • نیاز به داده‌های برچسب‌دار قابل توجه؛ در مجموعه داده‌های کوچک، علی‌رغم dropout، تمایل به بیش‌برازش دارد.
  • دنباله‌های بسیار طولانی (صدها گام) به دلیل ظرفیت محدود سلول همچنان LSTMها را به چالش می‌کشند.
  • تنظیم ابرپارامترها — واحدهای پنهان، لایه‌ها، dropout، نرخ یادگیری — می‌تواند زمان‌بر باشد.
  • برای بسیاری از وظایف NLP، مدل‌های ترنسفورمر از پیش آموزش‌دیده اکنون بهتر از LSTMهای آموزش‌دیده از ابتدا عمل می‌کنند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • به طور صریح برای ثبت وابستگی‌های دوربرد بدون ناپدید شدن گرادیان طراحی شده است.
  • معماری انعطاف‌پذیر: برای طبقه‌بندی دنباله، برچسب‌گذاری توکن، تولید و پیش‌بینی کار می‌کند.
  • ساختار گیت قابل تفسیر — گیت‌های فراموشی، ورودی، و خروجی — در مقایسه با جایگزین‌های جعبه سیاه.
  • بسط دوطرفه (BiLSTM) با پردازش دنباله‌ها در هر دو جهت، زمینه را دو برابر می‌کند.
  • مجموعه بزرگی از کاربردهای اثبات‌شده در حوزه‌های NLP، گفتار و سری زمانی.

کاربردها

  • طبقه‌بندی متن و تحلیل احساسات بر روی اسناد یا نقدها.
  • برچسب‌گذاری دنباله: تشخیص موجودیت نام‌گذاری‌شده، برچسب‌گذاری جزء گفتار.
  • پیش‌بینی سری زمانی: قیمت سهام، خوانش سنسور، تقاضای انرژی.
  • تشخیص گفتار به عنوان یک جزء مدل صوتی.
  • ترجمه ماشینی از طریق معماری‌های LSTM رمزگذار-رمزگشا.
  • تشخیص ناهنجاری در داده‌های گزارش یا سنسور ترتیبی.

چگونه کار می‌کند

چگونه کار می‌کند

1

در هر گام زمانی، گیت فراموشی حالت پنهان قبلی و ورودی فعلی را دریافت می‌کند، آن‌ها را از طریق یک سیگموئید عبور می‌دهد و مقداری بین ۰ و ۱ برای هر عنصر حالت سلول تولید می‌کند. مقادیر نزدیک به ۰ آن عنصر را از حافظه پاک می‌کنند؛ مقادیر نزدیک به ۱ آن را حفظ می‌کنند. این پاک‌سازی یادگرفته‌شده همان چیزی است که به LSTM اجازه می‌دهد تا زمینه‌ای را که دیگر مرتبط نیست، دور بریزد.

فرمول
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

گیت ورودی، که آن هم با سیگموئید فعال می‌شود، تصمیم می‌گیرد که کدام عناصر حالت سلول کاندید — که از طریق tanh محاسبه شده‌اند — باید در سلول نوشته شوند. در مجموع، گیت‌های فراموشی و ورودی به شبکه اجازه می‌دهند تا اطلاعات جدید را به طور انتخابی به خاطر بسپارد و در عین حال اطلاعات قدیمی را دور بریزد، بدون اینکه مشکل ناپدید شدن گرادیان که شبکه‌های RNN ساده را آزار می‌دهد، رخ دهد.

فرمول
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

حالت سلول با ضرب عنصر به عنصر حالت سلول قدیمی در خروجی گیت فراموشی، و سپس افزودن حاصلضرب عنصر به عنصر گیت ورودی و حالت سلول کاندید، به‌روزرسانی می‌شود. این به‌روزرسانی افزایشی دلیل اصلی جریان یافتن گرادیان‌ها به عقب در طول گام‌های زمانی متعدد بدون ناپدید شدن است: مسیر از طریق حالت سلول شامل جمع به جای ضرب مکرر است.

فرمول
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

گیت خروجی کنترل می‌کند که چه مقدار از حالت سلول (که با tanh فشرده شده است) به عنوان حالت پنهان منتقل‌شده به گام زمانی بعدی و لایه بالایی، در معرض دید قرار گیرد. این جداسازی حافظه داخلی از نمایش در معرض دید، انعطاف‌پذیری بیشتری به LSTM در وظایف ترتیبی می‌بخشد.

فرمول
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

بسته به وظیفه، LSTM می‌تواند حالت پنهان نهایی (طبقه‌بندی دنباله)، تمام حالت‌های پنهان (برچسب‌گذاری دنباله، ترجمه)، یا هر دو را برگرداند. در عمل، انباشتن چندین لایه LSTM و افزودن dropout بین آن‌ها، قدرت نمایشی را بهبود می‌بخشد و در عین حال بیش‌برازش را کاهش می‌دهد.

دام‌های رایج

  • استفاده از LSTM بدون padding و masking زمانی که دنباله‌ها طول متفاوتی دارند، باعث خطاهای خاموش از صفرهای padding می‌شود.
  • فراموش کردن تنظیم شبکه در حالت ارزیابی (غیرفعال کردن dropout) در زمان استنتاج.
  • آموزش بدون برش گرادیان، که حتی در LSTMها نیز می‌تواند منجر به انفجار گرادیان شود.
  • گزارش صرف دقت در مجموعه داده‌های دنباله‌ای نامتوازن به جای F1 یا AUC برای هر کلاس.
  • در نظر گرفتن یک LSTM یک‌طرفه به عنوان کافی برای وظایفی (مانند NER یا پیش‌بینی ماسک‌شده) که زمینه آینده در دسترس است.

پرسش‌های متداول

تفاوت بین LSTM و GRU چیست؟

GRU گیت‌های فراموشی و ورودی را در یک گیت به‌روزرسانی واحد ادغام می‌کند و حالت سلول جداگانه‌ای ندارد، که باعث می‌شود پارامترهای کمتری داشته باشد و آموزش سریع‌تری داشته باشد. LSTMها تمایل دارند در وظایفی که نیاز به حافظه بسیار دقیق بلندمدت دارند، کمی بهتر از GRUها عمل کنند، اما تفاوت اغلب کم و وابسته به مجموعه داده است.

آیا باید از یک LSTM دوطرفه استفاده کنم؟

اگر وظیفه شما قبل از انجام پیش‌بینی‌ها به کل دنباله دسترسی دارد — طبقه‌بندی، NER، یا پیش‌بینی آفلاین — یک BiLSTM معمولاً با ترکیب زمینه گذشته و آینده، دقت را بهبود می‌بخشد. اگر پیش‌بینی‌ها باید در زمان واقعی انجام شوند (پیش‌بینی آنلاین، جریان)، از یک LSTM یک‌طرفه استفاده کنید.

چه زمانی باید ترنسفورمر را به جای LSTM انتخاب کنم؟

برای اکثر وظایف مدرن NLP با توان محاسباتی کافی، ترنسفورمرهای از پیش آموزش‌دیده (BERT، RoBERTa) بهتر از LSTMهای آموزش‌دیده از ابتدا عمل می‌کنند. LSTM را زمانی انتخاب کنید که توان محاسباتی یا تأخیر محدود باشد، زمانی که دنباله‌های شما سری زمانی عددی به جای متن هستند، یا زمانی که داده‌های کافی برای تنظیم دقیق یک مدل بزرگ از پیش آموزش‌دیده ندارید.

چگونه دنباله‌های با طول متغیر را مدیریت کنم؟

دنباله‌های کوتاه‌تر را به یک طول مشترک padding کنید، یک ماسک برای نادیده گرفتن توکن‌های padding در محاسبه خطا ایجاد کنید، و از دنباله‌های بسته‌بندی شده (PyTorch) یا لایه‌های ماسکینگ (Keras/TensorFlow) استفاده کنید تا موقعیت‌های padding بر حالت پنهان تأثیر نگذارند.

چند لایه LSTM و واحد پنهان باید استفاده کنم؟

برای اکثر وظایف، یک تا دو لایه LSTM انباشته با ۶۴ تا ۵۱۲ واحد پنهان یک محدوده شروع منطقی است. لایه‌ها و واحدهای بیشتر ظرفیت را افزایش می‌دهند اما زمان آموزش و خطر بیش‌برازش را نیز افزایش می‌دهند؛ از dropout بین لایه‌ها استفاده کنید و با یک مجموعه جدا شده یا اعتبارسنجی متقابل اعتبارسنجی کنید.

روش‌های مرتبط

منابع

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    باز کردن مرجع DOI
    کپی شد.
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    باز کردن مرجع DOI
    کپی شد.