الانتقال إلى المحتوى
العودة إلى نتائج البحث

الذاكرة طويلة قصيرة المدى (LSTM)

قدّمه
Hochreiter, S. & Schmidhuber, J.
السنة
1997
النوع
Recurrent neural network with gated memory cells
العائلة
Deep learning / NLP / CV

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

الذاكرة طويلة قصيرة المدى (LSTM) هي بنية شبكة عصبية متكررة مُبَوَّبة (gated recurrent neural network) قدمها هوخريتر وشميدهوبر في عام 1997. صُممت لتعلم الاعتماديات عبر التسلسلات الطويلة باستخدام خلايا ذاكرة مخصصة وثلاث بوابات مُتَعَلَّمة - بوابة النسيان، وبوابة الإدخال، وبوابة الإخراج - تتحكم في المعلومات التي يتم الاحتفاظ بها، أو تحديثها، أو تمريرها للأمام في كل خطوة زمنية.

الفكرة الحدسية وراء الطريقة

تحاول الشبكة المتكررة العادية حمل المعلومات عبر الزمن عن طريق إعادة استخدام حالة مخفية واحدة، لكن التدرجات تتقلص أو تنفجر عبر التسلسلات الطويلة، مما يجعل من المستحيل تقريبًا تعلم الاعتماديات التي تمتد عبر خطوات عديدة. تحل الـ LSTMs هذه المشكلة باستخدام خلية ذاكرة منفصلة تعمل كحزام ناقل: تحدد بوابة النسيان المعلومات القديمة التي يجب مسحها، وتضيف بوابة الإدخال معلومات جديدة، وتحدد بوابة الإخراج ما تكشفه الخلية للطبقة التالية. نظرًا لأن الخلية يمكنها حمل المعلومات دون تغيير إلى حد كبير لخطوات عديدة، تتدفق التدرجات بشكل أكثر موثوقية أثناء التدريب، مما يمكّن الشبكة من تعلم الأنماط التي تمتد عبر الجمل أو الفقرات أو نوافذ زمنية طويلة.

التاريخ

قدم هوخريتر وشميدهوبر بنية LSTM في عام 1997 لمعالجة مشكلة تلاشي التدرج التي منعت الشبكات المتكررة العادية من تعلم الاعتماديات طويلة المدى. خلال العقد الأول من القرن الحادي والعشرين، ظلت فضولًا بحثيًا؛ بحلول أوائل عام 2010، مدفوعة بالعمل من غريفز وهينتون في التعرف على الكلام ومن سوتسكيفر في التعلم من تسلسل إلى تسلسل، أصبحت الـ LSTMs البنية المهيمنة للمهام المتسلسلة. احتلت هذا المنصب حتى تفوقت عليها Transformer حوالي 2018-2019، على الرغم من أن الـ LSTMs لا تزال تستخدم على نطاق واسع في السلاسل الزمنية والإعدادات ذات الموارد المحدودة.

متى تُستخدم

تُعد الـ LSTM مناسبة للمهام التي يكون فيها ترتيب الملاحظات مهمًا وقد يمتد السياق ذي الصلة عبر خطوات عديدة: تصنيف النصوص، تحليل المشاعر، التعرف على الكيانات المسماة، الترجمة الآلية، التنبؤ بالسلاسل الزمنية، ومعالجة الكلام. اختر الـ LSTM عندما تكون تسلسلاتك طويلة بشكل معتدل (عشرات إلى بضع مئات من الخطوات) ولديك بيانات مُصنَّفة كافية (عادةً آلاف الأمثلة) لتعلم معلمات البوابات. بالنسبة للتسلسلات الطويلة جدًا أو عندما يكون التوازي أمرًا بالغ الأهمية، فإن Transformer يكون مفضلاً عادةً. بالنسبة للتسلسلات الأقصر أو عندما تكون البساطة مهمة، قد يكون GRU (معلمات أقل) أو نموذج مُدَرَّب مسبقًا ومُحَسَّن (BERT، RoBERTa) أكثر ملاءمة.

الحدود والاعتبارات

  • أبطأ في التدريب من Transformers لأن الحساب المتسلسل لا يمكن موازاته بالكامل.
  • تتطلب بيانات مُصنَّفة كبيرة؛ على مجموعات البيانات الصغيرة تميل إلى الإفراط في التخصيص على الرغم من التسرب.
  • التسلسلات الطويلة جدًا (مئات الخطوات) لا تزال تشكل تحديًا للـ LSTMs بسبب سعة الخلية المحدودة.
  • ضبط المعلمات الفائقة - الوحدات المخفية، الطبقات، التسرب، معدل التعلم - يمكن أن يستغرق وقتًا طويلاً.
  • بالنسبة للعديد من مهام معالجة اللغة الطبيعية، تتفوق نماذج Transformer المدربة مسبقًا الآن على الـ LSTMs المدربة من الصفر.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • مصممة بشكل صريح لالتقاط الاعتماديات طويلة المدى دون تلاشي التدرج.
  • بنية مرنة: تعمل لتصنيف التسلسل، وتسمية الرموز، والتوليد، والتنبؤ.
  • هيكل تبويب (gating) قابل للتفسير - بوابات النسيان، والإدخال، والإخراج - مقارنة بالبدائل الصندوق الأسود.
  • امتداد ثنائي الاتجاه (BiLSTM) يضاعف السياق عن طريق معالجة التسلسلات في كلا الاتجاهين.
  • مجموعة كبيرة من التطبيقات المثبتة عبر مجالات معالجة اللغة الطبيعية (NLP)، والكلام، والسلاسل الزمنية.

التطبيقات

  • تصنيف النصوص وتحليل المشاعر على المستندات أو المراجعات.
  • تسمية التسلسل: التعرف على الكيانات المسماة، ووسم أجزاء الكلام.
  • التنبؤ بالسلاسل الزمنية: أسعار الأسهم، قراءات المستشعرات، الطلب على الطاقة.
  • التعرف على الكلام كمكون نموذج صوتي.
  • الترجمة الآلية عبر بنيات LSTM المشفرة-المفككة (encoder-decoder).
  • اكتشاف الشذوذ في بيانات السجل أو المستشعرات المتسلسلة.

كيف يعمل

كيف يعمل

1

في كل خطوة زمنية، تتلقى بوابة النسيان الحالة المخفية السابقة والإدخال الحالي، وتمررهما عبر دالة سيجمويد (sigmoid)، وتنتج قيمة بين 0 و 1 لكل عنصر من عناصر حالة الخلية. القيم القريبة من 0 تمسح هذا العنصر من الذاكرة؛ القيم القريبة من 1 تحافظ عليه. هذا المسح المتعلم هو ما يسمح للـ LSTM بالتخلص من السياق الذي لم يعد ذا صلة.

الصيغة
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)
2

تقرر بوابة الإدخال، التي يتم تنشيطها أيضًا بواسطة دالة سيجمويد، أي عناصر من حالة الخلية المرشحة - التي تم حسابها عبر دالة tanh - يجب كتابتها في الخلية. معًا، تسمح بوابتا النسيان والإدخال للشبكة بتذكر المعلومات الجديدة بشكل انتقائي مع التخلص من المعلومات القديمة، دون تلاشي التدرج الذي تعاني منه الشبكات المتكررة العادية (RNNs).

الصيغة
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)
3

يتم تحديث حالة الخلية عن طريق الضرب العنصري لحالة الخلية القديمة بمخرج بوابة النسيان، ثم إضافة الناتج العنصري لبوابة الإدخال وحالة الخلية المرشحة. هذا التحديث الإضافي هو السبب الرئيسي الذي يسمح للتدرجات بالتدفق للخلف عبر العديد من الخطوات الزمنية دون تلاشي: المسار عبر حالة الخلية يتضمن الجمع بدلاً من الضرب المتكرر.

الصيغة
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t
4

تتحكم بوابة الإخراج في مقدار حالة الخلية (المضغوطة بواسطة tanh) التي يتم كشفها كحالة مخفية تُمرر إلى الخطوة الزمنية التالية وإلى الطبقة الأعلى. هذا الفصل بين الذاكرة الداخلية والتمثيل المكشوف يمنح الـ LSTM مرونة إضافية في مهام التسلسل.

الصيغة
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)
5

اعتمادًا على المهمة، يمكن للـ LSTM إرجاع الحالة المخفية النهائية (تصنيف التسلسل)، أو جميع الحالات المخفية (تسمية التسلسل، الترجمة)، أو كليهما. عمليًا، يؤدي تكديس طبقات LSTM متعددة وإضافة التسرب (dropout) بينها إلى تحسين القدرة التمثيلية مع تقليل الإفراط في التخصيص (overfitting).

الأخطاء الشائعة

  • استخدام LSTM بدون حشو وإخفاء عندما تختلف أطوال التسلسلات، مما يتسبب في أخطاء صامتة من الأصفار المحشوة.
  • النسيان لضبط الشبكة على وضع التقييم (تعطيل التسرب) في وقت الاستدلال.
  • التدريب بدون قص التدرج، والذي يمكن أن يؤدي إلى تدرجات متفجرة حتى في الـ LSTMs.
  • الإبلاغ عن الدقة وحدها على مجموعات بيانات التسلسل غير المتوازنة بدلاً من F1 أو AUC لكل فئة.
  • معاملة LSTM أحادي الاتجاه كافية للمهام (مثل NER أو التنبؤ المقنع) حيث يكون السياق المستقبلي متاحًا.

الأسئلة الشائعة

ما الفرق بين LSTM و GRU؟

تدمج GRU بوابتي النسيان والإدخال في بوابة تحديث واحدة ولا تحتوي على حالة خلية منفصلة، مما يمنحها معلمات أقل وتدريبًا أسرع. تميل LSTMs إلى التفوق قليلاً على GRUs في المهام التي تتطلب ذاكرة طويلة المدى دقيقة للغاية، ولكن الفرق غالبًا ما يكون صغيرًا ويعتمد على مجموعة البيانات.

هل يجب أن أستخدم LSTM ثنائي الاتجاه؟

إذا كانت مهمتك تسمح بالوصول إلى التسلسل الكامل قبل إجراء التنبؤات - التصنيف، NER، أو التنبؤ دون اتصال - فإن BiLSTM يحسن الدقة عادةً عن طريق دمج السياق الماضي والمستقبلي. إذا كان يجب إجراء التنبؤات في الوقت الفعلي (التنبؤ عبر الإنترنت، البث المباشر)، فاستخدم LSTM أحادي الاتجاه.

متى يجب أن أختار Transformer بدلاً من LSTM؟

بالنسبة لمعظم مهام معالجة اللغة الطبيعية الحديثة مع موارد حسابية كافية، تتفوق نماذج Transformer المدربة مسبقًا (BERT، RoBERTa) على الـ LSTMs المدربة من الصفر. اختر LSTM عندما تكون الموارد الحسابية أو زمن الاستجابة مقيدًا، أو عندما تكون تسلسلاتك سلاسل زمنية رقمية بدلاً من نص، أو عندما يكون لديك بيانات قليلة جدًا لضبط نموذج مدرب مسبقًا كبير.

كيف أتعامل مع التسلسلات متغيرة الطول؟

قم بحشو التسلسلات الأقصر إلى طول مشترك، وأنشئ قناعًا لتجاهل رموز الحشو في حساب الخسارة، واستخدم تسلسلات مُحزَّمة (packed sequences) (PyTorch) أو طبقات إخفاء (masking layers) (Keras/TensorFlow) بحيث لا تؤثر المواضع المحشوة على الحالة المخفية.

كم عدد طبقات LSTM ووحدات مخفية يجب أن أستخدم؟

بالنسبة لمعظم المهام، تتراوح من طبقة إلى طبقتين من LSTM المكدسة مع 64-512 وحدة مخفية كنطاق بداية معقول. المزيد من الطبقات والوحدات تزيد السعة ولكن أيضًا وقت التدريب وخطر الإفراط في التخصيص؛ استخدم التسرب بين الطبقات وقم بالتحقق باستخدام مجموعة بيانات مُحتفظ بها أو التحقق المتقاطع.

طرق ذات صلة

المصادر

  1. Hochreiter, S. & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

    افتح مرجع DOI
    تم النسخ.
  2. Graves, A., Mohamed, A.-R. & Hinton, G. (2013). Speech recognition with deep recurrent neural networks. Proceedings of ICASSP 2013, pp. 6645–6649. IEEE.

    افتح مرجع DOI
    تم النسخ.