شبكة الذاكرة قصيرة وطويلة الأمد
- قدّمه
- Hochreiter, S. & Schmidhuber, J.
- السنة
- 1997
- النوع
- Recurrent neural network (gated memory cell)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
شبكة الذاكرة قصيرة وطويلة الأمد (LSTM) هي بنية شبكة عصبية متكررة، قدمها سيب هوخريتر ويورغن شميدهوبر في عام 1997، والتي يمكنها تعلم الاعتماديات طويلة الأمد في البيانات المتسلسلة وتستخدم على نطاق واسع للتنبؤ بالسلاسل الزمنية والتنبؤ المتسلسل. تحتفظ بذاكرة داخلية تسمح للمعلومات بالاستمرار عبر العديد من الخطوات الزمنية.
الفكرة الحدسية وراء الطريقة
تواجه الشبكات المتكررة العادية صعوبة في حمل المعلومات عبر التسلسلات الطويلة لأن إشارة التعلم تتلاشى كلما كان عليها الوصول إلى أبعد. تحل شبكة LSTM هذه المشكلة من خلال إعطاء كل وحدة خلية ذاكرة يمكنها الاحتفاظ بقيمة بمرور الوقت، بالإضافة إلى بوابات تقرر ما يجب تذكره، وما يجب نسيانه، وما يجب تمريره. وبالتالي يمكن للشبكة ربط الأحداث المتباعدة في تسلسل، وهو بالضبط ما تتطلبه مشاكل السلاسل الزمنية والتسلسل.
التاريخ
تم تقديم شبكة LSTM بواسطة سيب هوخريتر ويورغن شميدهوبر في عام 1997 للتغلب على مشكلة تدرج الاختفاء التي منعت الشبكات المتكررة السابقة من تعلم الاعتماديات طويلة المدى. أصبحت خلية الذاكرة المبوّبة الخاصة بها حجر الزاوية في نمذجة التسلسل وخيارًا قياسيًا لمهام السلاسل الزمنية والتنبؤ المتسلسل قبل ظهور البنى القائمة على الانتباه.
متى تُستخدم
مناسبة للتنبؤ والتنبؤ بالسلاسل المستمرة أو المفهرسة بالتاريخ ذات البنية الزمنية أو الطولية، عندما تكون الأنماط الزمنية طويلة المدى مهمة وتتوفر مجموعة بيانات كبيرة (حوالي 500 ملاحظة أو أكثر). يجب تطبيع المدخلات، ويوصى بتسريع وحدة معالجة الرسومات. على العينات الأصغر، تتجاوز الشبكة الحدود، لذا فإن النماذج الأبسط مثل الغابة العشوائية (أقل من 500) أو XGBoost (أقل من 200) أكثر أمانًا.
الحدود والاعتبارات
- تحتاج إلى مجموعة بيانات كبيرة (حوالي 500 ملاحظة أو أكثر) للتدريب بشكل موثوق.
- تتجاوز الحدود على العينات الصغيرة، حيث تعمم النماذج الأبسط للتعلم الآلي بشكل أفضل.
- يجب تطبيع المدخلات قبل التدريب، مما يضيف خطوة معالجة مسبقة إلزامية.
- ثقيلة حسابيًا؛ يفضل بشدة تسريع وحدة معالجة الرسومات للتدريب العملي.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تتعلم الاعتماديات طويلة الأمد في البيانات المتسلسلة التي تفقدها الشبكات المتكررة العادية.
- مناسبة تمامًا للتنبؤ بالسلاسل الزمنية والطولية والتنبؤ المتسلسل.
- افتراضات خفيفة على التوزيع: لا تتطلب بيانات موزعة طبيعيًا.
- تتعامل مع مدخلات السلاسل المستمرة والمفهرسة بالتاريخ بشكل أصلي.
التطبيقات
- التنبؤ بالسلاسل الزمنية على البيانات المستمرة أو المفهرسة بالتاريخ.
- التنبؤ المتسلسل حيث تكون الأنماط الزمنية طويلة المدى مهمة.
- نمذجة البيانات الطولية مع اعتماديات تمتد عبر العديد من الخطوات الزمنية.
- المهام التنبؤية على مجموعات البيانات المتسلسلة الكبيرة حيث تكون الذاكرة الزمنية ضرورية.
كيف يعمل
كيف يعمل
تحمل كل وحدة LSTM خلية ذاكرة تسير حالتها إلى الأمام عبر التسلسل. تعمل هذه الخلية كحزام ناقل للمعلومات، مما يسمح للإشارات ذات الصلة بالاستمرار عبر العديد من الخطوات الزمنية بدلاً من التدهور بعد خطوة أو اثنتين، وهذا ما يمكّن الشبكة من تعلم الاعتماديات طويلة الأمد.
تنظم البوابات تدفق المعلومات إلى خلية الذاكرة وخارجها: تقرر بوابة واحدة مقدار الحالة السابقة التي يجب الاحتفاظ بها، وتقرر بوابة أخرى ما هي المعلومات الجديدة التي يجب كتابتها، وتقرر بوابة ثالثة ما يجب قراءته كاستجابة للوحدة. من خلال تعلم هذه البوابات من البيانات، تتحكم الشبكة في الذاكرة عبر التسلسلات الطويلة بدلاً من أن تطغى عليها.
مع معالجة التسلسل خطوة بخطوة، تغذي الحالة المخفية المبوّبة في كل خطوة طبقة إخراج تنتج التنبؤ - على سبيل المثال القيمة التالية في سلسلة زمنية. نظرًا لأنه يجب تطبيع المدخلات وأن الشبكة كبيرة، فإن التدريب يحتاج إلى مجموعة بيانات كبيرة (حوالي 500 ملاحظة أو أكثر) ويفضل تسريع وحدة معالجة الرسومات.
الصيغة
\hat{y}_t = f(h_t)الأخطاء الشائعة
- تغذية المدخلات غير المطبعة، مما يزعزع استقرار التدريب.
- التدريب على أقل من حوالي 500 ملاحظة والثقة في النتيجة بدلاً من العودة إلى نموذج أبسط.
- تطبيق شبكة متكررة عميقة على عينة صغيرة جدًا حيث قد يكون التعلم الآلي الكلاسيكي كافيًا.
- تجاهل تجاوز الحدود والإبلاغ عن الملاءمة داخل العينة كما لو كانت أداءً تنبؤيًا.
الأسئلة الشائعة
ما مقدار البيانات التي تحتاجها شبكة LSTM؟
إنها مخصصة لمجموعات البيانات الكبيرة - حوالي 500 ملاحظة أو أكثر. أقل من ذلك تميل الشبكة إلى تجاوز الحدود وتعميم ضعيف، لذا يوصى بنموذج أبسط مثل الغابة العشوائية كبديل، وأقل من حوالي 200 ملاحظة يكون XGBoost خيارًا أفضل.
هل يجب عليّ تطبيع المدخلات؟
نعم. التطبيع هو خطوة معالجة مسبقة إلزامية لشبكة LSTM؛ المدخلات غير المقيّسة تزعزع استقرار التدريب وتدهور النتيجة.
ما الذي يميز شبكة LSTM عن الشبكة المتكررة العادية؟
تضيف شبكة LSTM خلية ذاكرة وبوابات تتحكم فيما يجب تذكره ونسيانه وإخراجه. هذا يسمح لها بحمل المعلومات عبر التسلسلات الطويلة وتعلم الاعتماديات طويلة الأمد التي تفقدها الشبكة المتكررة العادية بسبب تدرجات الاختفاء.
هل وحدة معالجة الرسومات مطلوبة؟
إنها ليست مطلوبة بشكل صارم، ولكن يفضل بشدة تسريع وحدة معالجة الرسومات لأن تدريب شبكة LSTM على مجموعات البيانات المتسلسلة الكبيرة ثقيل حسابيًا.
طرق ذات صلة
المصادر
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
افتح مرجع DOIتم النسخ.