وحدة التكرار المسورة (GRU)
- قدّمه
- Cho, K. et al.
- السنة
- 2014
- النوع
- Gated recurrent neural network unit
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
وحدة التكرار المسورة (GRU) هي خلية شبكة عصبية تكرارية مسورة قدمها تشو وزملاؤه في عام 2014، والتي تلتقط التبعيات طويلة المدى في البيانات المتسلسلة باستخدام بوابات التحديث وإعادة الضبط، محققة أداءً يضاهي أداء LSTM بعدد أقل من المعلمات.
الفكرة الحدسية وراء الطريقة
تواجه الشبكة التكرارية العادية صعوبة في تذكر المعلومات عبر التسلسلات الطويلة لأن الإشارة تتلاشى أو تنفجر أثناء مرورها خطوة بخطوة. تضيف وحدة GRU بوابات صغيرة تتعلم، عند كل خطوة زمنية، مقدار الماضي الذي يجب الاحتفاظ به ومقدار المعلومات الجديدة التي يجب استيعابها. مع بوابتين فقط بدلاً من ثلاث بوابات في LSTM، فإنها تحمل ذاكرة مفيدة عبر فترات طويلة مع بقائها أخف وأسرع في التدريب.
التاريخ
تم تقديم وحدة GRU بواسطة كيونهيون تشو وزملاؤه في عام 2014 ضمن إطار عمل مشفر-مفكك للشبكات العصبية التكرارية للترجمة الآلية الإحصائية. في وقت لاحق من ذلك العام، قام تشونغ وجولسيهير وتشوهنغ وبنجيو بتقييم وحدات التكرار المسورة تجريبياً مقابل LSTM في مهام نمذجة التسلسل، موضحين أن وحدة GRU الأبسط ذات البوابتين يمكن أن تضاهي أداء LSTM مع استخدام عدد أقل من المعلمات، مما جعلها بديلاً أخف وزناً شائعًا لنمذجة التسلسل.
متى تُستخدم
مناسبة للتنبؤ والتوقع والتصنيف على البيانات المتسلسلة - السلاسل الزمنية أو التسلسلات الطولية للقيم المستمرة أو النص - عندما تكون التبعيات طويلة المدى مهمة ويكون التدريب الأسرع من LSTM مرغوبًا فيه، مع وجود حوالي 100 ملاحظة على الأقل. لا تفترض بيانات موزعة طبيعيًا. مع أقل من حوالي 500 تسلسل، يكون خطر الإفراط في التجهيز مرتفعًا ويكون نموذج أبسط مثل الغابة العشوائية أكثر أمانًا؛ أقل من حوالي 100، لا يكون التدريب التكراري ذا معنى ويفضل XGBoost.
الحدود والاعتبارات
- خطر إفراط في التجهيز مرتفع على مجموعات البيانات الصغيرة (أقل من حوالي 500 تسلسل).
- تتطلب بيانات متسلسلة؛ ليست ذات معنى أقل من حوالي 100 ملاحظة.
- بصفتها صندوقًا أسود تكراريًا، فإنها لا تقدم معاملات صريحة للتفسير.
- مثل جميع النماذج التكرارية، يمكن أن تكون حساسة لطول التسلسل وإعداد التدريب.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تلتقط التبعيات طويلة المدى في البيانات المتسلسلة من خلال بوابات التحديث وإعادة الضبط المتعلمة.
- دقة مقارنة بـ LSTM مع عدد أقل من المعلمات، لذا فهي تدرب بشكل أسرع.
- افتراضات خفيفة: لا تتطلب بيانات موزعة طبيعيًا.
- مناسبة بشكل جيد للسلاسل الزمنية والتسلسلات الطولية للقيم المستمرة أو النص.
التطبيقات
- التنبؤ والتوقع على السلاسل الزمنية والتسلسلات الطولية.
- تصنيف التسلسل على المدخلات ذات القيم المستمرة أو النصية.
- نمذجة التبعيات طويلة المدى حيث تكون سعة LSTM مطلوبة بتكلفة أقل.
- خط أساس تكراري أسرع قبل اللجوء إلى نماذج تسلسل أثقل.
كيف يعمل
كيف يعمل
عند كل خطوة زمنية، تحسب الوحدة بوابتين من المدخل الحالي والحالة المخفية السابقة. تحدد بوابة التحديث مقدار الحالة السابقة التي يجب نقلها إلى الأمام مقابل مقدار التحديث، بينما تحدد بوابة إعادة الضبط مقدار الماضي الذي يجب تجاهله عند تكوين حالة مرشحة جديدة. يتم ضغط كليهما بواسطة دالة سيجمويد إلى قيم بين الصفر والواحد.
الصيغة
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})يتم اقتراح حالة مخفية مرشحة من المدخل الحالي المدمج مع الحالة السابقة المفلترة عبر بوابة إعادة الضبط. عندما تكون بوابة إعادة الضبط قريبة من الصفر، فإن الوحدة تتجاهل الماضي بشكل فعال وتستجيب للمدخلات الجديدة؛ وعندما تكون قريبة من الواحد، فإنها تمزج السياق السابق في المرشح الجديد.
الصيغة
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))الحالة المخفية الجديدة هي استيفاء مسور بين الحالة السابقة والمرشح، يتم التحكم فيه بواسطة بوابة التحديث. تسمح خطوة المزج الواحدة هذه للوحدة إما بالحفاظ على الذاكرة عبر خطوات زمنية متعددة أو التحديث بسرعة، وهذا ما يسمح لوحدات GRU بالتقاط التبعيات طويلة المدى دون خلية ذاكرة منفصلة.
الصيغة
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tالأخطاء الشائعة
- تطبيق GRU على مجموعة بيانات متسلسلة صغيرة حيث تقوم ببساطة بحفظ بيانات التدريب.
- نسيان أن المدخلات يجب أن تشكل تسلسلات حقيقية، وليس صفوفًا جدولية غير مرتبة.
- تخطي تقسيم تدريب/تحقق صحيح والثقة في ملاءمة التسلسل داخل العينة.
- اللجوء إلى شبكة تكرارية عندما يكون نموذج أبسط سيؤدي إلى تعميم أفضل على البيانات الصغيرة.
الأسئلة الشائعة
كيف تختلف وحدة GRU عن LSTM؟
تستخدم وحدة GRU بوابتين (تحديث وإعادة ضبط) وحالة مخفية واحدة، بينما تستخدم LSTM ثلاث بوابات وخلية ذاكرة منفصلة. لذلك، تحتوي وحدة GRU على عدد أقل من المعلمات وتدرب بشكل أسرع مع تحقيق أداء مماثل في العديد من مهام التسلسل.
ما مقدار البيانات التي تحتاجها وحدة GRU؟
تحتاج إلى بيانات متسلسلة مع حوالي 100 ملاحظة على الأقل. أقل من حوالي 500 تسلسل، يكون خطر الإفراط في التجهيز مرتفعًا، لذا فإن نموذجًا أبسط مثل الغابة العشوائية أكثر أمانًا؛ أقل من حوالي 100، لا يكون النموذج التكراري ذا معنى ويفضل XGBoost.
هل تفترض وحدة GRU بيانات موزعة طبيعيًا؟
لا. مثل الشبكات العصبية التكرارية الأخرى، لا تفترض أي افتراضات حول التوزيع الطبيعي؛ ما تتطلبه هو مدخلات متسلسلة حقيقية مثل سلسلة زمنية أو تسلسل طولي.
متى يجب أن أفضل وحدة GRU على نموذج أثقل؟
اختر وحدة GRU عندما تحتاج إلى التقاط التبعيات طويلة المدى في التسلسلات ولكنك تريد تدريبًا أسرع وأخف من LSTM، ولديك بيانات متسلسلة كافية لتجنب الإفراط في التجهيز.
طرق ذات صلة
المصادر
Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.
افتح مرجع المنشورتم النسخ.Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555
افتح مرجع المنشورتم النسخ.