وحدة البوابات المتكررة (GRU)
- قدّمه
- Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
- السنة
- 2014
- النوع
- Recurrent neural network with gating
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
وحدة البوابات المتكررة (GRU)، التي قدمها Cho وآخرون في عام 2014، هي شبكة عصبية متكررة مبسطة تستخدم بوابتين مُتعلّمتين - بوابة تحديث وبوابة إعادة تعيين - للاحتفاظ بالمعلومات أو تجاهلها بشكل انتقائي عبر خطوات الزمن، مما يتيح نمذجة التسلسل بفعالية وبمعلمات أقل من LSTM.
الفكرة الحدسية وراء الطريقة
معالجة التسلسل تشبه قراءة وثيقة طويلة مع اتخاذ قرار بشأن ما يجب تذكره وما يجب نسيانه. تتحكم بوابة التحديث في GRU في مقدار الحالة المخفية السابقة التي يجب نقلها إلى الأمام مقابل استبدالها بمعلومات جديدة، بينما تحدد بوابة إعادة التعيين مقدار السياق السابق الذي يجب أن يؤثر على حالة المخفية المرشحة الجديدة. تسمح آلية البوابات هذه للشبكة بالتقاط التبعيات طويلة المدى دون مشاكل تدرج الاختفاء التي تعاني منها شبكات RNN البسيطة، وهي تفعل ذلك ببنية أبسط وأسرع من LSTM ذات البوابات الأربع.
التاريخ
تم تقديم GRU بواسطة Cho وآخرون في عام 2014 كجزء من إطار عمل المشفر-المفكك لشبكات RNN للترجمة الآلية الإحصائية. قدم Chung وآخرون (2014) تقييمًا تجريبيًا أظهر أن GRU و LSTM حققا أداءً مشابهًا في نمذجة الموسيقى متعددة الأصوات ونمذجة إشارات الكلام بينما تدربت GRU بشكل أسرع. سرعان ما أصبحت خط أساس قياسي لنمذجة التسلسل ولا تزال تستخدم على نطاق واسع في أبحاث NLP والسلاسل الزمنية.
متى تُستخدم
استخدم GRU عند العمل مع البيانات المتسلسلة - اللغة الطبيعية، السلاسل الزمنية، الكلام، أو سجلات الأحداث - خاصة عندما تكون الموارد الحسابية محدودة أو عندما تكون سرعة التدريب مهمة، لأن GRU تدرب بشكل أسرع وتستخدم معلمات أقل من LSTM بدقة مماثلة غالبًا. وهي مناسبة لمهام مثل تصنيف النصوص، تحليل المشاعر، التعرف على الكيانات المسماة، نمذجة اللغة، والتنبؤ بالسلاسل الزمنية أحادية أو متعددة المتغيرات. فضل LSTM عندما يكون لديك تسلسلات طويلة جدًا حيث قد توفر خلية الذاكرة الإضافية في LSTM ميزة دقة، أو عندما يمكنك تحمل الحساب الإضافي. تجنب GRU للبيانات الجدولية غير المتسلسلة حيث تكون الشبكات الأمامية أو النماذج القائمة على الأشجار أكثر ملاءمة.
الحدود والاعتبارات
- قد يكون أداؤها أقل من LSTM في التسلسلات الطويلة جدًا حيث توفر خلية الذاكرة المخصصة في LSTM ميزة واضحة.
- أبطأ وأكثر استهلاكًا للذاكرة من النماذج المستندة إلى Transformer لمهام NLP ذات السياق الطويل.
- الحساب المتسلسل بطبيعته يحد من التوازي أثناء التدريب، على عكس Transformers.
- حساسة للمعلمات الفائقة مثل الحجم المخفي، التسرب، ومعدل التعلم؛ تتطلب ضبطًا دقيقًا.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- معلمات أقل من LSTM (بوابتان بدلاً من أربع)، مما يؤدي إلى تدريب أسرع واستخدام أقل للذاكرة.
- يخفف من مشكلة تدرج الاختفاء في شبكات RNN البسيطة، مما يتيح تعلم التبعيات الزمنية طويلة المدى.
- دقة تنافسية مع LSTM على العديد من معايير NLP والسلاسل الزمنية على الرغم من بنيتها الأبسط.
- أسهل في الضبط: معلمات فائقة أقل (حجم مخفي، عدد طبقات، تسرب) من LSTM.
- تعد المتغيرات ثنائية الاتجاه والمتراصة سهلة التنفيذ لتمثيلات سياقية أغنى.
التطبيقات
- تصنيف النصوص وتحليل المشاعر للمستندات القصيرة إلى المتوسطة الطول.
- التعرف على الكيانات المسماة وتسمية التسلسل في خطوط أنابيب NLP.
- التنبؤ بالسلاسل الزمنية لبيانات المستشعرات، أسعار الأسهم، واستهلاك الطاقة.
- التعرف على الكلام ونمذجة ميزات الصوت.
- بنيات المشفر-المفكك للترجمة الآلية.
- اكتشاف الشذوذ في سجلات الأحداث المتسلسلة وتدفقات المراقبة.
كيف يعمل
كيف يعمل
في كل خطوة زمنية، تحسب بوابة التحديث قيمة بين 0 و 1 باستخدام المدخل الحالي والحالة المخفية السابقة. القيمة القريبة من 1 تعني أنه يتم الاحتفاظ بمعظم الحالة المخفية السابقة؛ القيمة القريبة من 0 تعني أنه يتم استبدالها إلى حد كبير. هذه البوابة الواحدة تحل محل كل من بوابة الإدخال وبوابة النسيان في LSTM.
الصيغة
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)بوابة إعادة التعيين تنتج بالمثل قيمة بين 0 و 1 تعدل مقدار الحالة المخفية السابقة التي يتم الكشف عنها عند حساب الحالة المرشحة الجديدة. القيمة القريبة من 0 تسمح للشبكة فعليًا بتجاهل السياق السابق، مما يسمح لها بإعادة التعيين والتركيز على المدخل الحالي.
الصيغة
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)يتم حساب الحالة المخفية المرشحة باستخدام المدخل الحالي والحالة المخفية السابقة المُتحكّم بها بواسطة بوابة إعادة التعيين عبر تنشيط tanh. يمثل هذا المعلومات الجديدة التي ستخزنها الخلية إذا سمحت بوابة التحديث بالاستبدال الكامل للحالة السابقة.
الصيغة
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)الحالة المخفية النهائية هي استيفاء خطي بين الحالة المخفية السابقة والمرشحة: يحدد وزن بوابة التحديث مقدار كل منهما للاحتفاظ به. هذا المزيج المحدب ينقل التدرجات بشكل نظيف عبر الزمن، مما يساعد الشبكة على تعلم التبعيات طويلة المدى.
الصيغة
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tيتم تمرير الحالة المخفية في الخطوة الزمنية النهائية (أو كل خطوة زمنية) عبر طبقة خطية ودالة softmax (للتصنيف) أو تنشيط خطي (للانحدار) لإنتاج تنبؤات النموذج. لمهام التسلسل إلى تسلسل، يتم استخدام الحالات المخفية في جميع الخطوات الزمنية.
الصيغة
\hat{y}_t = \text{softmax}(W_o h_t + b_o)الأخطاء الشائعة
- استخدام GRU على بيانات جدولية ثابتة الحجم حيث لا يضيف التحيز الاستقرائي المتسلسل قيمة على MLP بسيط.
- إهمال حشو وإخفاء التسلسلات متغيرة الطول، مما يتسبب في تعلم النموذج لآثار الحشو.
- الفشل في تطبيق قص التدرج، مما يخاطر بانفجار التدرجات أثناء الانتشار الخلفي عبر الزمن.
- الإبلاغ عن الدقة فقط دون مقاييس على مستوى التسلسل مثل F1، BLEU، أو MAE اعتمادًا على المهمة.
- اختيار GRU لمهام NLP للوثائق الطويلة عندما يكون Transformer مُدرب مسبقًا (BERT، RoBERTa) أقوى بكثير.
الأسئلة الشائعة
متى يجب أن أختار GRU بدلاً من LSTM؟
GRU هو خيار جيد افتراضيًا عندما تكون سرعة التدريب وكفاءة المعلمات مهمة والتسلسلات الخاصة بك ليست طويلة جدًا. يمكن أن يكون لـ LSTM ميزة في التسلسلات الطويلة جدًا بفضل خلية الذاكرة المخصصة لها، ولكن النتائج التجريبية غالبًا ما تكون خاصة بالمهمة، لذا جرب كلاهما وقارن على مجموعة تحقق.
هل يمكن لـ GRU التعامل مع التسلسلات متغيرة الطول؟
نعم. قم بحشو التسلسلات إلى طول موحد داخل كل دفعة، ثم استخدم طبقة قناع أو آلية التسلسل المعبأ في PyTorch لإخبار GRU بتجاهل رموز الحشو. بدون الإخفاء، تتعلم الشبكة أنماطًا زائفة من الحشو.
هل يجب أن أستخدم GRU ثنائي الاتجاه؟
بالنسبة للمهام التي تكون فيها التسلسلات الكاملة متاحة عند الاستدلال - مثل تصنيف النصوص أو NER - تقوم GRU ثنائية الاتجاه (BiGRU) بمعالجة كل تسلسل للأمام والخلف، مما يمنح كل رمز وصولاً إلى السياق الماضي والمستقبلي. للتنبؤ في الوقت الفعلي أو السببي، يكون الاتجاه الأمامي فقط صالحًا.
هل GRU لا تزال تنافسية مع Transformers؟
بالنسبة لمجموعات البيانات الصغيرة إلى المتوسطة والتسلسلات الأقصر، تظل GRU تنافسية وتدرب بشكل أسرع بكثير من Transformer بدون تدريب مسبق. بالنسبة لمهام NLP واسعة النطاق، عادةً ما تتفوق Transformers المدربة مسبقًا (BERT، RoBERTa) على GRU بفارق كبير.
ما هي المعلمات الفائقة الرئيسية التي يجب ضبطها؟
الأكثر أهمية هي الحجم المخفي (عدد الوحدات لكل طبقة)، عدد الطبقات المتراصة (1-3 شائع)، معدل التسرب بين الطبقات، ومعدل التعلم. يوصى بشدة بقص التدرج (الحد الأقصى للمعيار حوالي 1-5) لتحقيق استقرار التدريب.
طرق ذات صلة
المصادر
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.
افتح مرجع المنشورتم النسخ.Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.
افتح مرجع المنشورتم النسخ.