الانتقال إلى المحتوى
العودة إلى نتائج البحث

شبكة عصبية متكررة ثنائية الاتجاه

قدّمه
Schuster, M. & Paliwal, K.K.
السنة
1997
النوع
Recurrent neural network (sequence model)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

شبكة عصبية متكررة ثنائية الاتجاه، قدمها شوستر وباليوال في عام 1997، تعالج تسلسلاً في كلا الاتجاهين الأمامي والخلفي بحيث يكون لكل موضع وصول إلى سياقه المحيط الكامل. مع خلايا LSTM أو GRU (BiLSTM/BiGRU) فهي النهج القياسي للتعرف على الكيانات المسماة، وتصنيف التسلسلات، والتعرف على الكلام.

الفكرة الحدسية وراء الطريقة

تقرأ الشبكة العصبية المتكررة العادية تسلسلاً من اليسار إلى اليمين، لذلك في أي نقطة تعرف فقط ما جاء قبلها. لكن معنى كلمة أو إشارة يعتمد غالباً على ما يأتي بعدها أيضاً. تحل الشبكة العصبية المتكررة ثنائية الاتجاه هذه المشكلة عن طريق إجراء تمريرتين - واحدة للأمام، وواحدة للخلف - ودمجهما، بحيث يتم إعلام كل موضع بسياقه الماضي والمستقبلي.

التاريخ

تم تقديم الشبكة العصبية المتكررة ثنائية الاتجاه بواسطة شوستر وباليوال في عام 1997 لمنح كل موضع وصولاً إلى سياق الماضي والمستقبل. وسع غرايفز وشميدهوبر الفكرة بخلايا LSTM في عام 2005 لتصنيف الصوتيات لكل إطار زمني، مما أسس BiLSTM كأداة رئيسية لمهام الكلام وتصنيف التسلسلات. أصبحت متغيرات BiLSTM و BiGRU قياسية في معالجة اللغات الطبيعية قبل ظهور معماريات Transformer.

متى تُستخدم

استخدمها لتصنيف التسلسلات، أو تصنيف النصوص، أو التنبؤ على البيانات التسلسلية أو الطولية - مثل NER، أو تصنيف أجزاء الكلام، أو التعرف على الكلام - عندما يكون كل من السياق السابق والتالي مهماً وتكون التسلسلات بأكملها متاحة مرة واحدة. تعمل على النصوص والتسلسلات المستمرة ولا تفترض بيانات موزعة طبيعياً، ولكنها تحتاج إلى كمية معقولة من البيانات (حوالي 100 تسلسل على الأقل، وأكثر بشكل مريح للتدريب المستقر).

الحدود والاعتبارات

  • تحتاج إلى التسلسل بأكمله مقدماً، لذا فهي غير مناسبة للبث أو التوليد في الوقت الفعلي حيث يكون الإدخال المستقبلي غير معروف.
  • على مجموعات البيانات الصغيرة (أقل من حوالي 500 تسلسل) فإنها تتجاوز التجهيز ولا يمكن استخلاص السياق بشكل موثوق.
  • مع عينات صغيرة جداً (أقل من حوالي 100) فإن تدريب BiLSTM/BiGRU ليس ذا معنى.
  • تمريرتان تضاعفان تقريباً حساب وذاكرة شبكة RNN أحادية الاتجاه.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • كل موضع يرى سياق الماضي والمستقبل، وهو الخيار القياسي والقوي لتصنيف التسلسلات مثل NER.
  • خفيفة الافتراضات: لا تتطلب افتراض التوزيع الطبيعي، وتعمل مباشرة على النصوص والتسلسلات المستمرة.
  • تقترن بشكل طبيعي مع خلايا LSTM أو GRU للتعامل مع التبعيات طويلة المدى.
  • راسخة للتعرف على الكلام ومهام التصنيف الأخرى لكل إطار زمني.

التطبيقات

  • التعرف على الكيانات المسماة وتصنيف التسلسلات.
  • تحديد أجزاء الكلام والتعليقات التوضيحية الأخرى للنصوص على مستوى الرمز.
  • التعرف على الكلام والصوتيات.
  • تصنيف النصوص والتنبؤ على البيانات التسلسلية أو الطولية.

كيف يعمل

كيف يعمل

1

تقرأ طبقة متكررة واحدة التسلسل من البداية إلى النهاية، وتبني حالة مخفية في كل موضع تلخص كل ما شوهد حتى الآن. هذه هي نفس تمريرة اليسار إلى اليمين التي تقوم بها شبكة RNN أو LSTM أو GRU القياسية.

الصيغة
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

تقرأ طبقة متكررة ثانية نفس التسلسل بترتيب عكسي، من النهاية إلى البداية، وتنتج حالة مخفية في كل موضع تلخص السياق القادم. هذا ما يمنح النموذج معرفة بما يلي كل رمز.

الصيغة
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

في كل موضع، يتم ربط الحالات المخفية الأمامية والخلفية في تمثيل واحد يلتقط السياق ثنائي الاتجاه الكامل. يتم بعد ذلك تمرير هذا المتجه المدمج إلى طبقة الإخراج للتصنيف أو التنبؤ.

الصيغة
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

الأخطاء الشائعة

  • تطبيقها على مهام الوقت الفعلي أو التوليدية حيث لا يكون الجزء المستقبلي من التسلسل متاحاً بعد.
  • التدريب على بيانات قليلة جداً والثقة في النتيجة على الرغم من تجاوز التجهيز.
  • تجاهل أن التمثيل المخفي المزدوج يزيد من تكلفة الحساب والذاكرة.
  • الرجوع إلى نموذج ثنائي الاتجاه ثقيل عندما يكون مجمع الأشجار أكثر أماناً على العينات الصغيرة.

الأسئلة الشائعة

كيف تختلف الشبكة العصبية المتكررة ثنائية الاتجاه عن الشبكة العصبية المتكررة العادية؟

تقرأ الشبكة العصبية المتكررة العادية تسلسلاً في اتجاه واحد، لذلك يعرف كل موضع الماضي فقط. تضيف الشبكة العصبية المتكررة ثنائية الاتجاه تمريرة ثانية في الاتجاه المعاكس وتجمع بينهما، لذلك يتم إعلام كل موضع بسياق المستقبل أيضاً.

متى لا يمكنني استخدامها؟

تحتاج إلى التسلسل بأكمله مرة واحدة، لذا فهي غير مناسبة للإعدادات في الوقت الفعلي أو التوليدية حيث لا تكون الرموز المستقبلية معروفة بعد. في هذه الحالات، يلزم نموذج أحادي الاتجاه.

ما مقدار البيانات التي أحتاجها؟

حوالي 100 تسلسل على الأقل كحد أدنى، ولكن التدريب موثوق به فقط مع أكثر من ذلك بكثير - أقل من حوالي 500 يميل النموذج إلى تجاوز التجهيز ولا يمكن استخلاص السياق بشكل موثوق. على العينات الصغيرة جداً، يكون مجمع الأشجار مثل الغابة العشوائية أو XGBoost أكثر أماناً.

ما الفرق بين BiLSTM و BiGRU؟

كلاهما شبكات RNN ثنائية الاتجاه؛ يختلفان في الخلية المتكررة. تستخدم BiLSTM خلايا LSTM وتستخدم BiGRU خلايا GRU، وكلاهما مصمم لالتقاط التبعيات طويلة المدى بشكل أفضل من شبكة RNN العادية.

طرق ذات صلة

المصادر

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    افتح مرجع DOI
    تم النسخ.
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    افتح مرجع DOI
    تم النسخ.