الانتقال إلى المحتوى
العودة إلى نتائج البحث

الشبكة العصبية المتكررة

قدّمه
Rumelhart, D. E.; Elman, J. L.
السنة
1986–1990
النوع
Sequential neural network
العائلة
Deep learning / NLP / CV

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

الشبكة العصبية المتكررة (RNN) هي فئة من الشبكات العصبية المصممة لمعالجة البيانات التسلسلية عن طريق الاحتفاظ بحالة مخفية تحمل المعلومات عبر خطوات زمنية. تم تقديمها في شكلها الحديث بواسطة Rumelhart وآخرون (1986) وشُكّلت بشكل أكبر بواسطة Elman (1990)، وأصبحت الشبكات العصبية المتكررة هي البنية المهيمنة لنمذجة التسلسل في معالجة اللغات الطبيعية، والكلام، وتحليل السلاسل الزمنية قبل ظهور النماذج القائمة على الانتباه.

الفكرة الحدسية وراء الطريقة

على عكس الشبكات الأمامية التي تتعامل مع كل مدخل بشكل مستقل، تعالج الشبكة العصبية المتكررة التسلسل عنصرًا واحدًا في كل مرة وتمرر ملخصًا لما رأته حتى الآن - حالتها المخفية - إلى الخطوة التالية. فكر في الأمر مثل قراءة جملة كلمة بكلمة: عند كل كلمة، تقوم بتحديث فهمك في ضوء الكلمات السابقة. يسمح هذا الاتصال المتكرر للشبكة بالتقاط التبعيات الزمنية والسياق، مما يجعلها مناسبة بشكل طبيعي للمهام التي يكون فيها الترتيب مهمًا والسياق السابق يشكل معنى العنصر الحالي.

التاريخ

تم وضع أسس الشبكات المتكررة بواسطة Rumelhart و Hinton و Williams في عام 1986 مع خوارزمية الانتشار الخلفي عبر الزمن، واشتهرت ورقة Elman لعام 1990 ببنية الشبكة المتكررة البسيطة لنمذجة الإدراك. طوال التسعينيات والعقد الأول من القرن الحادي والعشرين، شغلت الشبكات العصبية المتكررة التعرف على الكلام ونمذجة اللغة، على الرغم من أن تأثيرها العملي كان محدودًا بسبب مشكلة تلاشي التدرج حتى قدم Hochreiter و Schmidhuber شبكة LSTM في عام 1997. تظل الشبكات العصبية المتكررة مهمة كمرتكزات مفاهيمية وخطوط أساس خفيفة الوزن.

متى تُستخدم

استخدم شبكة عصبية متكررة عندما تكون بياناتك تسلسلية ويحمل الترتيب معنى - نص، كلام، تدفقات مستشعرات، سلاسل زمنية مالية، أو تسلسلات بيولوجية ذات طول معتدل (حتى بضع مئات من الخطوات). إنها مناسبة عندما تحتاج إلى بنية متكررة مدمجة أو عندما يتم التخطيط للتكامل اللاحق مع متغيرات LSTM/GRU. لا تستخدم شبكة عصبية متكررة بسيطة لتسلسلات أطول من بضع مئات من الخطوات: تلاشي التدرجات يجعلها غير قادرة على تعلم تبعيات طويلة المدى، حيث تكون LSTM أو GRU أكثر فعالية بكثير. لمهام فهم اللغة الطبيعية في عام 2024 وما بعده، تتفوق نماذج المحولات المدربة مسبقًا (BERT، RoBERTa) دائمًا تقريبًا على الشبكات العصبية المتكررة. استخدم الشبكات العصبية المتكررة بشكل أساسي كمكون في بنيات أكبر أو كخط أساس لمهام التسلسل.

الحدود والاعتبارات

  • مشكلة خطيرة في تلاشي/انفجار التدرج للتسلسلات الأطول من حوالي 50-200 خطوة؛ يجب تفضيل LSTM أو GRU.
  • لا يمكن موازاة الحساب التسلسلي عبر الخطوات الزمنية، مما يجعل التدريب بطيئًا على التسلسلات الطويلة مقارنة بالبنيات التلافيفية أو المحولات.
  • تتفوق عليها بشكل كبير في معظم معايير معالجة اللغات الطبيعية نماذج المحولات المدربة مسبقًا مثل BERT و RoBERTa.
  • قدرة ذاكرة محدودة: تكافح الحالة المخفية ذات البعد الثابت لضغط السياق طويل المدى.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • تعالج بشكل طبيعي تسلسلات متغيرة الطول دون الحاجة إلى الحشو إلى حجم نافذة ثابت.
  • يُبقي تقاسم المعلمات عبر الخطوات الزمنية حجم النموذج في حدود المعقول بالنسبة لطول المدخلات.
  • تشكل الأساس المفاهيمي والعملي لـ LSTM و GRU والعديد من نماذج التسلسل الحديثة.
  • مناسبة كخط أساس خفيف الوزن لتصنيف التسلسل والانحدار قبل البنيات الأكثر تكلفة.
  • يمكنها إنتاج مخرجات في كل خطوة زمنية، مما يتيح مهام من متعدد إلى متعدد مثل وضع علامات التسلسل والترجمة.

التطبيقات

  • تصنيف النصوص وتحليل المشاعر للمستندات ذات الطول القصير إلى المتوسط.
  • نمذجة اللغة والتنبؤ بالكلمة التالية على مستوى الحرف أو الكلمة.
  • التنبؤ بالسلاسل الزمنية لبيانات المستشعرات أو المالية أو الفسيولوجية ذات الطول المعتدل.
  • مهام وضع علامات التسلسل مثل وضع علامات الأجزاء من الكلام عند استخدامها كمُشفِّر.
  • خطوط أنابيب تحويل الكلام إلى نص واستخراج ميزات الصوت.
  • خط أساس لنمذجة التسلسل قبل الترقية إلى بنيات LSTM أو GRU أو المحولات.

كيف يعمل

كيف يعمل

1

المدخل هو تسلسل من المتجهات (كلمات، خطوات زمنية، إطارات) يتم تغذيتها إلى الشبكة عنصرًا واحدًا في كل مرة. يقترن كل عنصر x_t بالحالة المخفية h_{t-1} المحمولة من الخطوة السابقة، مما يسمح للسياق بالتراكم عبر التسلسل بأكمله.

2

في كل خطوة t، يتم تحديث الحالة المخفية كـ h_t = tanh(W_h * h_{t-1} + W_x * x_t + b). يتم مشاركة مصفوفات الوزن W_h و W_x عبر جميع الخطوات الزمنية، لذا تتعلم النموذج قاعدة انتقال واحدة يتم تطبيقها بشكل متكرر، بغض النظر عن طول التسلسل.

الصيغة
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)
3

يتم حساب المخرج y_t من الحالة المخفية في كل خطوة زمنية (من متعدد إلى متعدد) أو فقط في الخطوة النهائية (من متعدد إلى واحد). لمهام التصنيف، يتم تمرير الحالة المخفية النهائية إلى طبقة softmax؛ لمهام التسلسل إلى تسلسل، يتم إنتاج المخرجات في كل خطوة.

الصيغة
y_t = W_y h_t + b_y
4

يستخدم التدريب الانتشار الخلفي عبر الزمن (BPTT): تتدفق التدرجات للخلف عبر التسلسل المفكك لتحديث جميع الأوزان المشتركة. بالنسبة للتسلسلات الطويلة، يؤدي هذا إلى مشكلة تلاشي أو انفجار التدرج، حيث تصبح التدرجات صغيرة جدًا أو كبيرة جدًا لتحديث الخطوات الزمنية المبكرة بشكل موثوق.

5

يتم تحديث الأوزان المشتركة W_h و W_x و W_y عبر الانحدار التدرجي أو مُحسِّن تكيفي (Adam، RMSProp). يتم تطبيق قص التدرج بشكل شائع لمنع انفجار التدرجات. نفس الأوزان تحكم كل خطوة، لذا يعمم النموذج عبر أطوال تسلسل مختلفة.

الأخطاء الشائعة

  • تطبيق شبكة عصبية متكررة بسيطة على تسلسلات طويلة دون الاعتراف بحد تلاشي التدرج والمقارنة مع LSTM/GRU.
  • الفشل في قص التدرجات، مما يؤدي إلى خسائر NaN أو تدريب غير مستقر على المدخلات الأطول.
  • معاملة الحالة المخفية النهائية كملخص غني دون التحقق مما إذا كانت المعلومات من بداية التسلسل قد تم الاحتفاظ بها بالفعل.
  • تخطي تقسيم تدريب/تحقق/اختبار مناسب أو التحقق المتقاطع، خاصة بالنظر إلى ميل الشبكات العصبية المتكررة إلى الإفراط في التجهيز على مجموعات البيانات الصغيرة.
  • عدم تطبيع أو قياس ميزات المدخلات، مما يضخم عدم استقرار التدرج.

الأسئلة الشائعة

ما هو الفرق بين RNN و LSTM و GRU؟

الشبكة العصبية المتكررة (RNN) هي أبسط بنية متكررة: لديها حالة مخفية واحدة يتم تحديثها في كل خطوة. تضيف LSTM بوابات إدخال ونسيان وإخراج تحمي المعلومات طويلة المدى من تلاشي التدرجات. GRU هي نسخة مبسطة من LSTM مع معلمات أقل. تتفوق كل من LSTM و GRU تقريبًا دائمًا على الشبكة العصبية المتكررة البسيطة في المهام التي تتطلب ذاكرة تتجاوز حوالي 50-100 خطوة.

لماذا ينتج تدريب RNN أحيانًا خسائر NaN؟

تنتج خسائر NaN دائمًا تقريبًا عن انفجار التدرجات. قم بتطبيق قص التدرج (قص المعيار إلى 1 أو 5) وخفض معدل التعلم. تأكد من تطبيع المدخلات. إذا استمرت المشكلة، انتقل إلى LSTM أو GRU، وهي أكثر استقرارًا بسبب آليات البوابات الخاصة بها.

هل لا يزال بإمكاني استخدام RNN لمهام معالجة اللغات الطبيعية في عام 2024؟

بالنسبة لمعالجة اللغات الطبيعية في الإنتاج، تهيمن نماذج المحولات المدربة مسبقًا مثل BERT أو RoBERTa. تُحفظ الشبكات العصبية المتكررة البسيطة كخطوط أساس خفيفة الوزن، أو مكونات داخل بنيات أكبر، أو للبيئات محدودة الموارد حيث تكون أحجام النماذج الكبيرة باهظة الثمن.

كيف أختار بُعد الحالة المخفية؟

تتراوح الخيارات الشائعة من 64 إلى 512 وحدة اعتمادًا على تعقيد المهمة وحجم مجموعة البيانات. ابدأ صغيرًا (على سبيل المثال، 128)، وراقب خسارة التحقق، وزد السعة فقط إذا كان هناك دليل على نقص التجهيز. تزيد الحالات المخفية الأكبر من خطر الإفراط في التجهيز على مجموعات البيانات الصغيرة.

ما هي دالة الخسارة التي يجب أن أستخدمها لتصنيف التسلسل؟

للتصنيف الثنائي، استخدم الانتروبيا المتقاطعة الثنائية؛ للتصنيف المتعدد، استخدم الانتروبيا المتقاطعة الفئوية مع softmax على الحالة المخفية النهائية. لوضع علامات التسلسل (مخرج واحد لكل خطوة)، قم بتطبيق الخسارة في كل خطوة زمنية وقم بحساب المتوسط أو المجموع عبر الخطوات.

طرق ذات صلة

المصادر

  1. Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.

    افتح مرجع DOI
    تم النسخ.
  2. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.

    افتح مرجع DOI
    تم النسخ.