الانتقال إلى المحتوى
العودة إلى نتائج البحث

نموذج التسلسل إلى التسلسل

قدّمه
Sutskever, I.; Cho, K.
السنة
2014
النوع
Encoder-decoder neural network (deep learning)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

نموذج التسلسل إلى التسلسل (Seq2Seq)، الذي قدمه سوتسكيفر وفينيالز ولي، وتشو وزملاؤه في عام 2014، هو شبكة عصبية من نوع المشفّر-المفكّك (encoder-decoder) تقوم بتحويل تسلسل إدخال متغير الطول إلى تسلسل إخراج متغير الطول. وهو أساس الترجمة الآلية، وتلخيص النصوص، وأنظمة الحوار، وتوليد الأكواد.

الفكرة الحدسية وراء الطريقة

تحوّل العديد من مهام اللغة تسلسلاً إلى آخر يختلف طوله وغير معروف مسبقًا — فجملة بالإنجليزية تصبح جملة بطول مختلف بالفرنسية. ولا يمكن لمصنف واحد أن يقوم بذلك. يقسم Seq2Seq العمل إلى قسمين: شبكة واحدة تقرأ الإدخال بالكامل وتضغط معناه في تمثيل سياقي، وشبكة ثانية تفك هذا التمثيل إلى إخراج رمزًا تلو الآخر، وكل رمز جديد مشروط بما أنتجته بالفعل.

التاريخ

ظهر إطار عمل المشفّر-المفكّك في عام 2014 من ورقتين متزامنتين تقريبًا: ورقة سوتسكيفر وفينيالز ولي بعنوان 'Sequence to Sequence Learning with Neural Networks' وورقة تشو وزملاؤه عن مشفّر-مفكّك RNN للترجمة الآلية الإحصائية. ضغطت النماذج الأصلية المصدر في متجه سياق ثابت واحد؛ وأدت الإضافة اللاحقة لآلية الانتباه إلى إزالة هذا الاختناق وتحسين جودة الترجمة بشكل كبير، مما مهد الطريق لبنية Transformer التي تهيمن الآن على نمذجة التسلسلات.

متى تُستخدم

استخدم Seq2Seq عندما تكون المهمة هي تحويل تسلسل متغير الطول إلى آخر — الترجمة الآلية، التلخيص، الحوار أو توليد الأكواد — ولديك أمثلة مقترنة من المصدر والهدف، ويفضل أن يكون عددها 500 على الأقل. وهو يناسب النصوص والتسلسلات المستمرة في شكل سلاسل زمنية أو مقطعية ولا يتطلب بيانات موزعة طبيعيًا. يوصى باستخدام وحدة معالجة رسومية (GPU). مع عدد أقل بكثير من 500 زوج، لا يمكن تعلم بنية المشفّر-المفكّك بشكل جيد، وتكون النماذج الأبسط مثل Random Forest أو XGBoost أكثر أمانًا.

الحدود والاعتبارات

  • يحتاج إلى مجموعة كبيرة من الأمثلة المقترنة من المصدر والهدف (حوالي 500 أو أكثر) للتدريب الجيد.
  • يوصى باستخدام وحدة معالجة رسومية (GPU)؛ التدريب يتطلب قدرة حاسوبية عالية.
  • ضغط إدخال طويل في سياق ثابت واحد يمكن أن يؤدي إلى فقدان المعلومات بدون آلية الانتباه.
  • في مجموعات البيانات الصغيرة، لا يمكن تعلم بنية المشفّر-المفكّك ويحدث إفراط في التخصيص (overfitting) للنموذج.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يتعامل مع المدخلات والمخرجات متغيرة الطول، على عكس المصنفات ذات المخرجات الثابتة.
  • إطار عمل واحد وعام للترجمة، التلخيص، الحوار، وتوليد الأكواد.
  • يتم تدريبه من البداية إلى النهاية من أمثلة مقترنة من المصدر والهدف دون الحاجة إلى محاذاة يدوية.
  • يتحسن الأداء بشكل كبير عند إضافة آلية الانتباه.
  • قليل الافتراضات: لا يتطلب التوزيع الطبيعي؛ يعمل على بيانات النصوص والتسلسلات المستمرة.

التطبيقات

  • الترجمة الآلية بين أزواج اللغات.
  • تلخيص النصوص التجريدي.
  • توليد الحوار والاستجابات المحادثية.
  • توليد الأكواد من الأوصاف باللغة الطبيعية.

كيف يعمل

كيف يعمل

1

تقرأ شبكة المشفّر تسلسل الإدخال رمزًا تلو الآخر وتضغط المصدر بأكمله في تمثيل سياقي يلخص معناه. ولأن المشفّر يعالج الإدخال بالكامل قبل إنتاج أي إخراج، يمكن للنموذج التعامل مع مدخلات بأي طول.

الصيغة
c = \text{Encoder}(x_1, \dots, x_T)
2

تولد شبكة المفكّك تسلسل الإخراج رمزًا تلو الآخر. في كل خطوة، تعتمد على سياق المشفّر جنبًا إلى جنب مع الرموز التي أصدرتها بالفعل، متوقعة توزيعًا احتماليًا للرمز التالي حتى ينهي رمز التوقف التسلسل. وهذا ما يسمح باختلاف طول الإخراج عن الإدخال.

الصيغة
p(y_t \mid y_{<t}, c)
3

يتم تدريب المشفّر والمفكّك بشكل مشترك لزيادة احتمالية التسلسل الهدف الصحيح بالنظر إلى المصدر — يأتي الإشراف من أمثلة مقترنة من المصدر والهدف. وتؤدي إضافة آلية الانتباه، التي تسمح للمفكّك بالنظر إلى جميع حالات المشفّر بدلاً من سياق ثابت واحد، إلى تحسين الأداء، ويوصى باستخدام وحدة معالجة رسومية (GPU) للتدريب.

الصيغة
\max_{\theta} \sum \log p(y \mid x; \theta)

الأخطاء الشائعة

  • التدريب على عدد قليل جدًا من أزواج المصدر والهدف، حيث يفرط النموذج في التخصيص ويفشل في تعلم التعيين.
  • إغفال آلية الانتباه في التسلسلات الطويلة وفقدان السياق البعيد.
  • محاولة التدريب بدون موارد وحدة معالجة رسومية (GPU) والتوقف قبل التقارب.
  • استخدام Seq2Seq لمهمة ذات مخرجات ثابتة يمكن لمصنف أو منحدِر أبسط التعامل معها بشكل أفضل.

الأسئلة الشائعة

كم من البيانات يحتاج Seq2Seq؟

يحتاج إلى أمثلة مقترنة من المصدر والهدف — ويفضل أن يكون عددها 500 على الأقل. تحت حوالي 200 زوج، يفرط النموذج في التخصيص ولا يمكنه تعلم تحويل التسلسل؛ ومع بيانات قليلة جدًا، يكون نموذج أبسط مثل Random Forest أو XGBoost أكثر أمانًا.

هل أحتاج إلى وحدة معالجة رسومية (GPU)؟

يوصى باستخدام وحدة معالجة رسومية (GPU). تدريب مشفّر-مفكّك على العديد من أزواج التسلسلات يتطلب قدرة حاسوبية عالية، وغالبًا ما يكون التدريب باستخدام وحدة المعالجة المركزية (CPU) فقط بطيئًا بشكل غير عملي.

ماذا تفعل إضافة آلية الانتباه؟

تسمح آلية الانتباه للمفكّك بالنظر إلى جميع حالات المشفّر في كل خطوة بدلاً من الاعتماد على متجه سياق ثابت واحد. وهذا يزيل اختناق المعلومات في التسلسلات الطويلة ويحسن جودة الإخراج بشكل كبير.

كيف يختلف Seq2Seq عن المصنف؟

ينتج المصنف مخرجًا ثابتًا مثل تسمية واحدة. بينما ينتج Seq2Seq تسلسل إخراج متغير الطول يتم تحديد طوله أثناء التوليد، وهذا ما يجعله مناسبًا للترجمة والتلخيص والمهام المماثلة.

طرق ذات صلة

المصادر

  1. Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.

    افتح مرجع المنشور
    تم النسخ.
  2. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.

    افتح مرجع DOI
    تم النسخ.