آلية الانتباه
- قدّمه
- Bahdanau, D.; Luong, M.T.
- السنة
- 2015
- النوع
- Neural attention layer (encoder-decoder)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تسمح آلية الانتباه، التي قدمها باهداناو وتشاو وبنغيو في عام 2015 وصقلها لونغ وفام ومانينغ في نفس العام، لمفكك التسلسل بتعلم ديناميكي أي من مخرجات المشفر يجب التركيز عليها في كل خطوة. قبل الترانسفورمر، حسّنت آلية الانتباه جودة الترجمة الآلية بشكل كبير عن طريق تحرير النماذج من ضغط مدخل كامل في متجه ثابت واحد.
الفكرة الحدسية وراء الطريقة
يقوم المشفر-المفكك البسيط بضغط تسلسل مدخل كامل في متجه سياق ثابت واحد، والذي يصبح عنق زجاجة للتسلسلات الطويلة. تزيل آلية الانتباه عنق الزجاجة هذا: في كل خطوة إخراج، ينظر المفكك إلى جميع حالات المشفر ويحسب مزيجًا مرجحًا، مع التركيز بشدة على المواضع القليلة التي تهم الكلمة التي على وشك إنتاجها. يشبه الأمر مترجمًا يلقي نظرة على كلمات المصدر الأكثر صلة بدلاً من محاولة تذكر الجملة بأكملها مرة واحدة.
التاريخ
تم تقديم آلية الانتباه بواسطة باهداناو وتشاو وبنغيو في عام 2015 للترجمة الآلية العصبية، حيث تعلمت بشكل مشترك المحاذاة والترجمة بحيث لم يعد النموذج بحاجة إلى ضغط الجملة المصدر بأكملها في متجه واحد. في نفس العام، اقترح لونغ وفام ومانينغ متغيرات فعالة لحاصل الضرب النقطي (الضربي). رفعت آلية الانتباه جودة الترجمة بشكل كبير وأصبحت البذرة المفاهيمية لبنية الترانسفورمر التي تبعتها.
متى تُستخدم
استخدم آلية الانتباه عندما يكون لديك مشكلة تسلسل إلى تسلسل - مثل الترجمة الآلية أو مهام النصوص الأخرى والتسلسلات المستمرة - حيث تكون دقة التنبؤ أو الاصطفاف القابل للتفسير مهمة ويوجد أساس تسلسل إلى تسلسل بالفعل. تفترض وجود بنية تسلسل إلى تسلسل عاملة والقدرة على حساب متجه سياق. خطط لعدة مئات من الأمثلة على الأقل؛ مع حوالي 500 مثال أو أقل، تكافح الآلية لتعلم أوزان ذات مغزى، وأقل من حوالي 100، لا يستحق تدريب الانتباه العناء - النماذج الأبسط مثل الغابة العشوائية أو XGBoost أكثر أمانًا.
الحدود والاعتبارات
- يتطلب أساسًا قائمًا لتسلسل إلى تسلسل والقدرة على حساب متجه سياق.
- في مجموعات البيانات الصغيرة (حوالي 500 مثال أو أقل) لا يمكنه تعلم أوزان ذات مغزى ويميل إلى الإفراط في التخصيص.
- أقل من حوالي 100 ملاحظة، يكون تدريب الانتباه بلا معنى تقريبًا.
- يضيف تكلفة حسابية فوق نموذج المشفر-المفكك الأساسي.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يزيل عنق الزجاجة للمتجه الثابت، مما يحسن بشكل كبير التعامل مع التسلسلات الطويلة.
- توفر أوزان الانتباه اصطفافًا قابلاً للتفسير بين المدخلات والمخرجات.
- يركز ديناميكيًا على مواضع المشفر الأكثر صلة في كل خطوة فك تشفير.
- حسّن بشكل كبير جودة الترجمة الآلية ومهّد الطريق للترانسفورمر.
التطبيقات
- الترجمة الآلية العصبية بين أزواج اللغات.
- توليد النصوص والتلخيص من تسلسل إلى تسلسل.
- التنبؤ عبر التسلسلات المستمرة ومدخلات نمط السلاسل الزمنية.
- إنتاج اصطفافات مدخلات-مخرجات قابلة للتفسير للتحليل.
كيف يعمل
كيف يعمل
في كل خطوة فك تشفير، تتم مقارنة حالة المفكك الحالية بكل مخرج من مخرجات المشفر لإنتاج درجة صلة. يتعلم انتباه أسلوب باهداناو (الجمعي) هذه الدرجة باستخدام شبكة تغذية أمامية صغيرة، بينما يستخدم انتباه أسلوب لونغ (الضربي) حاصل ضرب نقطي بين الاستعلام والمفاتيح، وهو أرخص في الحساب.
الصيغة
e_{ij} = \text{score}(s_{i}, h_{j})يتم تمرير الدرجات الأولية عبر دالة سوفت ماكس لتصبح مجموعة من أوزان الانتباه الإيجابية التي مجموعها واحد عبر مواضع المدخلات. تعبر هذه الأوزان عن مقدار التركيز الذي يجب أن تتلقاه كل مخرجات المشفر للخطوة الحالية، ويمكن فحصها كاصطفاف قابل للتفسير بين المدخلات والمخرجات.
الصيغة
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}يتم دمج مخرجات المشفر في متجه سياق واحد كمجموع مرجح لها، باستخدام أوزان الانتباه. يتم تغذية هذا السياق الديناميكي - المختلف في كل خطوة - إلى المفكك حتى يتمكن من إنشاء العنصر التالي مع الانتباه إلى الأجزاء الأكثر صلة بالمدخلات.
الصيغة
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}الأخطاء الشائعة
- تطبيق الانتباه على مجموعة بيانات صغيرة جدًا لتعلم أوزان مستقرة، مما يؤدي إلى الإفراط في التخصيص.
- معاملة أوزان الانتباه كتفسير نهائي بدلاً من دليل اصطفاف مفيد ولكنه جزئي.
- تخطي أساس تسلسل إلى تسلسل وتوقع أن يعمل الانتباه بمفرده.
- تجاهل أن المدخلات القصيرة جدًا تستفيد قليلاً من الانتباه فوق المشفر-المفكك البسيط.
الأسئلة الشائعة
ما هي المشكلة التي يحلها الانتباه؟
يزيل عنق الزجاجة للمتجه الثابت في نماذج المشفر-المفكك البسيطة. بدلاً من ضغط المدخلات بالكامل في متجه سياق واحد، يبني المفكك مزيجًا مرجحًا جديدًا من جميع حالات المشفر في كل خطوة، مع التركيز على المواضع الأكثر أهمية.
ما هو الفرق بين انتباه باهداناو ولونغ؟
يتعلم انتباه باهداناو (الجمعي) درجة الصلة باستخدام شبكة تغذية أمامية صغيرة، بينما يستخدم انتباه لونغ (الضربي) حاصل ضرب نقطي بين الاستعلام والمفاتيح، وهو أرخص حسابيًا.
ما مقدار البيانات التي أحتاجها؟
خطط لعدة مئات من الأمثلة على الأقل. مع حوالي 500 مثال أو أقل، تكافح الآلية لتعلم أوزان ذات مغزى وتفرط في التخصيص، وأقل من حوالي 100، لا يستحق تدريب الانتباه العناء - النماذج الأبسط مثل الغابة العشوائية أو XGBoost أفضل.
هل يمكنني قراءة أوزان الانتباه كتفسير؟
تشكل الأوزان اصطفافًا قابلاً للتفسير يوضح أين ركز النموذج، وهو مفيد حقًا. تعامل معه كدليل مفيد بدلاً من تفسير كامل أو نهائي لمنطق النموذج.
طرق ذات صلة
المصادر
Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR.
افتح مرجع المنشورتم النسخ.Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421.
افتح مرجع DOIتم النسخ.