الانتقال إلى المحتوى
العودة إلى نتائج البحث

الانتباه الذاتي متعدد الرؤوس

قدّمه
Vaswani, A. et al.
السنة
2017
النوع
Attention mechanism (Transformer core)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

الانتباه الذاتي متعدد الرؤوس، الذي قدمه فاسفاني وزملاؤه في عام 2017، هو الآلية التي تسمح لكل موضع في تسلسل بحساب علاقته بجميع المواضع الأخرى بالتوازي. وهو جوهر بنية المحولات (Transformer) والأساس الذي تقوم عليه نماذج BERT و GPT و T5.

الفكرة الحدسية وراء الطريقة

كانت نماذج التسلسل السابقة تعالج النص خطوة بخطوة، مما جعل التقاط العلاقات طويلة المدى صعبًا وبطيئًا في الحساب. بدلاً من ذلك، يسمح الانتباه الذاتي لكل رمز (token) بالنظر مباشرة إلى كل رمز آخر دفعة واحدة وتحديد مقدار الوزن الذي يجب إعطاؤه لكل منها، بحيث يتم التقاط المعنى الذي يعتمد على السياق البعيد في تمريرة متوازية واحدة.

التاريخ

تم تقديم الانتباه الذاتي بواسطة فاسفاني وزملاؤه في ورقة عام 2017 بعنوان 'Attention Is All You Need'، والتي اقترحت بنية المحولات (Transformer) وتخلت عن التكرار تمامًا. وسرعان ما أصبح أساسًا لنماذج اللغة الكبيرة المدربة مسبقًا: بنى ديفلين وزملاؤه نموذج BERT على محولات ثنائية الاتجاه في عام 2019، والآلية نفسها تدعم نماذج GPT و T5.

متى تُستخدم

استخدم الانتباه الذاتي عند نمذجة النصوص أو البيانات التسلسلية الأخرى حيث تكون العلاقات بين العناصر البعيدة مهمة ولديك بيانات كافية لتدريب نموذج كبير - ما لا يقل عن 100 ملاحظة تقريبًا، مع تفضيل 500 أو أكثر بشدة. يوصى باستخدام وحدة معالجة الرسومات (GPU)، وترميز الموضع مطلوب، وكن على علم بأن تكلفة الحوسبة تنمو تربيعيًا مع طول التسلسل. على العينات الصغيرة جدًا، لا يمكنه تعلم تمثيلات موثوقة؛ النماذج الأبسط للتعلم الآلي أكثر أمانًا هناك.

الحدود والاعتبارات

  • تنمو تكلفة الحوسبة والذاكرة تربيعيًا مع طول التسلسل، مما يجعل التسلسلات الطويلة جدًا مكلفة.
  • وحدة معالجة الرسومات (GPU) مطلوبة بشكل فعال للتدريب العملي.
  • يحتاج إلى ترميز الموضع لأن الانتباه وحده لا يأخذ الترتيب في الاعتبار.
  • على مجموعات البيانات الصغيرة (أقل من حوالي 500) فإنه يفرط في التخصيص (overfits) ويفشل في تعلم تمثيلات موثوقة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يلتقط التبعيات طويلة المدى مباشرة، دون اختناق التكرار خطوة بخطوة.
  • حساب متوازي بالكامل عبر المواضع، والذي يتوسع بشكل جيد على الأجهزة الحديثة.
  • يمكن للرؤوس المتعددة الانتباه إلى أنماط علاقات مختلفة في وقت واحد.
  • يعمل كعمود فقري مشترك لنماذج BERT و GPT و T5، مع دعم واسع للتعلم الانتقالي.

التطبيقات

  • تصنيف النصوص ومهام معالجة اللغة الطبيعية الأخرى الخاضعة للإشراف.
  • التعلم التمثيلي والتنبؤ على البيانات التسلسلية.
  • التدريب المسبق والضبط الدقيق لنماذج اللغة الكبيرة مثل BERT و GPT.
  • أي إعداد يتطلب نمذجة العلاقات طويلة المدى بين عناصر التسلسل.

كيف يعمل

كيف يعمل

1

يتم تعيين كل موضع إدخال إلى ثلاثة متجهات متعلمة - استعلام (query)، ومفتاح (key)، وقيمة (value) - من خلال مصفوفات أوزان منفصلة. يمثل الاستعلام ما يبحث عنه الرمز، ويمثل المفتاح ما يقدمه كل رمز، وتمثل القيمة المحتوى الذي يتم تمريره.

الصيغة
Q = XW_Q,\; K = XW_K,\; V = XW_V
2

يتم مقارنة كل استعلام بجميع المفاتيح عبر ضرب نقطي مُقاس (scaled dot product)، ويتم قياسه بجذر مربع بُعد المفتاح للحفاظ على استقرار القيم، ثم يتم تمريره عبر دالة سوفت ماكس (softmax) لإنتاج أوزان الانتباه. يكون ناتج كل موضع هو المجموع الموزون لجميع متجهات القيمة، لذا فهو يمزج المعلومات من التسلسل بأكمله دفعة واحدة.

الصيغة
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
3

يتم تشغيل الانتباه عدة مرات بالتوازي كرؤوس منفصلة، كل منها له إسقاطاته الخاصة، بحيث يمكن للرؤوس المختلفة التركيز على أنواع مختلفة من العلاقات. يتم تجميع نواتجها وإسقاطها مرة أخرى معًا، وبما أن المواضع قابلة للتبديل بخلاف ذلك، يتم إضافة ترميز الموضع (positional encoding) للحفاظ على معلومات الترتيب.

الصيغة
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_O

الأخطاء الشائعة

  • التدريب على بيانات قليلة جدًا - أقل من حوالي 500 مثال، يفرط النموذج في التخصيص بدلاً من تعلم تمثيلات مفيدة.
  • نسيان ترميز الموضع، مما يترك النموذج أعمى عن ترتيب الكلمات.
  • التقليل من شأن التكلفة التربيعية للتسلسلات الطويلة ونفاد الذاكرة.
  • اللجوء إلى المحولات (Transformer) على عينات صغيرة جدًا حيث يقوم نموذج أبسط مثل الغابات العشوائية (random forest) أو XGBoost بعمل أفضل.

الأسئلة الشائعة

لماذا يتم قياس درجة الانتباه بجذر مربع بُعد المفتاح؟

بدون القياس، تصبح المنتجات النقطية كبيرة مع زيادة بُعد المفتاح، مما يدفع دالة سوفت ماكس (softmax) إلى مناطق ذات تدرجات متلاشية. القسمة على جذر مربع بُعد المفتاح تحافظ على الدرجات في نطاق مستقر.

ما الذي تضيفه الرؤوس المتعددة؟

يتعلم كل رأس إسقاطات الاستعلام والمفتاح والقيمة الخاصة به، بحيث يمكن للرؤوس المختلفة الانتباه إلى أنواع مختلفة من العلاقات في وقت واحد. يتم تجميع نواتجها وإسقاطها مرة أخرى معًا في تمثيل واحد.

لماذا يلزم ترميز الموضع؟

يعامل الانتباه الذاتي المواضع على أنها قابلة للتبديل، لذا فهو بمفرده لا يمتلك مفهومًا للترتيب. يقوم ترميز الموضع بحقن معلومات حول موضع كل رمز حتى يتمكن النموذج من استخدام ترتيب الكلمات.

كم كمية البيانات التي يحتاجها؟

إنه متعطش للبيانات: مع أقل من حوالي 500 مثال، فإنه يفرط في التخصيص ولا يمكنه تعلم تمثيلات موثوقة، وأقل من حوالي 100 تدريب للمحول (Transformer) ليس ذا مغزى. بالنسبة للعينات الصغيرة، يفضل استخدام نماذج أبسط مثل الغابات العشوائية (random forest) أو XGBoost.

طرق ذات صلة

المصادر

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    افتح مرجع المنشور
    تم النسخ.
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    افتح مرجع المنشور
    تم النسخ.