الانتقال إلى المحتوى
العودة إلى نتائج البحث

المُحوِّل (NLP)

قدّمه
Vaswani, A. et al.
السنة
2017
النوع
Attention-based deep neural network

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

المُحوِّل (Transformer) هو نموذج تعلم عميق يعتمد على الانتباه، قدمه فاسواني وزملاؤه في عام 2017، ويؤدي تصنيف النصوص، والتعرف على الكيانات المسماة، ونمذجة اللغة عن طريق السماح لكل رمز (token) في تسلسل بالانتباه مباشرة إلى كل رمز آخر. لقد حل محل التصاميم المتكررة السابقة بآلية انتباه ذاتي تعالج التسلسلات بأكملها بالتوازي.

الفكرة الحدسية وراء الطريقة

كانت نماذج التسلسل السابقة تقرأ النص كلمة بكلمة، وتكافح لربط الكلمات البعيدة في جملة. بدلاً من ذلك، يسمح المُحوِّل لكل كلمة بالنظر إلى كل كلمة أخرى مرة واحدة وتحديد أي منها مهم لمعناها. آلية الانتباه هذه هي ما يسمح للنموذج بالتقاط السياق طويل المدى في اللغة وتعلم تمثيلات غنية وقابلة لإعادة الاستخدام للنص.

التاريخ

قدم فاسواني وزملاؤه المُحوِّل في ورقة عام 2017 بعنوان "Attention Is All You Need"، والتي أظهرت أن بنية مبنية بالكامل على الانتباه - بدون تكرار - يمكن أن تضاهي أو تتجاوز نماذج التسلسل السابقة. أصبح الأساس للنماذج اللغوية المدربة مسبقًا مثل BERT و GPT، والتي تعد الآن نقطة البداية القياسية لمعظم مهام معالجة اللغة الطبيعية.

متى تُستخدم

مناسب لتصنيف النصوص، والتعرف على الكيانات المسماة، ونمذجة اللغة على مجموعات بيانات نصية كبيرة - حوالي 500 مستند على الأقل - حيث يكون الفهم السياقي العميق للغة مهمًا. لا يتطلب بيانات موزعة بشكل طبيعي، ولكنه يفترض وجود مجموعة نصية كبيرة، ويوصى باستخدام نموذج مدرب مسبقًا (مثل BERT أو GPT). أقل من حوالي 500 مثال، لا يمكن لآلية الانتباه تعلم أنماط موثوقة، وأقل من حوالي 100، فإن النموذج العميق لا طائل من ورائه؛ التعلم الآلي الكلاسيكي مثل Random Forest أو XGBoost هو الخيار الأكثر أمانًا.

الحدود والاعتبارات

  • يحتاج إلى مجموعات بيانات نصية كبيرة (حوالي 500 مثال أو أكثر) لتعلم أنماط موثوقة.
  • أقل من حوالي 100 مثال، تدريب النموذج العميق لا معنى له ويكفي التعلم الآلي الكلاسيكي.
  • التدريب مكلف حسابيًا ويعتمد عادةً على النماذج المدربة مسبقًا.
  • تمثيلاته الداخلية يصعب تفسيرها مقارنة بالنماذج ذات المعاملات الصريحة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يلتقط الانتباه الذاتي التبعيات طويلة المدى عبر تسلسل كامل، على عكس النماذج المتكررة كلمة بكلمة.
  • يعالج التسلسلات بالتوازي، مما يجعل التدريب على مجموعات نصية كبيرة أكثر قابلية للتوسع بكثير.
  • يمكن ضبط النماذج المدربة مسبقًا (BERT، GPT) بدقة، ونقل المعرفة إلى مهام ذات بيانات مصنفة محدودة.
  • يتعامل مع مهام لغوية متنوعة - التصنيف، والتعرف على الكيانات المسماة، ونمذجة اللغة - ضمن بنية واحدة.
  • لا توجد افتراضات توزيعية: لا يتطلب بيانات موزعة بشكل طبيعي.

التطبيقات

  • تصنيف النصوص، مثل تسمية المشاعر أو الموضوع.
  • التعرف على الكيانات المسماة (NER) عبر المستندات.
  • نمذجة اللغة والتنبؤ بالرمز التالي.
  • ضبط النماذج اللغوية المدربة مسبقًا لمهام نصية خاصة بالمجال.

كيف يعمل

كيف يعمل

1

يتم تقسيم النص الخام إلى رموز (tokens)، ويتم تحويل كل رمز إلى متجه رقمي (embedding). نظرًا لأن الانتباه لا يحتوي على مفهوم ترتيب مدمج، يتم إضافة معلومات الموضع إلى هذه المتجهات حتى يعرف النموذج مكان كل رمز في التسلسل.

2

تقارن آلية الانتباه الذاتي كل رمز بكل رمز آخر: تتم مطابقة الاستعلامات (queries) مع المفاتيح (keys) لإنتاج أوزان الانتباه (attention weights)، والتي تُستخدم بعد ذلك لدمج متجهات القيمة (value vectors). يسمح تكديس العديد من طبقات الانتباه هذه للنموذج ببناء تمثيل سياقي يتم فيه إعلام كل رمز بالتسلسل بأكمله.

الصيغة
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

تُغذّي التمثيلات السياقية رأسًا خاصًا بالمهمة (task-specific head) - تسمية لتصنيف النصوص، أو علامات لكل رمز للتعرف على الكيانات المسماة، أو احتمالات الرمز التالي لنمذجة اللغة. في الممارسة العملية، يتم ضبط نموذج تم تدريبه مسبقًا على مجموعات نصية كبيرة (مثل BERT أو GPT) بدقة (fine-tuned) على المهمة المطروحة.

الأخطاء الشائعة

  • تطبيق مُحوِّل على مجموعة بيانات نصية صغيرة حيث لا يمكن للانتباه تعلم أنماط مستقرة.
  • التدريب من الصفر بدلاً من ضبط نموذج مدرب مسبقًا مثل BERT أو GPT بدقة.
  • تجاهل الحد الأدنى لحجم العينة والثقة في نموذج عميق حيث يمكن للتعلم الآلي الكلاسيكي أن يؤدي بشكل أفضل.
  • معاملة أوزان الانتباه كتفسير نهائي لمنطق النموذج.

الأسئلة الشائعة

ما مقدار بيانات النص التي أحتاجها؟

حوالي 500 مثال على الأقل لآلية الانتباه لتعلم أنماط موثوقة. أقل من حوالي 100، لا يستحق تدريب النموذج العميق، والتعلم الآلي الكلاسيكي مثل Random Forest أو XGBoost هو خيار أفضل.

هل يجب أن أدرب مُحوِّلاً من الصفر؟

عادة لا. يوصى باستخدام نموذج مدرب مسبقًا مثل BERT أو GPT وضبطه بدقة على مهمتك، لأنه ينقل المعرفة المكتسبة من المجموعات الكبيرة ويحتاج إلى بيانات مصنفة أقل بكثير.

ما هي المهام التي يتعامل معها؟

تصنيف النصوص، والتعرف على الكيانات المسماة، ونمذجة اللغة، وكلها مبنية على نفس بنية الانتباه الذاتي.

لماذا آلية الانتباه مهمة؟

إنها تسمح لكل رمز في تسلسل بالانتباه مباشرة إلى كل رمز آخر، والتقاط السياق طويل المدى الذي تعاملت معه النماذج المتكررة كلمة بكلمة سابقًا بشكل سيء.

طرق ذات صلة

المصادر

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    افتح مرجع المنشور
    تم النسخ.