لونغفورمر / بيغ بيرد
- قدّمه
- Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
- السنة
- 2020
- النوع
- Sparse-attention Transformer for long sequences
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تستبدل نماذج المحولات (Transformers) ذات التسلسل الطويل مثل لونغفورمر (Longformer) (Beltagy, Peters & Cohan, 2020) وبيغ بيرد (BigBird) (Zaheer et al., 2020) آلية الانتباه القياسية ذات التعقيد التربيعي O(n²) بآليات انتباه متفرقة (sparse attention) تتناسب خطيًا O(n) مع طول التسلسل. هذا يسمح لنموذج واحد بالانتباه إلى آلاف الرموز (tokens) - مستندات كاملة، نصوص قانونية، أو تسلسلات جينومية - التي لا يمكن لنموذج محولات تقليدي استيعابها.
الفكرة الحدسية وراء الطريقة
يقارن نموذج المحولات القياسي كل رمز بكل رمز آخر، لذا فإن مضاعفة النص تضاعف العمل أربع مرات تقريبًا - وهذا هو سبب اقتصار معظم النماذج على حوالي 512 رمزًا. تلاحظ نماذج المحولات ذات التسلسل الطويل أن معظم العلاقات المفيدة محلية، لذا ينظر كل رمز بشكل أساسي إلى جيرانه القريبين من خلال نافذة منزلقة (sliding window)، بينما يُسمح لعدد قليل من الرموز المحددة بالنظر إلى كل شيء. هذا يحافظ على نمو التكلفة بالتوازي مع طول النص بدلاً من الانفجار، مما يجعل المستندات الطويلة جدًا قابلة للمعالجة.
التاريخ
ظهرت كلتا الطريقتين في عام 2020 كاستجابات لعنق الزجاجة التربيعي للانتباه الذي حد من نماذج المحولات إلى المدخلات القصيرة. قدم لونغفورمر (Longformer) (Beltagy, Peters & Cohan) آلية النافذة المنزلقة بالإضافة إلى الانتباه العام للمستندات الطويلة، بينما أضاف بيغ بيرد (BigBird) (Zaheer et al., NeurIPS) الانتباه العشوائي إلى نمطه المتفرق وقدم نتائج نظرية حول قدرته التعبيرية. معًا، أسسوا الانتباه المتفرق كمسار قياسي لمعالجة التسلسلات الطويلة.
متى تُستخدم
استخدم نماذج المحولات ذات التسلسل الطويل عندما يكون لديك نص مستند طويل (عادة ما يتجاوز 512 رمزًا) وتحتاج إلى تصنيف أو تفسير للمستند بأكمله - تقارير طويلة، نصوص قانونية، أو تسلسلات جينومية. تفترض هذه النماذج أن المدخلات الطويلة حقيقية متاحة، ويوصى بشدة باستخدام وحدة معالجة الرسوميات (GPU)، ويجب اختيار مواضع الرموز العامة بعقلانية. تحتاج إلى كمية معقولة من البيانات: أقل من حوالي 500 مستند يميل النموذج إلى الإفراط في التخصيص (overfit)، وأقل من حوالي 100 مستند يكون التدريب غير ذي معنى ويفضل استخدام نماذج التعلم الآلي الكلاسيكية مثل الغابة العشوائية (Random Forest) أو XGBoost.
الحدود والاعتبارات
- مطلوب وحدة معالجة رسوميات (GPU) بشكل فعال؛ التدريب والاستدلال كثيفان حسابيًا.
- يفرط في التخصيص (overfits) على مجموعات المستندات الصغيرة - أقل من حوالي 500 مستند تكون النتائج غير موثوقة.
- أقل من حوالي 100 مستند يكون التدريب غير ذي معنى ويجب استخدام التعلم الآلي الكلاسيكي بدلاً من ذلك.
- يجب اختيار مواضع الرموز العامة بشكل صحيح، وإلا فإن تدفق المعلومات بعيدة المدى يتدهور.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يعالج آلاف الرموز - مستندات كاملة - تتجاوز نافذة نموذج المحولات القياسي.
- قياس خطي للانتباه O(n) بدلاً من التكلفة التربيعية O(n²) للانتباه الكثيف.
- يجمع بين سياق النافذة المنزلقة المحلية والرموز العامة لتدفق المعلومات بعيدة المدى.
- مناسب لتصنيف المستندات الطويلة في القانون، وعلم الجينوم، والنصوص الطويلة.
التطبيقات
- تصنيف المستندات الطويلة مثل التقارير والمقالات.
- تحليل النصوص القانونية التي تتجاوز نوافذ نماذج المحولات القياسية.
- نمذجة تسلسلات جينومية طويلة.
- مهام التفسير والتصنيف على النصوص الكاملة بدلاً من المقتطفات المقتطعة.
كيف يعمل
كيف يعمل
الخطوة الأساسية هي التخلي عن آلية الانتباه الكثيفة (dense attention) لجميع الأزواج في نموذج المحولات القياسي - والتي تكلف O(n²) بالنسبة لطول التسلسل n - وتقريبها بنمط متفرق يكلف O(n) فقط. نظرًا لأن الانتباه هو عنق الزجاجة، فإن هذا التغيير الوحيد هو ما يفتح إمكانية معالجة مدخلات بآلاف الرموز.
الصيغة
O(n^2) \;\rightarrow\; O(n)
يقتصر معظم الانتباه على نافذة منزلقة حول كل رمز، لذا ينتبه الرمز إلى نطاق ثابت من الرموز القريبة بدلاً من التسلسل بأكمله. السياق المحلي - الكلمات على كلا الجانبين - يحمل معظم الإشارة، وحساب هذا النطاق فقط هو ما يجعل التكلفة تنمو خطيًا مع الطول.
يُسمح لمجموعة صغيرة من الرموز العامة المحددة (global tokens) بالانتباه إلى التسلسل بأكمله، وأن يُنظر إليها من قبل التسلسل بأكمله، مما يوفر للنموذج مسارًا لتدفق المعلومات بعيدة المدى عبر المستند. اختيار مواضع هذه الرموز العامة بشكل صحيح (على سبيل المثال، رمز التصنيف أو رموز الاستعلام) أمر مهم، لأنها الجسر بين أجزاء النص البعيدة.
فوق مشفر الانتباه المتفرق، ينتج رأس المهمة (task head) النتيجة النهائية - على سبيل المثال، تصنيف على مستوى المستند أو تنبؤ تفسيري على المدخلات الطويلة. النتيجة هي نموذج يمكنه معالجة المستندات الكاملة التي سيضطر نموذج محولات بـ 512 رمزًا إلى اقتطاعها.
الأخطاء الشائعة
- تطبيقها على نصوص قصيرة تتناسب مع نموذج محولات قياسي بـ 512 رمزًا، مع تحمل التعقيد دون فائدة.
- اختيار مواضع الرموز العامة بإهمال، مما يكسر مسارات النموذج بعيدة المدى.
- التدريب على مجموعة مستندات صغيرة (n أقل من بضع مئات) والثقة في نتيجة الإفراط في التخصيص.
- محاولة التدريب بدون وحدة معالجة رسوميات (GPU) والاستسلام لنموذج غير قابل للتطبيق.
الأسئلة الشائعة
كيف يختلف هذا عن نموذج المحولات القياسي مثل بيرت (BERT)؟
يستخدم نموذج المحولات القياسي الانتباه الكثيف، مقارنة كل رمز بكل رمز آخر بتكلفة O(n²)، مما يحد عمليًا من المدخلات بحوالي 512 رمزًا. يستخدم لونغفورمر وبيغ بيرد الانتباه المتفرق - في الغالب نوافذ منزلقة محلية بالإضافة إلى عدد قليل من الرموز العامة - لذا تنمو التكلفة خطيًا وتصبح المدخلات بآلاف الرموز ممكنة.
متى يجب أن أفضل لونغفورمر أو بيغ بيرد على نماذج التعلم الآلي الكلاسيكية؟
استخدمها عندما يكون النص الخاص بك طويلاً حقًا (يتجاوز 512 رمزًا) ولديك ما يكفي من المستندات. مع أقل من حوالي 500 مستند، يميل النموذج إلى الإفراط في التخصيص، وأقل من حوالي 100 مستند يكون التدريب غير ذي معنى - طرق كلاسيكية مثل الغابة العشوائية (Random Forest) أو XGBoost هي الخيار الأكثر أمانًا هناك.
ما هي الرموز العامة ولماذا هي مهمة؟
الرموز العامة هي مجموعة صغيرة من المواضع المسموح لها بالانتباه إلى التسلسل بأكمله، وأن يُنظر إليها من قبل التسلسل بأكمله. إنها القناة التي تنتقل من خلالها المعلومات بعيدة المدى عبر المستند، لذا فإن اختيار مواضعها بشكل صحيح مهم للأداء.
هل أحتاج إلى أجهزة خاصة؟
يوصى بشدة باستخدام وحدة معالجة الرسوميات (GPU). لا تزال هذه النماذج تعالج التسلسلات الطويلة بشبكات كبيرة، لذا فإن التدريب والاستدلال يتطلبان موارد حسابية كبيرة حتى مع الانتباه ذي القياس الخطي.
طرق ذات صلة
المصادر
Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.
افتح مرجع المنشورتم النسخ.Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.
افتح مرجع المنشورتم النسخ.