الانتقال إلى المحتوى
العودة إلى نتائج البحث

مزيج الخبراء

قدّمه
Shazeer, N. et al.
السنة
2017
النوع
Sparse neural network architecture (conditional computation)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

مزيج الخبراء (MoE) هو بنية شبكة عصبية متفرقة، قدمها شازير وزملاؤه في عام 2017 مع طبقة MoE ذات البوابات المتفرقة، حيث يتم تنشيط مجموعة فرعية فقط من الشبكات الفرعية الخبيرة لكل مدخل. كما هو الحال في نماذج مثل Switch Transformer و Mixtral، فإنه يحافظ على تكلفة الحساب ثابتة حتى مع تزايد العدد الإجمالي للمعلمات.

الفكرة الحدسية وراء الطريقة

بدلاً من تشغيل كل مدخل عبر شبكة ضخمة واحدة، يحتفظ MoE بمجموعة من الشبكات الخبيرة المتخصصة وموجه يقرر أي عدد قليل من الخبراء يجب أن يستشيرهم كل مدخل. نظرًا لأن عددًا قليلاً فقط من الخبراء يعمل لكل مدخل، يمكن للنموذج أن يحمل عددًا هائلاً من المعلمات بينما يقوم بنفس القدر تقريبًا من العمل لكل مثال - تمامًا مثل استشارة المتخصصين الاثنين ذوي الصلة بالسؤال فقط بدلاً من المستشفى بأكمله.

التاريخ

تم تقديم طبقة مزيج الخبراء ذات البوابات المتفرقة من قبل شازير وزملاؤه في عام 2017 في ورقة بعنوان "شبكات عصبية ضخمة بشكل فاحش"، والتي أظهرت أن الحساب الشرطي يمكن أن يزيد من سعة النموذج بمقادير كبيرة مع الحفاظ على الحساب ثابتًا تقريبًا. تم تطبيق الفكرة لاحقًا في نماذج لغة المحولات - ولا سيما Switch Transformer، وفي عام 2024، Mixtral - مما جعل MoE مسارًا قياسيًا للنماذج الكبيرة جدًا والفعالة.

متى تُستخدم

استخدم MoE للتنبؤ أو التصنيف على نطاق واسع على البيانات النصية والبيانات ذات الميزات المستمرة عندما يكون لديك بيانات كبيرة (حوالي 1000 ملاحظة أو أكثر) وبنية تحتية للتدريب على نطاق واسع مع مجموعة وحدات معالجة الرسوميات (GPU). يفترض أنه يتم تطبيق خسارة موازنة الموجه وأن خط أنابيب التدريب يمكن أن يدعم التوجيه المتفرق. أقل من حوالي 1000 مثال، لا يمكن للموجه تعلم اختيار الخبراء المتوازن ويصبح التدريب غير مستقر؛ أقل من حوالي 500، يفرط النموذج في التجهيز ويكون النموذج الكثيف الواحد أفضل.

الحدود والاعتبارات

  • يتطلب بنية تحتية للتدريب على نطاق واسع ومجموعة وحدات معالجة الرسوميات (GPU).
  • يحتاج إلى خسارة موازنة الموجه؛ بدونها، ينهار الحمل على عدد قليل من الخبراء.
  • على البيانات الصغيرة (n أقل من حوالي 1000) لا يمكن للموجه موازنة اختيار الخبراء ويصبح التدريب غير مستقر.
  • مع بيانات قليلة جدًا (n أقل من حوالي 500) يفرط النموذج في التجهيز ويكون النموذج الكثيف الواحد كافيًا.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يفصل سعة النموذج عن الحساب لكل مدخل - يمكن أن ينمو العدد الإجمالي للمعلمات بينما يظل الحساب لكل مثال ثابتًا.
  • يتخصص الخبراء، مما يسمح لبنية واحدة بتغطية المدخلات غير المتجانسة.
  • أثبت فعاليته على نطاق واسع في أنظمة مثل Switch Transformer و Mixtral.
  • يحافظ التوجيه المتفرق لأفضل K على تكلفة الاستدلال أقل بكثير من تكلفة النموذج الكثيف ذي العدد المتساوي من المعلمات.

التطبيقات

  • نماذج اللغة الكبيرة التي تزيد من عدد المعلمات دون زيادة تكلفة الاستدلال (مثل Mixtral).
  • التنبؤ والتصنيف النصي على نطاق واسع.
  • مهام التنبؤ على الميزات المستمرة عالية الأبعاد حيث يجب أن تنمو السعة بكفاءة.
  • بنى الحساب الشرطي التي توجه المدخلات غير المتجانسة إلى شبكات فرعية متخصصة.

كيف يعمل

كيف يعمل

1

تحتوي الطبقة على العديد من الشبكات الفرعية الخبيرة المتوازية، كل منها شبكة تغذية أمامية صغيرة. يتم تدريب الخبراء على التخصص، بحيث يتم توجيه المدخلات المختلفة إلى خبراء مختلفين. يقوم الخبراء المختارون فقط بمعالجة مدخل معين، وهذا هو السبب في أن السعة الإجمالية يمكن أن تنمو دون زيادة الحساب لكل مدخل.

2

تقوم شبكة البوابة (الموجه) بتقييم الخبراء لكل مدخل وتحتفظ فقط بأفضل K. ينتج عن دالة softmax على هذه الدرجات العليا K أوزان التوجيه. أثناء التدريب على نطاق واسع، يتم تطبيق خسارة موازنة الموجه بحيث يتم توزيع الحمل عبر الخبراء بدلاً من الانهيار على عدد قليل من المفضلين.

الصيغة
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))
3

يتم دمج مخرجات الخبراء المختارين كمجموع مرجح، باستخدام أوزان البوابة كمعاملات. هذا الدمج المتفرق هو ما يحافظ على ثبات الحساب بينما يتزايد عدد المعلمات - وبالتالي سعة النموذج.

الصيغة
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)

الأخطاء الشائعة

  • إغفال خسارة موازنة الموجه، بحيث يهيمن عدد قليل من الخبراء ويبقى الباقون خامدين.
  • تطبيق MoE على مجموعات البيانات الصغيرة حيث يمكن لنموذج كثيف واحد أن يتدرب بشكل أكثر موثوقية.
  • التقليل من تقدير بصمة وحدة معالجة الرسوميات (GPU) والبنية التحتية المطلوبة للتدريب المتفرق.
  • معاملة عدد الخبراء كسعة مجانية دون مراعاة عدم استقرار التوجيه.

الأسئلة الشائعة

لماذا يضيف MoE معلمات دون إضافة حساب؟

يتم تشغيل أفضل K خبراء فقط الذين يختارهم الموجه لكل مدخل، لذلك على الرغم من أن الطبقة تخزن العديد من الخبراء، إلا أن كل مثال يلامس عددًا قليلاً فقط. تتزايد السعة الإجمالية مع عدد الخبراء بينما يظل الحساب لكل مدخل ثابتًا تقريبًا.

ما هي خسارة موازنة الموجه؟

إذا تُرك الموجه وشأنه، فإنه يميل إلى إرسال معظم المدخلات إلى عدد قليل من الخبراء، تاركًا الآخرين غير مدربين. تعاقب خسارة الموازنة الحمل غير المتكافئ بحيث يتم توزيع حركة المرور عبر الخبراء ويتم استخدام السعة الكاملة بالفعل.

كم من البيانات يحتاجها MoE؟

إنه مخصص للإعدادات واسعة النطاق - حوالي 1000 مثال أو أكثر. أقل من ذلك، لا يمكن للموجه تعلم اختيار الخبراء المتوازن ويصبح التدريب غير مستقر؛ مع أقل من حوالي 500 مثال، يفرط نموذج كثيف واحد في التجهيز بشكل أقل وهو الخيار الأكثر أمانًا.

هل أحتاج إلى أجهزة خاصة؟

نعم. يفترض MoE بنية تحتية للتدريب على نطاق واسع ومجموعة وحدات معالجة الرسوميات (GPU)، حيث تم تصميم العديد من الخبراء والتوجيه المتفرق للتدريب الموزع عالي الإنتاجية.

طرق ذات صلة

المصادر

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538

    افتح مرجع المنشور
    تم النسخ.
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.

    افتح مرجع المنشور
    تم النسخ.