ترکیبی از متخصصان
- معرفیشده توسط
- Shazeer, N. et al.
- سال
- 2017
- نوع
- Sparse neural network architecture (conditional computation)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
ترکیبی از متخصصان (MoE) یک معماری شبکه عصبی پراکنده است که در سال ۲۰۱۷ توسط شیزر و همکاران با لایه MoE با گیتینگ پراکنده معرفی شد، که در آن تنها زیرمجموعهای از زیرشبکههای متخصص برای هر ورودی فعال میشوند. همانطور که در مدلهایی مانند Switch Transformer و Mixtral دیده میشود، هزینه محاسباتی را حتی با افزایش تعداد کل پارامترها ثابت نگه میدارد.
شهود پشت روش
به جای اجرای هر ورودی از طریق یک شبکه عظیم، MoE مجموعهای از شبکههای متخصص تخصصی و یک مسیریاب را نگه میدارد که تصمیم میگیرد هر ورودی باید با کدام متخصصان اندک مشورت کند. از آنجایی که تنها تعداد انگشت شماری از متخصصان برای هر ورودی فعال میشوند، مدل میتواند تعداد عظیمی از پارامترها را در حالی که تقریباً همان مقدار کار را برای هر مثال انجام میدهد، حمل کند — بسیار شبیه به مشورت با تنها دو متخصص مرتبط با یک سوال به جای کل بیمارستان.
تاریخ
لایه پراکنده گیتینگ شده ترکیبی از متخصصان در سال ۲۰۱۷ توسط شیزر و همکاران در مقاله 'Outrageously Large Neural Networks' معرفی شد، که نشان داد محاسبات شرطی میتواند ظرفیت مدل را به میزان قابل توجهی افزایش دهد در حالی که محاسبات را تقریباً ثابت نگه میدارد. این ایده بعداً به مدلهای زبان ترانسفورمر منتقل شد — به ویژه Switch Transformer و در سال ۲۰۲۴، Mixtral — که MoE را به یک مسیر استاندارد برای مدلهای بسیار بزرگ اما کارآمد تبدیل کرد.
چه زمانی استفاده شود
از MoE برای پیشبینی یا طبقهبندی در مقیاس بزرگ بر روی دادههای متنی و دادههای ویژگی پیوسته استفاده کنید، زمانی که دادههای قابل توجهی (حدود ۱۰۰۰ مشاهده یا بیشتر) و زیرساخت آموزش در مقیاس بزرگ با خوشهای از GPU دارید. این فرض میکند که زیان تعادلدهنده مسیریاب اعمال شده است و خط لوله آموزش میتواند گیتینگ پراکنده را پشتیبانی کند. در زیر حدود ۱۰۰۰ مثال، مسیریاب نمیتواند انتخاب متعادل متخصص را بیاموزد و آموزش ناپایدار است؛ در زیر حدود ۵۰۰ مثال، مدل بیشبرازش میشود و یک مدل متراکم واحد ترجیح داده میشود.
محدودیتها و ملاحظات
- نیاز به زیرساخت آموزش در مقیاس بزرگ و خوشهای از GPU دارد.
- نیاز به زیان تعادلدهنده مسیریاب دارد؛ بدون آن، بار بر روی چند متخصص متمرکز میشود.
- در دادههای کوچک (n زیر حدود ۱۰۰۰) مسیریاب نمیتواند انتخاب متخصص را متعادل کند و آموزش ناپایدار است.
- با دادههای بسیار کم (n زیر حدود ۵۰۰) مدل بیشبرازش میشود و یک مدل متراکم واحد کافی است.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- ظرفیت مدل را از محاسبات به ازای هر ورودی جدا میکند — پارامترهای کل میتوانند رشد کنند در حالی که محاسبات به ازای هر مثال ثابت میماند.
- متخصصان تخصصی میشوند و به یک معماری اجازه میدهند تا ورودیهای ناهمگن را پوشش دهد.
- در مقیاس بزرگ در سیستمهایی مانند Switch Transformer و Mixtral اثبات شده است.
- مسیریابی پراکنده Top-K هزینه استنتاج را بسیار کمتر از یک مدل متراکم با تعداد پارامترهای برابر نگه میدارد.
کاربردها
- مدلهای زبان بزرگ که تعداد پارامترها را بدون افزایش هزینه استنتاج افزایش میدهند (مانند Mixtral).
- پیشبینی و طبقهبندی متن در مقیاس بزرگ.
- وظایف پیشبینی بر روی ویژگیهای پیوسته با ابعاد بالا که در آن ظرفیت باید به طور کارآمد رشد کند.
- معماریهای محاسبات شرطی که ورودیهای ناهمگن را به زیرشبکههای تخصصی هدایت میکنند.
چگونه کار میکند
چگونه کار میکند
این لایه دارای بسیاری از زیرشبکههای متخصص موازی است که هر کدام یک شبکه پیشخور کوچک هستند. متخصصان برای تخصصی شدن آموزش دیدهاند، بنابراین ورودیهای مختلف به متخصصان مختلف هدایت میشوند. تنها متخصصان انتخاب شده یک ورودی معین را پردازش میکنند، به همین دلیل ظرفیت کل میتواند بدون افزایش محاسبات به ازای هر ورودی، رشد کند.
یک شبکه گیتینگ (مسیریاب) متخصصان را برای هر ورودی امتیازدهی میکند و تنها K نفر برتر را نگه میدارد. یک سافتمکس بر روی آن امتیازات K نفر برتر، وزنهای مسیریابی را تولید میکند. در طول آموزش در مقیاس بزرگ، یک زیان تعادلدهنده مسیریاب اعمال میشود تا بار بین متخصصان توزیع شود و از تمرکز بر روی چند مورد دلخواه جلوگیری شود.
فرمول
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))خروجیهای متخصصان انتخاب شده به صورت مجموع وزنی ترکیب میشوند، با استفاده از وزنهای گیتینگ به عنوان ضرایب. این ترکیب پراکنده همان چیزی است که محاسبات را ثابت نگه میدارد در حالی که تعداد پارامترها — و در نتیجه ظرفیت مدل — افزایش مییابد.
فرمول
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)دامهای رایج
- حذف زیان تعادلدهنده مسیریاب، به طوری که چند متخصص غالب شوند و بقیه بیکار بمانند.
- اعمال MoE بر روی مجموعه دادههای کوچک که در آن یک مدل متراکم واحد به طور قابل اطمینانتری آموزش میبیند.
- دستکم گرفتن ردپای GPU و زیرساخت مورد نیاز برای آموزش پراکنده.
- در نظر گرفتن تعداد متخصصان به عنوان ظرفیت آزاد بدون در نظر گرفتن ناپایداری مسیریابی.
پرسشهای متداول
چرا MoE پارامترها را بدون افزایش محاسبات اضافه میکند؟
تنها K متخصص برتر انتخاب شده توسط مسیریاب برای هر ورودی اجرا میشوند، بنابراین حتی اگر لایه بسیاری از متخصصان را ذخیره کند، هر مثال تنها با چند مورد از آنها درگیر میشود. ظرفیت کل با تعداد متخصصان افزایش مییابد در حالی که محاسبات به ازای هر ورودی تقریباً ثابت میماند.
زیان تعادلدهنده مسیریاب برای چیست؟
اگر به حال خود رها شود، مسیریاب تمایل دارد بیشتر ورودیها را به تعداد کمی از متخصصان ارسال کند و بقیه را بدون آموزش بگذارد. یک زیان تعادلدهنده، بار نامتعادل را جریمه میکند تا ترافیک بین متخصصان توزیع شود و از تمام ظرفیت به طور مؤثر استفاده شود.
MoE به چه مقدار داده نیاز دارد؟
این برای تنظیمات در مقیاس بزرگ طراحی شده است — تقریباً ۱۰۰۰ مثال یا بیشتر. در زیر آن، مسیریاب نمیتواند انتخاب متعادل متخصص را بیاموزد و آموزش ناپایدار میشود؛ با کمتر از حدود ۵۰۰ مثال، یک مدل متراکم واحد کمتر بیشبرازش میشود و انتخاب ایمنتری است.
آیا به سختافزار خاصی نیاز دارم؟
بله. MoE فرض میکند که زیرساخت آموزش در مقیاس بزرگ و خوشهای از GPU وجود دارد، زیرا بسیاری از متخصصان و مسیریابی پراکنده برای آموزش توزیع شده و با توان عملیاتی بالا طراحی شدهاند.
روشهای مرتبط
منابع
Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538
باز کردن مرجع انتشارکپی شد.Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.
باز کردن مرجع انتشارکپی شد.