توجه به خود چند-سری
- معرفیشده توسط
- Vaswani, A. et al.
- سال
- 2017
- نوع
- Attention mechanism (Transformer core)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
توجه به خود چند-سری، که توسط واسوانی و همکاران در سال ۲۰۱۷ معرفی شد، مکانیزمی است که به هر موقعیت در یک دنباله اجازه میدهد تا رابطه خود را با تمام موقعیتهای دیگر به صورت موازی محاسبه کند. این هسته معماری ترنسفورمر و اساس مدلهای BERT، GPT و T5 است.
شهود پشت روش
مدلهای دنبالهای قبلی متن را گام به گام پردازش میکردند، که باعث میشد روابط دوربرد به سختی قابل درک و محاسبه کند باشند. توجه به خود به جای آن به هر توکن اجازه میدهد تا به طور همزمان به تمام توکنهای دیگر نگاه کند و تصمیم بگیرد که به هر کدام چه وزنی بدهد، بنابراین معنایی که به زمینه دوربرد بستگی دارد در یک گذر موازی واحد درک میشود.
تاریخ
توجه به خود توسط واسوانی و همکاران در مقاله سال ۲۰۱۷ با عنوان 'Attention Is All You Need' معرفی شد، که معماری ترنسفورمر را پیشنهاد داد و کاملاً از بازگشت (recurrence) صرف نظر کرد. این به سرعت به پایه مدلهای زبان بزرگ از پیش آموزش دیده تبدیل شد: دِولین و همکاران در سال ۲۰۱۹ BERT را بر اساس ترنسفورمرهای دوطرفه ساختند، و همین مکانیزم اساس GPT و T5 است.
چه زمانی استفاده شود
هنگامی از توجه به خود استفاده کنید که متن یا دادههای دنبالهای دیگر را مدلسازی میکنید که در آن روابط بین عناصر دوربرد اهمیت دارد و داده کافی برای آموزش یک مدل بزرگ دارید - حداقل حدود ۱۰۰ مشاهده، با ترجیح قوی ۵۰۰ یا بیشتر. استفاده از GPU توصیه میشود، رمزگذاری موقعیتی الزامی است، و آگاه باشید که هزینه محاسباتی با طول دنباله به صورت درجه دوم رشد میکند. در نمونههای بسیار کوچک، نمیتواند نمایشهای قابل اعتماد را بیاموزد؛ مدلهای یادگیری ماشین سادهتر در آنجا ایمنتر هستند.
محدودیتها و ملاحظات
- هزینه محاسباتی و حافظه با طول دنباله به صورت درجه دوم رشد میکند، که دنبالههای بسیار طولانی را پرهزینه میکند.
- استفاده از GPU برای آموزش عملی به طور موثر الزامی است.
- به رمزگذاری موقعیتی نیاز دارد زیرا توجه به خود به تنهایی نسبت به ترتیب ناآگاه است.
- در مجموعه دادههای کوچک (n کمتر از حدود ۵۰۰) بیشبرازش (overfitting) رخ میدهد و در یادگیری نمایشهای قابل اعتماد شکست میخورد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- وابستگیهای دوربرد را مستقیماً، بدون گلوگاه بازگشت گام به گام، ثبت میکند.
- محاسبات کاملاً موازی در بین موقعیتها، که به خوبی در سختافزارهای مدرن مقیاسپذیر است.
- سریهای متعدد میتوانند به طور همزمان به الگوهای مختلف رابطه توجه کنند.
- به عنوان ستون فقرات مشترک برای BERT، GPT و T5 عمل میکند، با پشتیبانی گسترده یادگیری انتقالی.
کاربردها
- طبقهبندی متن و سایر وظایف نظارت شده زبان طبیعی.
- یادگیری پیشبینی و نمایش بر روی دادههای دنبالهای.
- پیشآموزش و تنظیم دقیق مدلهای زبان بزرگ مانند BERT و GPT.
- هر تنظیماتی که در آن روابط دوربرد بین عناصر دنباله باید مدلسازی شوند.
چگونه کار میکند
چگونه کار میکند
هر موقعیت ورودی از طریق ماتریسهای وزن جداگانه به سه بردار آموخته شده - یک پرسوجو (query)، یک کلید (key) و یک مقدار (value) - نگاشت میشود. پرسوجو نشان میدهد که یک توکن به دنبال چیست، کلید نشان میدهد که هر توکن چه چیزی ارائه میدهد، و مقدار محتوایی است که منتقل میشود.
فرمول
Q = XW_Q,\; K = XW_K,\; V = XW_V
هر پرسوجو با تمام کلیدها از طریق یک ضرب نقطهای مقیاسبندی شده مقایسه میشود، که برای پایدار نگه داشتن مقادیر توسط ریشه دوم بعد کلید مقیاسبندی میشود، و از طریق یک تابع سافتمکس (softmax) برای تولید وزنهای توجه عبور میکند. خروجی هر موقعیت، مجموع وزنی تمام بردارهای مقدار است، بنابراین اطلاعات را از کل دنباله به طور همزمان ترکیب میکند.
فرمول
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)Vتوجه به صورت چندین بار به صورت موازی به عنوان سریهای جداگانه اجرا میشود، هر کدام با نگاشتهای (projections) خاص خود، بنابراین سریهای مختلف میتوانند بر روی انواع مختلف روابط تمرکز کنند. خروجیهای آنها به هم متصل شده و دوباره به هم نگاشت میشوند، و از آنجایی که موقعیتها در غیر این صورت قابل تعویض هستند، رمزگذاری موقعیتی اضافه میشود تا اطلاعات ترتیب حفظ شود.
فرمول
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_Oدامهای رایج
- آموزش بر روی دادههای بسیار کم - کمتر از حدود ۵۰۰ مثال، مکانیزم به جای یادگیری نمایشهای مفید، بیشبرازش میکند.
- فراموش کردن رمزگذاری موقعیتی، که مدل را نسبت به ترتیب کلمات کور میکند.
- دستکم گرفتن هزینه درجه دوم دنبالههای طولانی و اتمام حافظه.
- استفاده از ترنسفورمر برای نمونههای بسیار کوچک که در آن یک مدل سادهتر مانند جنگل تصادفی یا XGBoost بهتر عمل میکند.
پرسشهای متداول
چرا امتیاز توجه توسط ریشه دوم بعد کلید مقیاسبندی میشود؟
بدون مقیاسبندی، ضربهای نقطهای با افزایش بعد کلید بزرگ میشوند و سافتمکس را به مناطقی با گرادیانهای ناپدید شونده سوق میدهند. تقسیم بر ریشه دوم بعد کلید، امتیازها را در یک محدوده پایدار نگه میدارد.
سریهای متعدد چه چیزی اضافه میکنند؟
هر سری نگاشتهای پرسوجو، کلید و مقدار خاص خود را میآموزد، بنابراین سریهای مختلف میتوانند به طور همزمان به انواع مختلف روابط توجه کنند. خروجیهای آنها به هم متصل شده و دوباره به یک نمایش واحد نگاشت میشوند.
چرا رمزگذاری موقعیتی مورد نیاز است؟
توجه به خود موقعیتها را قابل تعویض در نظر میگیرد، بنابراین به تنهایی هیچ درکی از ترتیب ندارد. رمزگذاری موقعیتی اطلاعاتی در مورد موقعیت هر توکن تزریق میکند تا مدل بتواند از ترتیب کلمات استفاده کند.
به چه مقدار داده نیاز دارد؟
این مکانیزم به داده زیادی نیاز دارد: با کمتر از حدود ۵۰۰ مثال، بیشبرازش میکند و نمیتواند نمایشهای قابل اعتماد را بیاموزد، و کمتر از حدود ۱۰۰ مثال، آموزش ترنسفورمر معنیدار نیست. برای نمونههای کوچک، مدلهای سادهتر مانند جنگل تصادفی یا XGBoost ترجیح داده میشوند.
روشهای مرتبط
منابع
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
باز کردن مرجع انتشارکپی شد.Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
باز کردن مرجع انتشارکپی شد.