Skip to content
بازگشت به نتایج جست‌وجو

سازوکار توجه

معرفی‌شده توسط
Bahdanau, D.; Luong, M.T.
سال
2015
نوع
Neural attention layer (encoder-decoder)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

سازوکار توجه، که توسط بهدانو، چو و بنگیو در سال ۲۰۱۵ معرفی شد و همان سال توسط لیونگ، فام و منینگ بهبود یافت، به یک رمزگشای توالی اجازه می‌دهد تا به صورت پویا یاد بگیرد که در هر گام بر کدام یک از خروجی‌های رمزگذار تمرکز کند. پیش از ترنسفورمر، این سازوکار با رها کردن مدل‌ها از فشرده‌سازی کل ورودی در یک بردار ثابت واحد، کیفیت ترجمه ماشینی را به طور قابل توجهی بهبود بخشید.

شهود پشت روش

یک رمزگذار-رمزگشای ساده، کل توالی ورودی را در یک بردار زمینه ثابت فشرده می‌کند که برای توالی‌های طولانی به یک گلوگاه تبدیل می‌شود. توجه این گلوگاه را از بین می‌برد: در هر گام خروجی، رمزگشا به تمام حالت‌های رمزگذار نگاه می‌کند و یک ترکیب وزنی را محاسبه می‌کند، و به شدت بر روی چند موقعیت که برای کلمه‌ای که قرار است تولید کند اهمیت دارند، تکیه می‌کند. این مانند مترجمی است که به جای تلاش برای به خاطر سپردن کل جمله به یکباره، به کلمات منبع مرتبط‌تر نگاه می‌کند.

تاریخ

سازوکار توجه توسط بهدانو، چو و بنگیو در سال ۲۰۱۵ برای ترجمه ماشینی عصبی معرفی شد، که به طور مشترک هم‌ترازی و ترجمه را یاد می‌گرفت تا مدل دیگر مجبور نباشد کل جمله منبع را در یک بردار فشرده کند. همان سال لیونگ، فام و منینگ انواع مؤثر ضرب نقطه‌ای (ضرب‌شونده) را پیشنهاد کردند. توجه کیفیت ترجمه را به طور قابل توجهی افزایش داد و به هسته مفهومی برای معماری ترنسفورمر که پس از آن آمد، تبدیل شد.

چه زمانی استفاده شود

زمانی از توجه استفاده کنید که یک مسئله توالی به توالی دارید — مانند ترجمه ماشینی یا سایر وظایف متنی و توالی پیوسته — که در آن پیش‌بینی یا هم‌ترازی قابل تفسیر اهمیت دارد و یک ساختار اصلی توالی به توالی از قبل وجود دارد. این سازوکار فرض می‌کند که یک معماری seq2seq کارآمد و قابلیت محاسبه یک بردار زمینه وجود دارد. برای حداقل چند صد نمونه برنامه‌ریزی کنید؛ با تقریباً ۵۰۰ نمونه یا کمتر، سازوکار برای یادگیری وزن‌های معنی‌دار دچار مشکل می‌شود، و زیر حدود ۱۰۰ نمونه، آموزش مبتنی بر توجه ارزش ندارد — مدل‌های ساده‌تر مانند Random Forest یا XGBoost ایمن‌تر هستند.

محدودیت‌ها و ملاحظات

  • به یک ساختار اصلی seq2seq موجود و قابلیت محاسبه یک بردار زمینه نیاز دارد.
  • در مجموعه داده‌های کوچک (حدود ۵۰۰ نمونه یا کمتر) نمی‌تواند وزن‌های معنی‌دار را یاد بگیرد و تمایل به بیش‌برازش دارد.
  • زیر تقریباً ۱۰۰ مشاهده، آموزش مبتنی بر توجه اساساً بی‌معنی است.
  • هزینه محاسباتی را علاوه بر مدل رمزگذار-رمزگشای زیرین اضافه می‌کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • گلوگاه بردار ثابت را از بین می‌برد و مدیریت توالی‌های طولانی را به شدت بهبود می‌بخشد.
  • وزن‌های توجه یک هم‌ترازی قابل تفسیر بین ورودی و خروجی ارائه می‌دهند.
  • در هر گام رمزگشایی به صورت پویا بر مرتبط‌ترین موقعیت‌های رمزگذار تمرکز می‌کند.
  • کیفیت ترجمه ماشینی را به طور قابل توجهی بهبود بخشید و راه را برای ترنسفورمر هموار کرد.

کاربردها

  • ترجمه ماشینی عصبی بین جفت زبان‌ها.
  • تولید متن و خلاصه‌سازی توالی به توالی.
  • پیش‌بینی بر روی توالی‌های پیوسته و ورودی‌های سبک سری زمانی.
  • تولید هم‌ترازی‌های ورودی-خروجی قابل تفسیر برای تحلیل.

چگونه کار می‌کند

چگونه کار می‌کند

1

در هر گام رمزگشایی، حالت فعلی رمزگشا با هر خروجی رمزگذار مقایسه می‌شود تا یک امتیاز ارتباط تولید شود. توجه به سبک بهدانو (جمع‌شونده) این امتیاز را با یک شبکه پیش‌خور کوچک یاد می‌گیرد، در حالی که توجه به سبک لیونگ (ضرب‌شونده) از یک ضرب نقطه‌ای بین پرس‌وجو و کلیدها استفاده می‌کند که محاسبه آن ارزان‌تر است.

فرمول
e_{ij} = \text{score}(s_{i}, h_{j})
2

امتیازات خام از طریق یک سافت‌مکس عبور داده می‌شوند تا به مجموعه‌ای از وزن‌های توجه تبدیل شوند که مثبت هستند و در سراسر موقعیت‌های ورودی به یک جمع می‌شوند. این وزن‌ها بیان می‌کنند که هر خروجی رمزگذار در گام فعلی چقدر باید مورد توجه قرار گیرد و می‌توانند به عنوان یک هم‌ترازی قابل تفسیر بین ورودی و خروجی بررسی شوند.

فرمول
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}
3

خروجی‌های رمزگذار با استفاده از وزن‌های توجه، به عنوان مجموع وزنی آنها، در یک بردار زمینه واحد ترکیب می‌شوند. این زمینه پویا — که در هر گام متفاوت است — به رمزگشا داده می‌شود تا بتواند عنصر بعدی را تولید کند در حالی که به مرتبط‌ترین بخش‌های ورودی توجه می‌کند.

فرمول
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}

دام‌های رایج

  • اعمال توجه به مجموعه داده‌ای که برای یادگیری وزن‌های پایدار بسیار کوچک است، که منجر به بیش‌برازش می‌شود.
  • برخورد با وزن‌های توجه به عنوان یک توضیح قطعی به جای یک نشانه هم‌ترازی مفید اما جزئی.
  • نادیده گرفتن یک پایه seq2seq و انتظار اینکه توجه به تنهایی کار کند.
  • نادیده گرفتن این نکته که ورودی‌های بسیار کوتاه از توجه نسبت به یک رمزگذار-رمزگشای ساده بهره کمی می‌برند.

پرسش‌های متداول

توجه چه مشکلی را حل می‌کند؟

این سازوکار گلوگاه بردار ثابت مدل‌های رمزگذار-رمزگشای ساده را از بین می‌برد. به جای فشرده‌سازی کل ورودی در یک بردار زمینه، رمزگشا در هر گام یک ترکیب وزنی تازه از تمام حالت‌های رمزگذار می‌سازد و بر روی موقعیت‌هایی که بیشترین اهمیت را دارند تمرکز می‌کند.

تفاوت بین توجه بهدانو و لیونگ چیست؟

توجه بهدانو (جمع‌شونده) امتیاز ارتباط را با یک شبکه پیش‌خور کوچک یاد می‌گیرد، در حالی که توجه لیونگ (ضرب‌شونده) از یک ضرب نقطه‌ای بین پرس‌وجو و کلیدها استفاده می‌کند که از نظر محاسباتی ارزان‌تر است.

به چه مقدار داده نیاز دارم؟

برای حداقل چند صد نمونه برنامه‌ریزی کنید. با حدود ۵۰۰ نمونه یا کمتر، سازوکار برای یادگیری وزن‌های معنی‌دار دچار مشکل می‌شود و بیش‌برازش می‌کند، و زیر تقریباً ۱۰۰ نمونه، آموزش مبتنی بر توجه ارزش ندارد — مدل‌های ساده‌تر مانند Random Forest یا XGBoost بهتر هستند.

آیا می‌توانم وزن‌های توجه را به عنوان یک توضیح بخوانم؟

وزن‌ها یک هم‌ترازی قابل تفسیر را تشکیل می‌دهند که نشان می‌دهد مدل کجا تمرکز کرده است، که واقعاً مفید است. با آن به عنوان یک نشانه مفید برخورد کنید تا یک توضیح کامل یا قطعی از استدلال مدل.

روش‌های مرتبط

منابع

  1. Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR.

    باز کردن مرجع انتشار
    کپی شد.
  2. Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421.

    باز کردن مرجع DOI
    کپی شد.