Skip to content
بازگشت به نتایج جست‌وجو

ترنسفورمر (پردازش زبان طبیعی)

معرفی‌شده توسط
Vaswani, A. et al.
سال
2017
نوع
Attention-based deep neural network

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

ترنسفورمر مدلی یادگیری عمیق مبتنی بر توجه است که توسط واسوانی و همکارانش در سال ۲۰۱۷ معرفی شد و با اجازه دادن به هر توکن در یک توالی برای توجه مستقیم به هر توکن دیگر، وظایف طبقه‌بندی متن، تشخیص موجودیت نام‌دار و مدل‌سازی زبان را انجام می‌دهد. این مدل با مکانیزم توجه به خود (self-attention) که کل توالی‌ها را به صورت موازی پردازش می‌کند، جایگزین طرح‌های بازگشتی قبلی شد.

شهود پشت روش

مدل‌های توالی قبلی متن را کلمه به کلمه می‌خواندند و در اتصال کلماتی که در جمله دور از هم قرار داشتند، دچار مشکل بودند. ترنسفورمر به جای آن به هر کلمه اجازه می‌دهد به تمام کلمات دیگر به طور همزمان نگاه کند و تصمیم بگیرد کدام یک برای معنای آن اهمیت دارد. این مکانیزم توجه همان چیزی است که به مدل اجازه می‌دهد تا زمینه (context) دوربرد را در زبان درک کند و بازنمایی‌های غنی و قابل استفاده مجدد از متن را بیاموزد.

تاریخ

ترنسفورمر توسط واسوانی و همکارانش در مقاله سال ۲۰۱۷ با عنوان "Attention Is All You Need" معرفی شد، که نشان داد معماری ساخته شده کاملاً بر اساس توجه — بدون بازگشت — می‌تواند با مدل‌های توالی قبلی مطابقت داشته باشد یا از آن‌ها فراتر رود. این مدل اساس مدل‌های زبان پیش‌آموزش‌دیده مانند BERT و GPT شد که اکنون نقطه شروع استاندارد برای اکثر وظایف پردازش زبان طبیعی هستند.

چه زمانی استفاده شود

مناسب برای طبقه‌بندی متن، تشخیص موجودیت نام‌دار و مدل‌سازی زبان بر روی مجموعه داده‌های متنی بزرگ — حداقل حدود ۵۰۰ سند — که درک عمیق متنی زبان اهمیت دارد. این مدل نیازی به داده‌های با توزیع نرمال ندارد، اما فرض می‌کند که یک مجموعه بزرگ متن وجود دارد و استفاده از یک مدل پیش‌آموزش‌دیده (مانند BERT یا GPT) توصیه می‌شود. در زیر حدود ۵۰۰ مثال، مکانیزم توجه نمی‌تواند الگوهای قابل اعتمادی را بیاموزد و در زیر حدود ۱۰۰ مثال، مدل عمیق بی‌معنی است؛ یادگیری ماشین کلاسیک مانند Random Forest یا XGBoost انتخاب امن‌تری است.

محدودیت‌ها و ملاحظات

  • به مجموعه داده‌های متنی بزرگ (حدود ۵۰۰ مثال یا بیشتر) برای یادگیری الگوهای قابل اعتماد نیاز دارد.
  • در زیر حدود ۱۰۰ مثال، آموزش مدل عمیق بی‌معنی است و یادگیری ماشین کلاسیک کافی است.
  • آموزش از نظر محاسباتی پرهزینه است و معمولاً به مدل‌های پیش‌آموزش‌دیده متکی است.
  • بازنمایی‌های داخلی آن در مقایسه با مدل‌های با ضرایب صریح، تفسیر دشواری دارند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • توجه به خود، وابستگی‌های دوربرد را در کل توالی درک می‌کند، برخلاف مدل‌های بازگشتی کلمه به کلمه.
  • توالی‌ها را به صورت موازی پردازش می‌کند، که آموزش بر روی مجموعه‌های بزرگ متن را بسیار مقیاس‌پذیرتر می‌کند.
  • مدل‌های پیش‌آموزش‌دیده (BERT، GPT) می‌توانند تنظیم دقیق شوند و دانش را به وظایفی با داده‌های برچسب‌دار محدود منتقل کنند.
  • وظایف متنوع زبان را — طبقه‌بندی، NER، و مدل‌سازی زبان — در یک معماری واحد مدیریت می‌کند.
  • بدون مفروضات توزیعی: نیازی به داده‌های با توزیع نرمال ندارد.

کاربردها

  • طبقه‌بندی متن، مانند برچسب‌گذاری احساسات یا موضوع.
  • تشخیص موجودیت نام‌دار (NER) در اسناد.
  • مدل‌سازی زبان و پیش‌بینی توکن بعدی.
  • تنظیم دقیق مدل‌های زبان پیش‌آموزش‌دیده برای وظایف متنی خاص دامنه.

چگونه کار می‌کند

چگونه کار می‌کند

1

متن خام به توکن‌ها تقسیم می‌شود و هر توکن به یک بردار عددی (embedding) تبدیل می‌شود. از آنجایی که توجه، مفهوم ذاتی ترتیب ندارد، اطلاعات موقعیت به این بردارها اضافه می‌شود تا مدل بداند هر توکن در توالی کجا قرار دارد.

2

مکانیزم توجه به خود، هر توکن را با هر توکن دیگر مقایسه می‌کند: پرس‌وجوها (queries) با کلیدها (keys) مطابقت داده می‌شوند تا وزن‌های توجه تولید شوند، که سپس برای ترکیب بردارهای مقدار (value vectors) استفاده می‌شوند. انباشتن لایه‌های توجه متعدد به مدل اجازه می‌دهد تا یک بازنمایی متنی (contextual representation) بسازد که در آن هر توکن از کل توالی مطلع می‌شود.

فرمول
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

بازنمایی‌های متنی به یک سرِ مخصوص وظیفه (task-specific head) تغذیه می‌شوند — یک برچسب برای طبقه‌بندی متن، برچسب‌های هر توکن برای تشخیص موجودیت نام‌دار، یا احتمالات توکن بعدی برای مدل‌سازی زبان. در عمل، مدلی که بر روی مجموعه‌های بزرگ متن (مانند BERT یا GPT) پیش‌آموزش دیده است، بر روی وظیفه مورد نظر تنظیم دقیق (fine-tuned) می‌شود.

دام‌های رایج

  • اعمال ترنسفورمر بر روی یک مجموعه داده متنی کوچک که در آن توجه نمی‌تواند الگوهای پایدار را بیاموزد.
  • آموزش از ابتدا به جای تنظیم دقیق یک مدل پیش‌آموزش‌دیده مانند BERT یا GPT.
  • نادیده گرفتن حداقل نمونه مورد نیاز و اعتماد به یک مدل عمیق در جایی که یادگیری ماشین کلاسیک بهتر عمل می‌کند.
  • رفتار با وزن‌های توجه به عنوان توضیحی قطعی برای استدلال مدل.

پرسش‌های متداول

چه مقدار داده متنی نیاز دارم؟

حداقل حدود ۵۰۰ مثال برای اینکه مکانیزم توجه الگوهای قابل اعتماد را بیاموزد. در زیر حدود ۱۰۰ مثال، آموزش مدل عمیق ارزش ندارد و یادگیری ماشین کلاسیک مانند Random Forest یا XGBoost انتخاب بهتری است.

آیا باید یک ترنسفورمر را از ابتدا آموزش دهم؟

معمولاً خیر. استفاده از یک مدل پیش‌آموزش‌دیده مانند BERT یا GPT و تنظیم دقیق آن بر روی وظیفه شما توصیه می‌شود، زیرا دانش آموخته شده از مجموعه‌های بزرگ را منتقل می‌کند و به داده‌های برچسب‌دار بسیار کمتری نیاز دارد.

چه وظایفی را مدیریت می‌کند؟

طبقه‌بندی متن، تشخیص موجودیت نام‌دار و مدل‌سازی زبان، همگی بر اساس همان معماری توجه به خود ساخته شده‌اند.

چرا مکانیزم توجه مهم است؟

این به هر توکن در یک توالی اجازه می‌دهد تا مستقیماً به هر توکن دیگر توجه کند و زمینه دوربردی را که مدل‌های بازگشتی کلمه به کلمه قبلی به سختی مدیریت می‌کردند، درک کند.

روش‌های مرتبط

منابع

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    باز کردن مرجع انتشار
    کپی شد.