مدل توالی به توالی
- معرفیشده توسط
- Sutskever, I.; Cho, K.
- سال
- 2014
- نوع
- Encoder-decoder neural network (deep learning)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
مدل توالی به توالی (Seq2Seq)، که توسط ساتسکور، وینیالز و لی و همچنین چو و همکارانش در سال ۲۰۱۴ معرفی شد، یک شبکه عصبی رمزگذار-رمزگشا است که یک توالی ورودی با طول متغیر را به یک توالی خروجی با طول متغیر نگاشت میکند. این مدل اساس ترجمه ماشینی، خلاصهسازی متن، سیستمهای گفتگو و تولید کد است.
شهود پشت روش
بسیاری از وظایف زبانی، یک توالی را به توالی دیگری تبدیل میکنند که طول آن متفاوت است و از قبل مشخص نیست — یک جمله انگلیسی به یک جمله با طول متفاوت در فرانسوی تبدیل میشود. یک طبقهبندیکننده واحد نمیتواند این کار را انجام دهد. Seq2Seq کار را به دو بخش تقسیم میکند: یک شبکه کل ورودی را میخواند و معنای آن را در یک نمایش زمینه فشرده میکند، و شبکه دوم آن نمایش را به صورت توکن به توکن به خروجی تبدیل میکند، به طوری که هر توکن جدید بر اساس آنچه قبلاً تولید شده است، شرطی میشود.
تاریخ
چارچوب رمزگذار-رمزگشا در سال ۲۰۱۴ از دو مقاله تقریباً همزمان پدید آمد: «یادگیری توالی به توالی با شبکههای عصبی» اثر ساتسکور، وینیالز و لی و رمزگذار-رمزگشای RNN برای ترجمه ماشینی آماری اثر چو و همکارانش. مدلهای اصلی منبع را در یک بردار زمینه ثابت واحد فشرده میکردند؛ افزودن بعدی توجه این گلوگاه را از بین برد و کیفیت ترجمه را به طور چشمگیری بهبود بخشید و راه را برای معماری ترانسفورمر که اکنون بر مدلسازی توالی غالب است، هموار کرد.
چه زمانی استفاده شود
هنگامی که وظیفه تبدیل یک توالی با طول متغیر به توالی دیگر است — ترجمه ماشینی، خلاصهسازی، گفتگو یا تولید کد — و شما مثالهای جفتشده منبع-هدف دارید، از Seq2Seq استفاده کنید؛ ایدهآل است که حداقل حدود ۵۰۰ مورد از آنها را داشته باشید. این مدل برای متن و توالیهای پیوسته در قالب سری زمانی یا مقطعی مناسب است و نیازی به دادههای با توزیع نرمال ندارد. استفاده از GPU توصیه میشود. با کمتر از ۵۰۰ جفت، ساختار رمزگذار-رمزگشا به خوبی قابل یادگیری نیست و مدلهای سادهتر مانند Random Forest یا XGBoost ایمنتر هستند.
محدودیتها و ملاحظات
- برای آموزش خوب، به یک مجموعه داده قابل توجه از مثالهای جفتشده منبع-هدف (حدود ۵۰۰ یا بیشتر) نیاز دارد.
- استفاده از GPU توصیه میشود؛ آموزش از نظر محاسباتی پرهزینه است.
- فشردهسازی یک ورودی طولانی در یک زمینه ثابت واحد میتواند بدون توجه، اطلاعات را از دست بدهد.
- در مجموعه دادههای کوچک، ساختار رمزگذار-رمزگشا قابل یادگیری نیست و مدل بیشبرازش میکند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- برخلاف طبقهبندیکنندههای با خروجی ثابت، ورودیها و خروجیهای با طول متغیر را مدیریت میکند.
- یک چارچوب واحد و عمومی برای ترجمه، خلاصهسازی، گفتگو و تولید کد.
- آموزش دیده به صورت سرتاسری از مثالهای جفتشده منبع-هدف بدون نیاز به همترازی دستی.
- عملکرد به طور قابل توجهی با افزودن مکانیزم توجه بهبود مییابد.
- کمفرضیه: نیازی به نرمال بودن ندارد؛ بر روی دادههای متنی و توالی پیوسته کار میکند.
کاربردها
- ترجمه ماشینی بین جفت زبانها.
- خلاصهسازی انتزاعی متن.
- تولید پاسخهای گفتگو و مکالمه.
- تولید کد از توضیحات زبان طبیعی.
چگونه کار میکند
چگونه کار میکند
یک شبکه رمزگذار توالی ورودی را توکن به توکن میخواند و کل منبع را در یک نمایش زمینه فشرده میکند که معنای آن را خلاصه میکند. از آنجا که رمزگذار کل ورودی را قبل از تولید هر خروجی پردازش میکند، مدل میتواند ورودیهایی با هر طولی را مدیریت کند.
فرمول
c = \text{Encoder}(x_1, \dots, x_T)یک شبکه رمزگشا توالی خروجی را توکن به توکن تولید میکند. در هر مرحله، این شبکه بر اساس زمینه رمزگذار و همچنین توکنهایی که قبلاً منتشر کرده است، شرطی میشود و یک توزیع احتمال بر روی توکن بعدی پیشبینی میکند تا زمانی که یک نماد توقف به توالی پایان دهد. این ویژگی است که باعث میشود طول خروجی با ورودی متفاوت باشد.
فرمول
p(y_t \mid y_{<t}, c)رمزگذار و رمزگشا به طور مشترک آموزش داده میشوند تا احتمال توالی هدف صحیح را با توجه به منبع به حداکثر برسانند — نظارت از طریق مثالهای جفتشده منبع-هدف حاصل میشود. افزودن مکانیزم توجه، که به رمزگشا اجازه میدهد به جای یک زمینه ثابت واحد، به تمام حالتهای رمزگذار نگاه کند، عملکرد را بهبود میبخشد و برای آموزش، استفاده از GPU توصیه میشود.
فرمول
\max_{\theta} \sum \log p(y \mid x; \theta)دامهای رایج
- آموزش بر روی تعداد بسیار کمی از جفتهای منبع-هدف، که در آن مدل بیشبرازش میکند و در یادگیری نگاشت شکست میخورد.
- حذف مکانیزم توجه در توالیهای طولانی و از دست دادن زمینه دور.
- تلاش برای آموزش بدون منابع GPU و رها کردن قبل از همگرایی.
- استفاده از Seq2Seq برای یک وظیفه با خروجی ثابت که یک طبقهبندیکننده یا رگرسیونکننده سادهتر بهتر آن را مدیریت میکند.
پرسشهای متداول
Seq2Seq به چه میزان داده نیاز دارد؟
این مدل به مثالهای جفتشده منبع-هدف نیاز دارد — ایدهآل است که حداقل حدود ۵۰۰ مورد باشد. زیر تقریباً ۲۰۰ جفت، مدل بیشبرازش میکند و نمیتواند تبدیل توالی را یاد بگیرد؛ با دادههای بسیار کم، یک مدل سادهتر مانند Random Forest یا XGBoost ایمنتر است.
آیا به GPU نیاز دارم؟
استفاده از GPU توصیه میشود. آموزش یک رمزگذار-رمزگشا بر روی بسیاری از جفتهای توالی از نظر محاسباتی پرهزینه است و آموزش تنها با CPU اغلب به طور غیرعملی کند است.
افزودن توجه چه کاری انجام میدهد؟
توجه به رمزگشا اجازه میدهد تا در هر مرحله به تمام حالتهای رمزگذار نگاه کند به جای اینکه به یک بردار زمینه ثابت واحد تکیه کند. این کار گلوگاه اطلاعاتی توالیهای طولانی را از بین میبرد و کیفیت خروجی را به طور قابل توجهی بهبود میبخشد.
Seq2Seq چه تفاوتی با یک طبقهبندیکننده دارد؟
یک طبقهبندیکننده یک خروجی ثابت مانند یک برچسب واحد تولید میکند. Seq2Seq یک توالی خروجی با طول متغیر تولید میکند که طول آن در طول تولید تعیین میشود، و این همان چیزی است که آن را برای ترجمه، خلاصهسازی و وظایف مشابه مناسب میسازد.
روشهای مرتبط
منابع
Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.
باز کردن مرجع انتشارکپی شد.Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.
باز کردن مرجع DOIکپی شد.