Skip to content
بازگشت به نتایج جست‌وجو

واحد تکرارشونده گیت‌دار (GRU)

معرفی‌شده توسط
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
سال
2014
نوع
Recurrent neural network with gating
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

واحد تکرارشونده گیت‌دار (GRU) که در سال ۲۰۱۴ توسط چو و همکاران معرفی شد، یک شبکه عصبی تکرارشونده ساده‌شده است که از دو گیت آموخته‌شده — گیت به‌روزرسانی و گیت بازنشانی — برای حفظ یا حذف انتخابی اطلاعات در طول گام‌های زمانی استفاده می‌کند و مدل‌سازی مؤثر توالی را با پارامترهای کمتر نسبت به LSTM امکان‌پذیر می‌سازد.

شهود پشت روش

پردازش یک توالی شبیه خواندن یک سند طولانی است در حالی که تصمیم می‌گیرید چه چیزی را به خاطر بسپارید و چه چیزی را فراموش کنید. گیت به‌روزرسانی GRU میزان انتقال حالت پنهان قبلی به جلو در مقابل جایگزینی آن با اطلاعات جدید را کنترل می‌کند، در حالی که گیت بازنشانی تعیین می‌کند چه مقدار از زمینه گذشته باید بر حالت پنهان کاندید جدید تأثیر بگذارد. این مکانیزم گیتینگ به شبکه اجازه می‌دهد تا وابستگی‌های دوربرد را بدون مشکلات گرادیان محوشونده که شبکه‌های RNN ساده را آزار می‌دهد، ثبت کند و این کار را با معماری ساده‌تر و سریع‌تر از LSTM چهار-گیتی انجام می‌دهد.

تاریخ

GRU در سال ۲۰۱۴ توسط چو و همکاران به عنوان بخشی از چارچوب رمزگذار-رمزگشای RNN برای ترجمه ماشینی آماری معرفی شد. چونگ و همکاران (۲۰۱۴) ارزیابی تجربی ارائه دادند که نشان داد GRU و LSTM در مدل‌سازی موسیقی پلی‌فونیک و مدل‌سازی سیگنال گفتار عملکرد مشابهی داشتند در حالی که GRU سریع‌تر آموزش می‌دید. این مدل به سرعت به یک معیار استاندارد مدل‌سازی توالی تبدیل شد و همچنان به طور گسترده در تحقیقات NLP و سری‌های زمانی استفاده می‌شود.

چه زمانی استفاده شود

از GRU هنگام کار با داده‌های ترتیبی — زبان طبیعی، سری‌های زمانی، گفتار، یا گزارش‌های رویداد — به‌ویژه زمانی که منابع محاسباتی محدود هستند یا سرعت آموزش اهمیت دارد، استفاده کنید، زیرا GRU سریع‌تر آموزش می‌بیند و پارامترهای کمتری نسبت به LSTM با دقت اغلب قابل مقایسه استفاده می‌کند. این مدل برای وظایفی مانند طبقه‌بندی متن، تحلیل احساسات، تشخیص موجودیت نام‌دار، مدل‌سازی زبان، و پیش‌بینی سری‌های زمانی تک‌متغیره یا چندمتغیره مناسب است. LSTM را زمانی ترجیح دهید که توالی‌های بسیار طولانی دارید که سلول حافظه اضافی LSTM ممکن است مزیت دقت را فراهم کند، یا زمانی که می‌توانید هزینه محاسباتی اضافی را تحمل کنید. از GRU برای داده‌های جدولی غیرترتیبی که شبکه‌های پیش‌خور یا مدل‌های مبتنی بر درخت مناسب‌تر هستند، اجتناب کنید.

محدودیت‌ها و ملاحظات

  • ممکن است در توالی‌های بسیار طولانی که سلول حافظه جداگانه LSTM مزیت مشخصی را ارائه می‌دهد، عملکرد ضعیف‌تری نسبت به LSTM داشته باشد.
  • کندتر و نیازمند حافظه بیشتر نسبت به مدل‌های مبتنی بر ترنسفورمر برای وظایف NLP با زمینه طولانی.
  • محاسبات ذاتاً ترتیبی، موازی‌سازی را در طول آموزش محدود می‌کند، برخلاف ترنسفورمرها.
  • به پارامترهای کلیدی مانند اندازه پنهان، دراپ‌اوت، و نرخ یادگیری حساس است؛ نیاز به تنظیم دقیق دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • پارامترهای کمتر نسبت به LSTM (دو گیت به جای چهار گیت)، منجر به آموزش سریع‌تر و استفاده کمتر از حافظه می‌شود.
  • مشکل گرادیان محوشونده شبکه‌های RNN ساده را کاهش می‌دهد و یادگیری وابستگی‌های زمانی دوربرد را امکان‌پذیر می‌سازد.
  • دقت رقابتی با LSTM در بسیاری از معیارهای NLP و سری‌های زمانی علی‌رغم معماری ساده‌تر آن.
  • تنظیم آسان‌تر: پارامترهای کمتری نسبت به LSTM (اندازه پنهان، تعداد لایه‌ها، دراپ‌اوت).
  • انواع دوطرفه و پشته‌شده برای نمایش‌های متنی غنی‌تر، پیاده‌سازی ساده‌ای دارند.

کاربردها

  • طبقه‌بندی متن و تحلیل احساسات بر روی اسناد کوتاه تا متوسط.
  • تشخیص موجودیت نام‌دار و برچسب‌گذاری توالی در خطوط لوله NLP.
  • پیش‌بینی سری‌های زمانی برای داده‌های سنسور، قیمت سهام، و مصرف انرژی.
  • تشخیص گفتار و مدل‌سازی ویژگی‌های صوتی.
  • معماری‌های رمزگذار-رمزگشای ترجمه ماشینی.
  • تشخیص ناهنجاری در گزارش‌های رویداد ترتیبی و جریان‌های نظارتی.

چگونه کار می‌کند

چگونه کار می‌کند

1

در هر گام زمانی، گیت به‌روزرسانی با استفاده از ورودی فعلی و حالت پنهان قبلی، مقداری بین ۰ و ۱ را محاسبه می‌کند. مقداری نزدیک به ۱ به این معنی است که بیشتر حالت پنهان قبلی حفظ می‌شود؛ نزدیک به ۰ به این معنی است که عمدتاً جایگزین می‌شود. این گیت واحد، جایگزین هر دو گیت ورودی و فراموشی در LSTM می‌شود.

فرمول
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)
2

گیت بازنشانی به طور مشابه مقداری بین ۰ و ۱ تولید می‌کند که میزان حالت پنهان قبلی را هنگام محاسبه حالت کاندید جدید تعدیل می‌کند. مقداری نزدیک به ۰ به طور مؤثر به شبکه اجازه می‌دهد تا زمینه قبلی را نادیده بگیرد و آن را قادر می‌سازد تا بازنشانی کرده و بر ورودی فعلی تمرکز کند.

فرمول
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)
3

یک حالت پنهان کاندید با استفاده از ورودی فعلی و حالت پنهان قبلیِ گیت‌شده با بازنشانی، از طریق فعال‌سازی tanh محاسبه می‌شود. این نشان‌دهنده اطلاعات جدیدی است که سلول در صورت اجازه گیت به‌روزرسانی برای جایگزینی کامل حالت قبلی، ذخیره می‌کند.

فرمول
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)
4

حالت پنهان نهایی، درون‌یابی خطی بین حالت پنهان قبلی و کاندید است: وزن گیت به‌روزرسانی تعیین می‌کند که از هر کدام چه مقدار حفظ شود. این ترکیب محدب، گرادیان‌ها را به طور تمیز در طول زمان منتشر می‌کند و به شبکه در یادگیری وابستگی‌های دوربرد کمک می‌کند.

فرمول
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t
5

حالت پنهان در گام زمانی نهایی (یا هر گام زمانی) از طریق یک لایه خطی و سافت‌مکس (برای طبقه‌بندی) یا یک فعال‌سازی خطی (برای رگرسیون) عبور داده می‌شود تا پیش‌بینی‌های مدل تولید شود. برای وظایف توالی به توالی، از حالت‌های پنهان در تمام گام‌های زمانی استفاده می‌شود.

فرمول
\hat{y}_t = \text{softmax}(W_o h_t + b_o)

دام‌های رایج

  • استفاده از GRU بر روی داده‌های جدولی با اندازه ثابت که در آن بایاس القایی ترتیبی هیچ ارزشی نسبت به MLP ساده اضافه نمی‌کند.
  • نادیده گرفتن پدینگ و ماسک کردن توالی‌های با طول متغیر، باعث می‌شود مدل الگوهای کاذب را از پدینگ بیاموزد.
  • عدم اعمال برش گرادیان، که خطر انفجار گرادیان‌ها را در طول پس‌انتشار در طول زمان افزایش می‌دهد.
  • گزارش تنها دقت بدون معیارهای سطح توالی مانند F1، BLEU، یا MAE بسته به وظیفه.
  • انتخاب GRU برای NLP اسناد طولانی زمانی که یک ترنسفورمر از پیش آموزش‌دیده (BERT، RoBERTa) بسیار قدرتمندتر باشد.

پرسش‌های متداول

چه زمانی باید GRU را به جای LSTM انتخاب کنم؟

GRU یک انتخاب پیش‌فرض خوب است زمانی که سرعت آموزش و کارایی پارامتر اهمیت دارد و توالی‌های شما فوق‌العاده طولانی نیستند. LSTM می‌تواند به دلیل سلول حافظه اختصاصی خود در توالی‌های بسیار طولانی برتری داشته باشد، اما نتایج تجربی اغلب وابسته به وظیفه است، بنابراین هر دو را امتحان کنید و در یک مجموعه اعتبارسنجی مقایسه کنید.

آیا GRU می‌تواند توالی‌های با طول متغیر را مدیریت کند؟

بله. توالی‌ها را در هر بچ به طول یکنواخت پد کنید، سپس از یک لایه ماسک‌کننده یا مکانیزم توالی بسته‌بندی در PyTorch استفاده کنید تا به GRU بگویید توکن‌های پد را نادیده بگیرد. بدون ماسک‌گذاری، مدل الگوهای کاذب را از پد یاد می‌گیرد.

آیا باید از GRU دوطرفه استفاده کنم؟

برای وظایفی که کل توالی در زمان استنتاج در دسترس است — مانند طبقه‌بندی متن یا NER — یک GRU دوطرفه (BiGRU) هر توالی را هم به جلو و هم به عقب پردازش می‌کند و به هر توکن امکان دسترسی به زمینه گذشته و آینده را می‌دهد. برای پیش‌بینی بلادرنگ یا علی، تنها جهت رو به جلو معتبر است.

آیا GRU هنوز با ترنسفورمرها رقابت می‌کند؟

برای مجموعه داده‌های کوچک تا متوسط و توالی‌های کوتاه‌تر، GRU همچنان رقابتی باقی می‌ماند و بسیار سریع‌تر از یک ترنسفورمر بدون پیش‌آموزش آموزش می‌بیند. برای وظایف NLP در مقیاس بزرگ، ترنسفورمرهای از پیش آموزش‌دیده (BERT، RoBERTa) معمولاً با اختلاف زیادی از GRU بهتر عمل می‌کنند.

مهم‌ترین پارامترهای کلیدی برای تنظیم کدامند؟

مهم‌ترین آن‌ها اندازه پنهان (تعداد واحدها در هر لایه)، تعداد لایه‌های پشته‌شده (۱-۳ رایج است)، نرخ دراپ‌اوت بین لایه‌ها، و نرخ یادگیری هستند. برش گرادیان (حداکثر نرم حدود ۱-۵) برای پایدار کردن آموزش به شدت توصیه می‌شود.

روش‌های مرتبط

منابع

  1. Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.

    باز کردن مرجع انتشار
    کپی شد.
  2. Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.

    باز کردن مرجع انتشار
    کپی شد.