واحد بازگشتی دروازهای (GRU)
- معرفیشده توسط
- Cho, K. et al.
- سال
- 2014
- نوع
- Gated recurrent neural network unit
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
واحد بازگشتی دروازهای (GRU) یک سلول شبکه عصبی بازگشتی دروازهای است که در سال ۲۰۱۴ توسط چـو و همکارانش معرفی شد و با استفاده از دروازههای بهروزرسانی و بازنشانی، وابستگیهای دوربرد را در دادههای ترتیبی ثبت میکند و به عملکردی قابل مقایسه با LSTM با پارامترهای کمتر دست مییابد.
شهود پشت روش
یک شبکه بازگشتی ساده در بهخاطرسپاری اطلاعات در طول دنبالههای طولانی دچار مشکل میشود، زیرا سیگنال هنگام عبور مرحله به مرحله، محو یا منفجر میشود. GRU دروازههای کوچکی را اضافه میکند که در هر گام زمانی یاد میگیرند چه مقدار از گذشته را حفظ کنند و چه مقدار اطلاعات جدید را جذب نمایند. این واحد با داشتن تنها دو دروازه به جای سه دروازه در LSTM، حافظه مفید را در طول بازههای زمانی طولانی حفظ میکند و در عین حال سبکتر و سریعتر برای آموزش باقی میماند.
تاریخ
GRU در سال ۲۰۱۴ توسط کیونگهیون چـو و همکارانش در چارچوب رمزگذار-رمزگشای RNN برای ترجمه ماشینی آماری معرفی شد. اواخر همان سال، چونگ، گولچهره، چـو و بنگیو، واحدهای بازگشتی دروازهای را در برابر LSTM در وظایف مدلسازی دنباله به صورت تجربی ارزیابی کردند و نشان دادند که GRU دو-دروازهای سادهتر میتواند عملکرد LSTM را مطابقت دهد در حالی که از پارامترهای کمتری استفاده میکند، که آن را به یک جایگزین سبکتر و محبوب برای مدلسازی دنباله تبدیل کرد.
چه زمانی استفاده شود
انتخابی مناسب برای پیشبینی، پیشگویی و طبقهبندی بر روی دادههای ترتیبی — سریهای زمانی یا دنبالههای طولی مقادیر پیوسته یا متن — زمانی که وابستگیهای دوربرد اهمیت دارند و آموزش سریعتر از LSTM مطلوب است، با حداقل حدود ۱۰۰ مشاهده. این روش دادههایی با توزیع نرمال را فرض نمیکند. با کمتر از حدود ۵۰۰ دنباله، خطر بیشبرازش بالا است و مدلی سادهتر مانند جنگل تصادفی امنتر است؛ زیر حدود ۱۰۰، آموزش بازگشتی معنیدار نیست و XGBoost ارجح است.
محدودیتها و ملاحظات
- خطر بالای بیشبرازش در مجموعه دادههای کوچک (کمتر از حدود ۵۰۰ دنباله).
- به دادههای ترتیبی نیاز دارد؛ زیر حدود ۱۰۰ مشاهده معنیدار نیست.
- به عنوان یک جعبه سیاه بازگشتی، ضرایب صریحی برای تفسیر ارائه نمیدهد.
- مانند همه مدلهای بازگشتی، میتواند به طول دنباله و تنظیمات آموزش حساس باشد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- ثبت وابستگیهای دوربرد در دادههای ترتیبی از طریق دروازههای بهروزرسانی و بازنشانی آموختهشده.
- دقت قابل مقایسه با LSTM با پارامترهای کمتر، بنابراین سریعتر آموزش میبیند.
- مفروضات کم: نیازی به دادههای با توزیع نرمال ندارد.
- مناسب برای سریهای زمانی و دنبالههای طولی مقادیر پیوسته یا متن.
کاربردها
- پیشگویی و پیشبینی بر روی سریهای زمانی و دنبالههای طولی.
- طبقهبندی دنباله بر روی ورودیهای مقادیر پیوسته یا متنی.
- مدلسازی وابستگیهای دوربرد که در آن ظرفیت در سطح LSTM با هزینه کمتر مورد نیاز است.
- یک پایه بازگشتی سریعتر قبل از استفاده از مدلهای دنباله سنگینتر.
چگونه کار میکند
چگونه کار میکند
در هر گام زمانی، واحد دو دروازه را از ورودی فعلی و حالت پنهان قبلی محاسبه میکند. دروازه بهروزرسانی تصمیم میگیرد چه مقدار از حالت قبلی را به جلو منتقل کند در مقابل چه مقدار را تازه کند، در حالی که دروازه بازنشانی تصمیم میگیرد چه مقدار از گذشته را هنگام تشکیل یک حالت کاندید جدید نادیده بگیرد. هر دو توسط یک سیگموئید به مقادیری بین صفر و یک فشرده میشوند.
فرمول
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})یک حالت پنهان کاندید از ترکیب ورودی فعلی با حالت قبلی که از طریق دروازه بازنشانی فیلتر شده است، پیشنهاد میشود. هنگامی که دروازه بازنشانی نزدیک به صفر است، واحد به طور موثری گذشته را فراموش کرده و به ورودی تازه واکنش نشان میدهد؛ هنگامی که نزدیک به یک است، زمینه قبلی را با کاندید جدید ترکیب میکند.
فرمول
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))حالت پنهان جدید، درونیابی دروازهای بین حالت قبلی و کاندید است که توسط دروازه بهروزرسانی کنترل میشود. این مرحله ترکیب منفرد به واحد اجازه میدهد تا حافظه را در طول گامهای زمانی متعدد حفظ کند یا به سرعت بهروزرسانی شود، که همین امر به GRUها اجازه میدهد وابستگیهای بلندمدت را بدون سلول حافظه جداگانه ثبت کنند.
فرمول
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_tدامهای رایج
- اعمال GRU بر روی دنبالههای کوچک خود که در آن به سادگی دادههای آموزشی را حفظ میکند.
- فراموش کردن اینکه ورودیها باید دنبالههای واقعی را تشکیل دهند، نه ردیفهای جدولی نامرتب.
- نادیده گرفتن تقسیم مناسب آموزش/اعتبارسنجی و اعتماد به برازش دنباله درون نمونه.
- استفاده از یک شبکه بازگشتی زمانی که مدلی سادهتر میتوانست در دادههای کوچک بهتر تعمیم یابد.
پرسشهای متداول
GRU چگونه با LSTM تفاوت دارد؟
GRU از دو دروازه (بهروزرسانی و بازنشانی) و یک حالت پنهان واحد استفاده میکند، در حالی که LSTM از سه دروازه و یک سلول حافظه جداگانه استفاده میکند. بنابراین GRU پارامترهای کمتری دارد و سریعتر آموزش میبیند در حالی که عملکرد قابل مقایسهای را در بسیاری از وظایف دنباله به دست میآورد.
GRU به چه مقدار داده نیاز دارد؟
به دادههای ترتیبی با حداقل حدود ۱۰۰ مشاهده نیاز دارد. زیر حدود ۵۰۰ دنباله، خطر بیشبرازش بالا است، بنابراین مدلی سادهتر مانند جنگل تصادفی امنتر است؛ زیر حدود ۱۰۰، یک شبکه بازگشتی معنیدار نیست و XGBoost ارجح است.
آیا GRU دادههای با توزیع نرمال را فرض میکند؟
خیر. مانند سایر شبکههای عصبی بازگشتی، هیچ فرض نرمالیتی نمیکند؛ آنچه نیاز دارد ورودی واقعاً ترتیبی مانند یک سری زمانی یا دنباله طولی است.
چه زمانی باید GRU را به یک مدل سنگینتر ترجیح دهم؟
زمانی GRU را انتخاب کنید که نیاز به ثبت وابستگیهای دوربرد در دنبالهها دارید اما آموزش سریعتر و سبکتری نسبت به LSTM میخواهید و دادههای ترتیبی کافی برای جلوگیری از بیشبرازش دارید.
روشهای مرتبط
منابع
Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.
باز کردن مرجع انتشارکپی شد.Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555
باز کردن مرجع انتشارکپی شد.