Skip to content
بازگشت به نتایج جست‌وجو

شبکه عصبی بازگشتی

معرفی‌شده توسط
Rumelhart, D. E.; Elman, J. L.
سال
1986–1990
نوع
Sequential neural network
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یک شبکه عصبی بازگشتی (RNN) دسته‌ای از شبکه‌های عصبی است که برای پردازش داده‌های ترتیبی با حفظ یک حالت پنهان طراحی شده است که اطلاعات را در طول گام‌های زمانی منتقل می‌کند. این شبکه‌ها در شکل مدرن خود توسط روملهارت و همکاران (1986) معرفی شدند و سپس توسط المن (1990) توسعه یافتند.

RNNها قبل از ظهور مدل‌های مبتنی بر توجه، معماری غالب برای مدل‌سازی توالی در پردازش زبان طبیعی (NLP)، گفتار و تحلیل سری‌های زمانی بودند.

شهود پشت روش

برخلاف شبکه‌های پیش‌خور که هر ورودی را مستقل در نظر می‌گیرند، یک RNN یک توالی را عنصر به عنصر پردازش می‌کند و خلاصه‌ای از آنچه تاکنون دیده است — یعنی حالت پنهان خود — را به گام بعدی منتقل می‌کند. این را مانند خواندن یک جمله کلمه به کلمه تصور کنید: در هر کلمه، درک خود را با توجه به تمام کلمات قبلی به‌روز می‌کنید. این اتصال بازگشتی به شبکه اجازه می‌دهد تا وابستگی‌های زمانی و زمینه را ثبت کند و آن را به طور طبیعی برای وظایفی که ترتیب اهمیت دارد و زمینه گذشته معنای عنصر فعلی را شکل می‌دهد، مناسب می‌سازد.

تاریخ

اساس شبکه‌های بازگشتی توسط روملهارت، هینتون و ویلیامز در سال 1986 با الگوریتم پس‌انتشار در زمان پایه‌گذاری شد و مقاله المن در سال 1990 معماری شبکه بازگشتی ساده را برای مدل‌سازی شناختی محبوب کرد. در طول دهه‌های 1990 و 2000، RNNها به تشخیص گفتار و مدل‌سازی زبان قدرت بخشیدند، اگرچه تأثیر عملی آنها به دلیل مشکل گرادیان ناپدیدشونده محدود بود تا اینکه هوخرایتر و اشمیدهوبر در سال 1997 LSTM را معرفی کردند. RNNها به عنوان لنگرهای مفهومی و خطوط مبنای سبک همچنان مهم هستند.

چه زمانی استفاده شود

زمانی از RNN استفاده کنید که داده‌های شما ترتیبی هستند و ترتیب معنا دارد — متن، گفتار، جریان‌های حسگر، سری‌های زمانی مالی، یا توالی‌های بیولوژیکی با طول متوسط (تا چند صد گام). این روش زمانی مناسب است که به یک معماری بازگشتی فشرده نیاز دارید یا زمانی که ادغام پایین‌دستی با انواع LSTM/GRU برنامه‌ریزی شده است. برای توالی‌های طولانی‌تر از چند صد گام از یک RNN ساده استفاده نکنید: گرادیان‌های ناپدیدشونده آن را قادر به یادگیری وابستگی‌های دوربرد نمی‌سازند، در حالی که LSTM یا GRU بسیار مؤثرتر هستند. برای وظایف درک زبان طبیعی در سال 2024 به بعد، ترانسفورمرهای از پیش آموزش‌دیده (BERT, RoBERTa) تقریباً همیشه از RNNها بهتر عمل می‌کنند. از RNNها عمدتاً به عنوان یک جزء در معماری‌های بزرگ‌تر یا به عنوان یک خط مبنا برای وظایف توالی استفاده کنید.

محدودیت‌ها و ملاحظات

  • مشکل شدید گرادیان ناپدیدشونده/انفجاری برای توالی‌های طولانی‌تر از تقریباً 50 تا 200 گام؛ LSTM یا GRU باید ترجیح داده شوند.
  • محاسبات ترتیبی نمی‌تواند در طول گام‌های زمانی موازی شود، که آموزش را در توالی‌های طولانی در مقایسه با معماری‌های کانولوشنی یا ترانسفورمر کند می‌کند.
  • در اکثر معیارهای NLP توسط مدل‌های ترانسفورمر از پیش آموزش‌دیده مانند BERT و RoBERTa به طور قابل توجهی بهتر عمل می‌کند.
  • ظرفیت حافظه محدود: حالت پنهان با ابعاد ثابت برای فشرده‌سازی زمینه دوربرد با مشکل مواجه است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • توالی‌های با طول متغیر را به طور طبیعی پردازش می‌کند بدون نیاز به پدینگ به یک اندازه پنجره ثابت.
  • اشتراک پارامترها در طول گام‌های زمانی، اندازه مدل را نسبت به طول ورودی قابل مدیریت نگه می‌دارد.
  • اساس مفهومی و عملی برای LSTM، GRU و بسیاری از مدل‌های توالی مدرن را تشکیل می‌دهد.
  • به عنوان یک خط مبنای سبک برای طبقه‌بندی و رگرسیون توالی قبل از معماری‌های گران‌تر مناسب است.
  • می‌تواند خروجی‌ها را در هر گام زمانی تولید کند و وظایف چند به چند مانند برچسب‌گذاری توالی و ترجمه را امکان‌پذیر می‌سازد.

کاربردها

  • طبقه‌بندی متن و تحلیل احساسات در اسناد با طول کوتاه تا متوسط.
  • مدل‌سازی زبان و پیش‌بینی کلمه بعدی در سطح کاراکتر یا کلمه.
  • پیش‌بینی سری‌های زمانی برای داده‌های حسگر، مالی یا فیزیولوژیکی با طول متوسط.
  • وظایف برچسب‌گذاری توالی مانند برچسب‌گذاری اجزای گفتار هنگام استفاده به عنوان رمزگذار.
  • خطوط لوله تبدیل گفتار به متن و استخراج ویژگی‌های صوتی.
  • مدل‌سازی توالی خط مبنا قبل از ارتقا به معماری‌های LSTM، GRU یا ترانسفورمر.

چگونه کار می‌کند

چگونه کار می‌کند

1

ورودی یک توالی از بردارهای (کلمات، گام‌های زمانی، فریم‌ها) است که عنصر به عنصر به شبکه وارد می‌شود. هر عنصر x_t با حالت پنهان h_{t-1} که از گام قبلی منتقل شده است، جفت می‌شود و اجازه می‌دهد تا زمینه در طول کل توالی انباشته شود.

2

در هر گام t، حالت پنهان به صورت h_t = tanh(W_h * h_{t-1} + W_x * x_t + b) به‌روز می‌شود. ماتریس‌های وزن W_h و W_x در تمام گام‌های زمانی مشترک هستند، بنابراین مدل یک قانون انتقال واحد را یاد می‌گیرد که به طور مکرر اعمال می‌شود، صرف نظر از طول توالی.

فرمول
h_t = \tanh(W_h h_{t-1} + W_x x_t + b)
3

یک خروجی y_t از حالت پنهان در هر گام زمانی (چند به چند) یا فقط در گام نهایی (چند به یک) محاسبه می‌شود. برای وظایف طبقه‌بندی، حالت پنهان نهایی به یک لایه سافت‌مکس منتقل می‌شود؛ برای وظایف توالی به توالی، خروجی‌ها در هر گام تولید می‌شوند.

فرمول
y_t = W_y h_t + b_y
4

آموزش از طریق پس‌انتشار در زمان (BPTT) انجام می‌شود: گرادیان‌ها به صورت معکوس از طریق توالی بازشده جریان می‌یابند تا تمام وزن‌های مشترک را به‌روز کنند. برای توالی‌های طولانی، این منجر به مشکل گرادیان ناپدیدشونده یا انفجاری می‌شود، جایی که گرادیان‌ها برای به‌روزرسانی قابل اعتماد گام‌های اولیه بسیار کوچک یا بسیار بزرگ می‌شوند.

5

وزن‌های مشترک W_h، W_x و W_y از طریق گرادیان کاهشی یا یک بهینه‌ساز تطبیقی (Adam, RMSProp) به‌روز می‌شوند. برش گرادیان معمولاً برای جلوگیری از گرادیان‌های انفجاری اعمال می‌شود. همین وزن‌ها هر گام را کنترل می‌کنند، بنابراین مدل در طول‌های مختلف توالی تعمیم می‌یابد.

دام‌های رایج

  • اعمال یک RNN ساده بر روی توالی‌های طولانی بدون توجه به محدودیت گرادیان ناپدیدشونده و مقایسه با LSTM/GRU.
  • عدم برش گرادیان‌ها، که منجر به از دست دادن NaN یا آموزش ناپایدار در ورودی‌های طولانی‌تر می‌شود.
  • در نظر گرفتن حالت پنهان نهایی به عنوان یک خلاصه غنی بدون بررسی اینکه آیا اطلاعات اولیه توالی واقعاً حفظ شده است یا خیر.
  • نادیده گرفتن تقسیم مناسب آموزش/اعتبارسنجی/آزمایش یا اعتبارسنجی متقابل، به ویژه با توجه به تمایل RNNها به بیش‌برازش در مجموعه داده‌های کوچک.
  • عدم نرمال‌سازی یا مقیاس‌بندی ویژگی‌های ورودی، که بی‌ثباتی گرادیان را تشدید می‌کند.

پرسش‌های متداول

تفاوت بین RNN، LSTM و GRU چیست؟

RNN ساده‌ترین معماری بازگشتی است: دارای یک حالت پنهان واحد است که در هر گام به‌روز می‌شود. LSTM دروازه‌های ورودی، فراموشی و خروجی را اضافه می‌کند که اطلاعات دوربرد را از گرادیان‌های ناپدیدشونده محافظت می‌کنند. GRU نسخه ساده‌سازی شده LSTM با پارامترهای کمتر است. هر دو LSTM و GRU تقریباً همیشه در وظایفی که نیاز به حافظه فراتر از حدود 50 تا 100 گام دارند، از یک RNN ساده بهتر عمل می‌کنند.

چرا آموزش یک RNN گاهی اوقات منجر به از دست دادن NaN می‌شود؟

از دست دادن NaN تقریباً همیشه ناشی از گرادیان‌های انفجاری است. برش گرادیان (نرمال برش را به 1 یا 5 تنظیم کنید) و نرخ یادگیری را کاهش دهید. اطمینان حاصل کنید که ورودی‌ها نرمال‌سازی شده‌اند. اگر مشکل ادامه داشت، به LSTM یا GRU تغییر دهید، که به دلیل مکانیزم‌های دروازه‌ای خود پایدارتر هستند.

آیا هنوز می‌توانم در سال 2024 از RNN برای وظایف NLP استفاده کنم؟

برای NLP تولیدی، ترانسفورمرهای از پیش آموزش‌دیده مانند BERT یا RoBERTa غالب هستند. RNNهای ساده بهتر است به عنوان خطوط مبنای سبک، اجزای داخلی معماری‌های بزرگ‌تر، یا برای محیط‌های با منابع محدود که اندازه‌های مدل بزرگ ممنوع است، استفاده شوند.

چگونه ابعاد حالت پنهان را انتخاب کنم؟

انتخاب‌های رایج از 64 تا 512 واحد بسته به پیچیدگی وظیفه و اندازه مجموعه داده متغیر است. با اندازه کوچک (مثلاً 128) شروع کنید، از دست دادن اعتبارسنجی را نظارت کنید و ظرفیت را فقط در صورت آشکار بودن بیش‌برازش افزایش دهید. حالت‌های پنهان بزرگ‌تر خطر بیش‌برازش در مجموعه داده‌های کوچک را افزایش می‌دهند.

چه تابع زیانی را برای طبقه‌بندی توالی باید استفاده کنم؟

برای طبقه‌بندی باینری از آنتروپی متقاطع باینری استفاده کنید؛ برای چندکلاسی از آنتروپی متقاطع طبقه‌بندی با سافت‌مکس بر روی حالت پنهان نهایی استفاده کنید. برای برچسب‌گذاری توالی (یک خروجی در هر گام)، زیان را در هر گام زمانی اعمال کنید و در طول گام‌ها میانگین یا جمع بگیرید.

روش‌های مرتبط

منابع

  1. Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.

    باز کردن مرجع DOI
    کپی شد.
  2. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.

    باز کردن مرجع DOI
    کپی شد.