Skip to content
بازگشت به نتایج جست‌وجو

یادگیری انتقالی با شبکه عصبی بازگشتی

معرفی‌شده توسط
Pan, S. J. & Yang, Q. (transfer learning survey); RNN origins: Rumelhart, D. E. et al. (1986)
سال
2010 (TL survey); RNN: 1986
نوع
Transfer learning on sequence model
خانواده
Deep learning / NLP / CV

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری انتقالی با شبکه عصبی بازگشتی (TL-RNN) وزن‌های آموخته‌شده توسط یک شبکه عصبی بازگشتی (RNN) را در یک وظیفه منبع بزرگ — مانند مدل‌سازی زبان یا پیش‌بینی توالی — مجدداً استفاده می‌کند و آن‌ها را با یک وظیفه هدف جدید و اغلب کوچک‌تر تطبیق می‌دهد. این استراتژی به متخصصان امکان می‌دهد تا بدون نیاز به مجموعه داده‌های برچسب‌گذاری‌شده عظیم، عملکرد قوی در مدل‌سازی توالی به دست آورند.

شهود پشت روش

آموزش یک RNN از ابتدا بر روی یک مجموعه داده هدف کوچک معمولاً منجر به تعمیم‌پذیری ضعیف می‌شود، زیرا شبکه‌های بازگشتی پارامترهای زیادی دارند و برای همگرایی قابل اعتماد به داده‌های قابل توجهی نیاز دارند. یادگیری انتقالی این مشکل را دور می‌زند: یک RNN ابتدا الگوهای ترتیبی عمومی را از داده‌های منبع فراوان می‌آموزد و مواردی مانند هم‌رخدادی کلمات یا ریتم‌های زمانی را در وزن‌های خود کدگذاری می‌کند. سپس این وزن‌ها به عنوان یک نقطه شروع گرم برای وظیفه هدف استفاده می‌شوند، بنابراین مدل تنها نیاز دارد تا بخش کوچکی از پارامترهای خود را بر روی داده‌های هدف محدود تنظیم دقیق کند. نتیجه، همگرایی سریع‌تر و دقت بهتر نسبت به مقداردهی اولیه تصادفی به تنهایی است.

تاریخ

مبانی نظری یادگیری انتقالی توسط پان و یانگ در بررسی IEEE TKDE آن‌ها در سال ۲۰۱۰ رسمی شد که همچنان مرجع اصلی است. کاربرد یادگیری انتقالی در معماری‌های بازگشتی حدود سال‌های ۲۰۱۵–۲۰۱۸ با تسلط LSTMها و GRUها در پردازش زبان طبیعی، کشش عملی پیدا کرد. کارهایی مانند ELMo (Peters et al., 2018) نشان دادند که LSTMهای دوطرفه از پیش آموزش‌دیده می‌توانند نمایش‌های زبان متنی را به وظایف پایین‌دستی متنوع منتقل کنند، قبل از اینکه مدل‌های مبتنی بر ترانسفورماتور پس از سال ۲۰۱۹ تا حد زیادی این نقش را بر عهده بگیرند.

چه زمانی استفاده شود

هنگامی که یک وظیفه هدف ترتیبی یا مبتنی بر متن با داده‌های برچسب‌گذاری‌شده محدود دارید، اما می‌توانید یک وظیفه منبع مرتبط یا مدل بازگشتی از پیش آموزش‌دیده را شناسایی کنید، از TL-RNN استفاده کنید. این روش برای وظایف پردازش زبان طبیعی (تحلیل احساسات، طبقه‌بندی متن، تشخیص موجودیت نام‌گذاری‌شده) و مسائل توالی زمانی (تشخیص ناهنجاری، پیش‌بینی تقاضا) که داده‌های مجاور دامنه فراوان هستند اما برچسب‌های هدف کمیاب، بسیار مناسب است. هنگامی که دامنه‌های منبع و هدف بسیار متفاوت هستند، از آن استفاده نکنید — انتقال منفی می‌تواند به عملکرد آسیب برساند. برای داده‌های غیرترتیبی کاملاً جدولی، مدل‌های مبتنی بر درخت یا مبتنی بر توجه معمولاً از TL-RNN بهتر عمل می‌کنند. هنگامی که ترانسفورماتورهای بزرگ از پیش آموزش‌دیده (BERT, GPT) برای دامنه شما در دسترس هستند، معمولاً در وظایف پردازش زبان طبیعی جایگزین TL-RNN می‌شوند.

محدودیت‌ها و ملاحظات

  • در برابر انتقال منفی آسیب‌پذیر است، زمانی که دامنه‌ها یا وظایف منبع و هدف از نظر معنایی دور هستند.
  • انتقال مبتنی بر RNN در پردازش زبان طبیعی تا حد زیادی توسط مدل‌های مبتنی بر ترانسفورماتور (BERT, GPT) که نمایش‌های متنی غنی‌تری ارائه می‌دهند، جایگزین شده است.
  • انتخاب‌های فراپارامتر — نرخ یادگیری، عمق لایه فریز شده، دوره‌های تنظیم دقیق — به طور قابل توجهی بر نتیجه تأثیر می‌گذارند و نیاز به تنظیم دقیق دارند.
  • معماری‌های بازگشتی ذاتاً ترتیبی هستند و آموزش آن‌ها کندتر از ترانسفورماتورهای قابل موازی‌سازی است.
  • وزن‌های RNN از پیش آموزش‌دیده ممکن است برای همه دامنه‌ها به صورت عمومی در دسترس نباشند، که نیاز به پیش‌آموزش پرهزینه وظیفه منبع دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • با بهره‌گیری از نمایش‌های آموخته‌شده از داده‌های منبع بزرگ، عملکرد قوی بر روی مجموعه داده‌های هدف کوچک به دست می‌آورد.
  • زمان آموزش و هزینه محاسباتی را در مقایسه با آموزش یک RNN از ابتدا کاهش می‌دهد.
  • انعطاف‌پذیر: با معماری‌های RNN معمولی، LSTM و GRU کار می‌کند و هم برای پردازش زبان طبیعی و هم برای دامنه‌های سری زمانی قابل استفاده است.
  • امکان فریز کردن انتخابی لایه‌ها را برای کنترل میزان تطبیق و جلوگیری از بیش‌برازش فراهم می‌کند.
  • یک شروع گرم اصولی فراهم می‌کند که جریان گرادیان را در طول تنظیم دقیق تثبیت می‌کند.

کاربردها

  • طبقه‌بندی متن (تحلیل احساسات، برچسب‌گذاری موضوع) با پیکره‌های حاشیه‌نویسی‌شده محدود.
  • تشخیص موجودیت نام‌گذاری‌شده که از یک مدل NER عمومی منبع به یک دامنه تخصصی تطبیق داده شده است.
  • تشخیص ناهنجاری سری زمانی که در آن یک مدل از پیش آموزش‌دیده بر روی داده‌های عملیاتی عادی بر روی برچسب‌های خطای نادر تنظیم دقیق می‌شود.
  • پیش‌بینی تقاضا یا فروش در یک دسته محصول جدید با استفاده از مدلی که بر روی داده‌های تاریخی از دسته‌های مرتبط از پیش آموزش‌دیده است.
  • پیش‌بینی رویداد بالینی، تطبیق یک RNN از پیش آموزش‌دیده بر روی توالی‌های بزرگ سوابق سلامت الکترونیکی با یک گروه بیمار کوچک‌تر.
  • برچسب‌گذاری توالی چندزبانه، انتقال نمایش‌های بازگشتی بین زبان‌های مرتبط.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک RNN (RNN معمولی، LSTM یا GRU) بر روی یک پیکره یا وظیفه منبع بزرگ — به عنوان مثال، مدل‌سازی زبان در سطح کاراکتر یا کلمه — آموزش داده می‌شود. لایه‌های بازگشتی یاد می‌گیرند که وابستگی‌های زمانی و نمایش‌های متنی را کدگذاری کنند که در بسیاری از مسائل ترتیبی تعمیم‌پذیر هستند.

2

هنگام انتقال به وظیفه هدف، متخصص تصمیم می‌گیرد که کدام لایه‌ها را فریز کند (وزن‌های منبع را ثابت نگه دارد) و کدام را برای به‌روزرسانی مجاز بداند. لایه‌های بازگشتی اولیه ویژگی‌های ترتیبی عمومی را ثبت می‌کنند و اغلب فریز می‌شوند؛ لایه‌های بعدی یا مختص وظیفه قابل آموزش باقی می‌مانند. این تصمیم بین جلوگیری از بیش‌برازش بر روی داده‌های هدف کوچک و امکان تطبیق مختص وظیفه تعادل برقرار می‌کند.

3

RNN از پیش آموزش‌دیده به یک سر خروجی جدید متناسب با وظیفه هدف متصل می‌شود (به عنوان مثال، یک طبقه‌بندی‌کننده سافت‌مکس برای تحلیل احساسات یا یک سر رگرسیون برای پیش‌بینی تقاضا). آموزش بر روی مجموعه داده هدف اجرا می‌شود، معمولاً با نرخ یادگیری کوچک برای جلوگیری از بازنویسی نمایش‌های تعمیم‌یافته آموخته‌شده در طول پیش‌آموزش.

4

عملکرد بر روی یک مجموعه آزمون نگهداری‌شده با استفاده از معیارهای مناسب وظیفه (دقت، F1، RMSE و غیره) ارزیابی می‌شود. افزایش انتقال با مقایسه TL-RNN با یک RNN با مقداردهی اولیه تصادفی که بر روی همان داده‌های هدف تحت شرایط یکسان آموزش دیده است، کمی‌سازی می‌شود.

دام‌های رایج

  • استفاده از یک مدل از پیش آموزش‌دیده از دامنه‌ای نامرتبط با وظیفه هدف بدون تأیید شباهت دامنه، با خطر انتقال منفی.
  • تنظیم دقیق با نرخ یادگیری بیش از حد بالا، که نمایش‌های از پیش آموزش‌دیده را بازنویسی می‌کند و مزیت انتقال را از بین می‌برد.
  • فراموش کردن مقایسه TL-RNN با یک خط پایه با مقداردهی اولیه تصادفی — بدون این مقایسه، افزایش انتقال قابل کمی‌سازی نیست.
  • برخورد با مرز لایه فریز شده/قابل آموزش به عنوان یک پیش‌فرض بی‌اهمیت به جای یک انتخاب طراحی عمدی که بر روی مجموعه اعتبارسنجی تأیید شده است.
  • نادیده گرفتن نشت داده بین تقسیمات منبع و هدف، که عملکرد انتقال ظاهری را افزایش می‌دهد.

پرسش‌های متداول

چگونه انتخاب کنم که کدام لایه‌های RNN را فریز کنم؟

یک روش اکتشافی رایج این است که لایه‌های بازگشتی پایین‌تر (که الگوهای ترتیبی عمومی را ثبت می‌کنند) را فریز کرده و لایه‌های بالایی و سر خروجی را قابل آموزش نگه داریم. این انتخاب را بر روی یک مجموعه اعتبارسنجی نگهداری‌شده تأیید کنید — اگر عملکرد به ثبات رسید، سعی کنید هر بار یک لایه اضافی را از حالت فریز خارج کنید.

آیا TL-RNN هنوز هم زمانی که مدل‌های BERT یا GPT در دسترس هستند، منطقی است؟

برای وظایف استاندارد پردازش زبان طبیعی، مدل‌های مبتنی بر ترانسفورماتور معمولاً از TL-RNN بهتر عمل می‌کنند و عموماً ترجیح داده می‌شوند. TL-RNN برای استقرار با منابع محدود، برای داده‌های ترتیبی غیر پردازش زبان طبیعی (سری‌های زمانی، توالی‌های بیولوژیکی)، یا زمانی که یک RNN از پیش آموزش‌دیده خاص دامنه وجود دارد اما مدل ترانسفورماتور قابل مقایسه وجود ندارد، همچنان مرتبط است.

چه نرخ یادگیری باید برای تنظیم دقیق استفاده کنم؟

با نرخ یادگیری یک تا دو مرتبه بزرگی کوچک‌تر از آنچه برای آموزش از ابتدا استفاده می‌کردید شروع کنید (به عنوان مثال، 1e-4 به جای 1e-2). استفاده از یک زمان‌بندی‌کننده نرخ یادگیری که به تدریج لایه‌ها را از حالت فریز خارج می‌کند (تنظیم دقیق تمایزی) می‌تواند آموزش را بیشتر تثبیت کند.

چگونه می‌توانم انتقال منفی را تشخیص دهم؟

یک RNN با مقداردهی اولیه تصادفی را بر روی همان داده‌های هدف به عنوان یک خط پایه آموزش دهید. اگر TL-RNN نسبت به این خط پایه بهبود نیابد — به خصوص در یک مجموعه آزمون نگهداری‌شده — احتمال انتقال منفی وجود دارد. ارتباط وظایف منبع و هدف خود را دوباره بررسی کنید.

آیا TL-RNN برای سری‌های زمانی بسیار کوتاه مناسب است؟

توالی‌های کوتاه سیگنال کمی برای بهره‌برداری لایه‌های بازگشتی فراهم می‌کنند، بنابراین افزایش انتقال ممکن است حداقل باشد. در آن رژیم، مهندسی ویژگی همراه با یک مدل ساده‌تر (مانند تقویت گرادیان) اغلب از TL-RNN بهتر عمل می‌کند.

روش‌های مرتبط

منابع

  1. Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

    باز کردن مرجع DOI
    کپی شد.
  2. Transfer learning. Wikipedia.

    باز کردن مرجع انتشار
    کپی شد.