Skip to content
بازگشت به نتایج جست‌وجو

یادگیری انتقالی

معرفی‌شده توسط
Pan, S. J. & Yang, Q. (survey); Bengio, Y. (deep learning framing)
سال
2010 (formalized); 1990s (early roots)
نوع
Learning paradigm
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری انتقالی پارادایمی در یادگیری ماشین است که در آن دانش کسب‌شده از آموزش یک مدل بر روی یک وظیفه یا دامنه مبدأ، برای بهبود یادگیری بر روی یک وظیفه یا دامنه هدف متفاوت اما مرتبط، مجدداً استفاده می‌شود. این روش به‌ویژه زمانی قدرتمند است که داده‌های برچسب‌دار برای وظیفه هدف کمیاب باشند و اساس اکثر کاربردهای مدرن یادگیری عمیق در بینایی ماشین، پردازش زبان طبیعی و فراتر از آن را تشکیل می‌دهد.

شهود پشت روش

تصور کنید دوچرخه‌سواری را یاد می‌گیرید و سپس آن دانش تعادل و هماهنگی را برای یادگیری موتورسواری به کار می‌برید — شما از صفر شروع نمی‌کنید. یادگیری انتقالی به همین شیوه عمل می‌کند: مدلی که بر روی مجموعه داده بزرگ و غنی (دامنه مبدأ) آموزش دیده است، از قبل بازنمایی‌های مفیدی مانند لبه‌ها، بافت‌ها یا الگوهای گرامری را آموخته است. هنگام اعمال بر روی مجموعه داده هدف جدید و کوچک‌تر، مدل برای رسیدن به عملکرد خوب به داده‌های برچسب‌دار بسیار کمتری نیاز دارد، زیرا کار سخت بازنمایی از قبل انجام شده است.

تاریخ

مفهوم انتقال دانش بین وظایف در دهه ۱۹۹۰ ظهور کرد (Pratt 1993; Thrun 1996). این حوزه به‌طور رسمی توسط Pan و Yang در مقاله IEEE TKDE سال ۲۰۱۰شان بررسی و نظام‌مند شد که همچنان مرجع اصلی است. این پارادایم با موفقیت یادگیری عمیق تقویت شد: Bengio و همکاران نشان دادند که شبکه‌های عمیق بازنمایی‌های قابل انتقال را می‌آموزند، و پیش‌آموزش ImageNet (Krizhevsky et al., 2012) انتقال را به عمل پیش‌فرض در بینایی ماشین تبدیل کرد. معرفی مدل‌های زبانی بزرگ مانند BERT (2018) و GPT (2018–) یادگیری انتقالی را به NLP گسترش داد و آن را به پارادایم غالب در تقریباً تمام کاربردهای یادگیری عمیق تبدیل کرد.

چه زمانی استفاده شود

یادگیری انتقالی زمانی انتخاب درستی است که داده‌های برچسب‌دار برای وظیفه هدف محدود باشند اما یک دامنه مبدأ مرتبط با برچسب‌های فراوان یا یک مدل از پیش آموزش‌دیده بزرگ وجود داشته باشد — به عنوان مثال، تنظیم دقیق BERT برای یک طبقه‌بند متن خاص دامنه یا تطبیق شبکه‌های CNN از پیش آموزش‌دیده ImageNet به تصویربرداری پزشکی. این روش به‌طور چشمگیری داده‌ها و محاسبات مورد نیاز برای رسیدن به عملکرد قوی را کاهش می‌دهد. از آن اجتناب کنید زمانی که دامنه‌های مبدأ و هدف اساساً نامرتبط هستند، زیرا انتقال منفی می‌تواند عملکرد را بدتر از آموزش از ابتدا کند. همچنین زمانی که مجموعه داده هدف به اندازه کافی بزرگ است تا یک مدل توانا را به‌طور مستقل آموزش دهد، کمتر ضروری است.

محدودیت‌ها و ملاحظات

  • انتقال منفی می‌تواند زمانی رخ دهد که دامنه‌های مبدأ و هدف بیش از حد نامشابه باشند و به‌طور بالقوه عملکرد را نسبت به آموزش از ابتدا کاهش دهند.
  • تنظیم دقیق مدل‌های از پیش آموزش‌دیده بزرگ نیازمند حافظه قابل توجه و برای مدل‌های بسیار بزرگ، منابع GPU قابل توجهی است.
  • مقدار مناسبی از مدل که باید ثابت نگه داشته شود در مقابل تنظیم دقیق شود، وابسته به وظیفه است و نیاز به آزمایش دارد.
  • تغییر دامنه بین مبدأ و هدف ممکن است واضح نباشد و بتواند به‌طور خاموش عملکرد را کاهش دهد.
  • محدودیت‌های قانونی و اخلاقی بر مدل‌های از پیش آموزش‌دیده (مجوز، سوگیری داده‌های آموزشی) ممکن است استفاده را در برخی کاربردها محدود کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • نیاز به داده‌های برچسب‌دار برای وظیفه هدف را با استفاده مجدد از بازنمایی‌های مبدأ به‌طور چشمگیری کاهش می‌دهد.
  • زمان آموزش و هزینه محاسباتی را در مقایسه با آموزش مدل‌های بزرگ از ابتدا کوتاه می‌کند.
  • اغلب به عملکرد پیشرفته (state-of-the-art) در مجموعه داده‌های هدف کوچک و متوسط دست می‌یابد.
  • مدل‌های از پیش آموزش‌دیده با کاربرد عمومی (مانند ResNet، BERT، GPT) نقاط شروع قوی در دامنه‌های مختلف ارائه می‌دهند.
  • حالت استخراج ویژگی امکان استفاده از بازنمایی‌های عمیق را حتی بدون تنظیم دقیق سنگین GPU فراهم می‌کند.

کاربردها

  • تنظیم دقیق مدل‌های زبانی از پیش آموزش‌دیده (BERT، GPT) برای طبقه‌بندی متن خاص دامنه، NER، یا پرسش و پاسخ.
  • تطبیق شبکه‌های CNN از پیش آموزش‌دیده ImageNet (ResNet، VGG) به تحلیل تصویر پزشکی که در آن اسکن‌های برچسب‌دار کمیاب هستند.
  • سیستم‌های تشخیص گفتار که از مدل‌های چندزبانه بزرگ به زبان‌های کم‌منبع تطبیق داده شده‌اند.
  • تحلیل احساسات بین دامنه با انتقال بازنمایی‌های آموخته‌شده بر روی بررسی‌های محصول به متن رسانه‌های اجتماعی.
  • داده‌های جدولی: استفاده از ویژگی‌های شبکه عصبی از پیش آموزش‌دیده بر روی مجموعه داده‌های مرتبط برای بهبود پیش‌بینی‌ها بر روی یک جدول هدف کوچک.
  • دامنه‌های علمی (کشف دارو، علم مواد) که در آن‌ها داده‌های آزمایشی برچسب‌دار گران هستند و مدل‌های مبدأ از ادبیات شیمی، اولویت‌های قوی را فراهم می‌کنند.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک مدل بر روی مجموعه داده مبدأ بزرگ که در آن داده‌های برچسب‌دار فراوان در دسترس است، آموزش داده می‌شود. در طول این مرحله، مدل بازنمایی‌های ویژگی با کاربرد عمومی را می‌آموزد — به عنوان مثال، یک شبکه کانولوشنی سلسله مراتب بصری را از میلیون‌ها تصویر می‌آموزد، یا یک مدل زبانی الگوهای نحوی و معنایی را از میلیاردها توکن می‌آموزد.

2

رابطه بین دامنه‌های مبدأ و هدف ارزیابی می‌شود. اگر دامنه‌ها نزدیک باشند (به عنوان مثال، هر دو شامل تصاویر طبیعی باشند)، بازنمایی‌های آموخته‌شده به‌طور مستقیم‌تری منتقل می‌شوند. اگر تغییر دامنه بزرگ باشد، تکنیک‌هایی مانند آموزش خصمانه دامنه (domain-adversarial training) یا وزن‌دهی مجدد نمونه (instance re-weighting) برای کاهش عدم تطابق توزیعی قبل از شروع تطبیق، به کار گرفته می‌شوند.

3

مدل از پیش آموزش‌دیده بر روی وظیفه هدف اعمال می‌شود. در استخراج ویژگی، لایه‌های قبلی ثابت نگه داشته می‌شوند و تنها لایه‌های بعدی مخصوص وظیفه جایگزین و آموزش داده می‌شوند. در تنظیم دقیق کامل (full fine-tuning)، تمام لایه‌ها بر روی داده‌های هدف به‌روزرسانی می‌شوند، معمولاً با نرخ یادگیری پایین‌تر برای حفظ بازنمایی‌های آموخته‌شده قبلی و جلوگیری از فراموشی فاجعه‌بار (catastrophic forgetting).

4

مدل تطبیق‌یافته بر روی مجموعه داده هدف (معمولاً کوچک) برچسب‌دار آموزش داده می‌شود. استراتژی‌های منظم‌سازی — مانند L2-SP (جریمه به سمت وزن‌های مبدأ)، dropout، یا توقف زودهنگام (early stopping) — از بیش‌برازش (overfitting) به برچسب‌های محدود هدف جلوگیری می‌کنند. زمان‌بندی نرخ یادگیری لایه به لایه در شبکه‌های عمیق رایج است.

5

عملکرد بر روی یک مجموعه آزمون هدف نگهداری‌شده (held-out) با استفاده از معیارهای مناسب وظیفه (دقت، F1، RMSE و غیره) اندازه‌گیری می‌شود. مقایسه‌ها در برابر آموزش از ابتدا و در برابر یک خط پایه فقط مبدأ، سود انتقال را کمی‌سازی کرده و مشخص می‌کنند که آیا انتقال منفی رخ داده است یا خیر.

دام‌های رایج

  • فرض اینکه هر مدل از پیش آموزش‌دیده بدون بررسی شباهت دامنه به‌خوبی منتقل می‌شود — همیشه در برابر آموزش از ابتدا خط پایه (baseline) قرار دهید.
  • استفاده از نرخ یادگیری بیش از حد بالا در طول تنظیم دقیق، که باعث فراموشی فاجعه‌بار بازنمایی‌های مبدأ می‌شود.
  • ارزیابی تنها بر روی مجموعه آموزش هدف یا نادیده گرفتن یک بخش آزمون نگهداری‌شده مناسب.
  • نادیده گرفتن سوگیری مجموعه داده که از دامنه مبدأ به ارث رسیده است و می‌تواند به پیش‌بینی‌های هدف منتقل شود.
  • تنظیم دقیق بر روی یک مجموعه هدف بسیار کوچک بدون منظم‌سازی، که منجر به بیش‌برازش شدید می‌شود.

پرسش‌های متداول

تفاوت بین استخراج ویژگی و تنظیم دقیق در یادگیری انتقالی چیست؟

در استخراج ویژگی، وزن‌های مدل از پیش آموزش‌دیده ثابت نگه داشته می‌شوند و تنها یک سر مخصوص وظیفه جدید آموزش داده می‌شود. در تنظیم دقیق، برخی یا تمام وزن‌های از پیش آموزش‌دیده نیز بر روی داده‌های هدف به‌روزرسانی می‌شوند — معمولاً با نرخ یادگیری کوچک برای جلوگیری از فراموشی فاجعه‌بار. استخراج ویژگی سریع‌تر است و در مجموعه داده‌های بسیار کوچک کمتر مستعد بیش‌برازش است؛ تنظیم دقیق به‌طور کلی عملکرد بهتری را زمانی که داده‌های هدف کافی وجود دارد، ارائه می‌دهد.

چگونه بفهمم یادگیری انتقالی کمک می‌کند یا ضرر می‌زند؟

سوال کلیدی شباهت دامنه است. اگر توزیع‌های مبدأ و هدف ساختار معناداری را به اشتراک بگذارند (همان مدالیته، واژگان مشابه، مفاهیم بصری مرتبط)، انتقال تقریباً همیشه کمک می‌کند. یک خط پایه از ابتدا آموزش دهید و مقایسه کنید: اگر مدل منتقل‌شده بهتر نبود، دامنه‌ها ممکن است بیش از حد نامشابه باشند، یا ممکن است به تکنیک‌های هم‌ترازی خصمانه دامنه نیاز داشته باشید.

انتقال منفی چیست؟

انتقال منفی زمانی رخ می‌دهد که دانش از دامنه مبدأ به‌طور فعال به عملکرد در وظیفه هدف آسیب می‌زند — بازنمایی‌های از پیش آموزش‌دیده با ساختار هدف مطابقت ندارند و بهینه‌سازی را گمراه می‌کنند. این زمانی شایع‌تر است که مبدأ و هدف از نظر معنایی یا آماری نامشابه باشند. منظم‌سازی به سمت وزن‌های مبدأ (مانند L2-SP) یا استفاده از تنها لایه‌های کم‌عمق‌تر می‌تواند آن را کاهش دهد.

برای تنظیم دقیق به چه مقدار داده هدف نیاز دارم؟

هیچ حد آستانه جهانی وجود ندارد، اما یادگیری انتقالی زمانی بیشترین ارزش را دارد که تعداد نمونه‌های برچسب‌دار هدف در حد ده‌ها تا چند هزار باشد. با نمونه‌های بسیار کم (کمتر از حدود ۱۰۰)، ثابت نگه داشتن بیشتر لایه‌ها و تنها آموزش سر (استخراج ویژگی) ایمن‌تر است. با هزاران نمونه، تنظیم دقیق عمیق‌تر امکان‌پذیر و معمولاً مفید است.

آیا یادگیری انتقالی برای داده‌های جدولی، نه فقط تصاویر و متن، قابل‌اجرا است؟

بله، اگرچه کمتر به‌صورت آماده (plug-and-play) است. رویکردها شامل پیش‌آموزش شبکه‌های عصبی بر روی مجموعه‌های داده جدولی بزرگ از دامنه‌های مرتبط، یا استفاده از تعبیه‌ها (embeddings) از مدل‌های پایه به عنوان ویژگی‌های اضافی است. کتابخانه‌هایی مانند SAINT و TabPFN این جهت را کاوش می‌کنند. برای وظایف جدولی کلاسیک، تقویت گرادیان (gradient boosting) حتی بدون انتقال نیز اغلب یک رقیب قوی باقی می‌ماند.

روش‌های مرتبط

منابع

  1. Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

    باز کردن مرجع DOI
    کپی شد.
  2. Bengio, Y. (2012). Deep Learning of Representations for Unsupervised and Transfer Learning. In Proceedings of ICML Workshop on Unsupervised and Transfer Learning, PMLR 27, 17–36.

    باز کردن مرجع انتشار
    کپی شد.