Skip to content
بازگشت به نتایج جست‌وجو

بهینه‌سازی تصادفی — SGD و انواع آن

سال
1951 (SGD); 2014 (Adam)
نوع
Gradient-based iterative optimization

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

بهینه‌سازی تصادفی خانواده‌ای از روش‌های تکراری است که با محاسبه گرادیان‌ها بر روی زیرمجموعه‌های تصادفی داده‌ها — مینی‌بچ‌ها — به جای کل مجموعه داده به‌طور همزمان، یک تابع هدف را کمینه می‌کنند. این رویکرد که در سال ۱۹۵۱ توسط رابینز و مونرو به عنوان تقریب تصادفی معرفی شد، از طریق انواع آن مانند SGD با مومنتوم، AdaGrad، RMSProp و Adam، به موتور استاندارد آموزش مدل‌های یادگیری ماشین در مقیاس بزرگ تبدیل شد.

شهود پشت روش

تصور کنید می‌خواهید پایین‌ترین نقطه در یک چشم‌انداز وسیع تپه‌ای را پیدا کنید، اما اندازه‌گیری شیب کل چشم‌انداز در هر مرحله به‌طور غیرقابل قبولی پرهزینه است. بهینه‌سازی تصادفی با اندازه‌گیری شیب در یک تکه کوچک تصادفی از زمین به جای آن عمل می‌کند، یک گام به سمت پایین برمی‌دارد و فرآیند را بارها تکرار می‌کند. هر گام انفرادی نسبت به اندازه‌گیری کل چشم‌انداز نویز بیشتری دارد، اما تعداد زیاد گام‌های ارزان قیمت شما را سریع‌تر از چند اندازه‌گیری دقیق و پرهزینه به پایین می‌رساند. انواع تطبیقی مانند Adam با به خاطر سپردن میزان ناهمواری هر جهت و مقیاس‌بندی گام‌های خود بر اساس آن، فراتر می‌روند.

تاریخ

بهینه‌سازی تصادفی به رابینز و مونرو (۱۹۵۱) بازمی‌گردد، که اثبات کردند تخمین‌های گرادیان تکراری تحت شرایط ملایم به نقطه ثابت تابع همگرا می‌شوند — بنیان‌گذار حوزه تقریب تصادفی. گرادیان نزولی تصادفی از طریق کار بوتو در دهه ۱۹۹۰ بر روی مدل‌های خطی در مقیاس بزرگ در یادگیری ماشین رایج شد. دوران یادگیری عمیق تقاضا برای روش‌های تطبیقی کارآمد را تشدید کرد: دوشی و همکاران AdaGrad را در سال ۲۰۱۱ معرفی کردند، تیلمان و هینتون RMSProp را در سال ۲۰۱۲ پیشنهاد دادند، و کینگما و با Adam را در سال ۲۰۱۴ منتشر کردند، که به سرعت به دلیل استحکام آن در معماری‌ها و وظایف متنوع، بهینه‌ساز پیش‌فرض برای آموزش شبکه عصبی شد.

چه زمانی استفاده شود

بهینه‌سازی تصادفی هر زمان که نیاز به کمینه‌سازی یک تابع زیان مشتق‌پذیر (یا زیرمشتق‌پذیر) بر روی یک مجموعه داده بزرگ باشد که در آن محاسبه گرادیان‌های دقیق بر روی کل مجموعه داده در هر مرحله از نظر محاسباتی غیرممکن است، کاربرد دارد. این رویکرد استاندارد برای آموزش شبکه‌های عصبی، مدل‌های خطی با داده‌های بزرگ، و هر مدل پارامتری است که با گرادیان نزولی برازش می‌شود. هدف باید پذیرای گرادیان یا زیرگرادیان باشد؛ این روش برای مسائل جعبه سیاه غیرمشتق‌پذیر کاربرد ندارد. انتخاب نرخ یادگیری حیاتی است — نرخ خیلی زیاد باعث واگرایی می‌شود، نرخ خیلی کم همگرایی را کند می‌کند.

محدودیت‌ها و ملاحظات

  • نرخ یادگیری یک ابرپارامتر حیاتی است؛ انتخاب‌های ضعیف منجر به واگرایی یا همگرایی بسیار کند می‌شود.
  • نویز گرادیان مینی‌بچ می‌تواند از همگرایی به یک مینیمم دقیق جلوگیری کند — بهینه‌ساز معمولاً به جای تثبیت دقیق، در نزدیکی بهینه نوسان می‌کند.
  • نقاط زینی و مینیمم‌های محلی ضعیف در چشم‌اندازهای غیرمحدب خطرات واقعی هستند، اگرچه نویز گرادیان و مومنتوم به کاهش آنها کمک می‌کنند.
  • Adam و سایر روش‌های تطبیقی می‌توانند به مینیمم‌های تیزتری همگرا شوند که نسبت به مینیمم‌های مسطح‌تر یافت شده توسط SGD ساده با تنظیم دقیق، تعمیم‌پذیری کمتری دارند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • به دلیل اینکه هر به‌روزرسانی فقط از یک مینی‌بچ استفاده می‌کند، نه کل داده‌ها، به مجموعه داده‌های دلخواه بزرگ مقیاس می‌شود.
  • نویز گرادیان از نمونه‌برداری مینی‌بچ می‌تواند به فرار از مینیمم‌های محلی کم‌عمق و نقاط زینی کمک کند.
  • انواع تطبیقی (Adam، RMSProp) بار تنظیم دستی نرخ یادگیری را با تنظیم خودکار اندازه‌های گام برای هر پارامتر کاهش می‌دهند.
  • پشتیبانی گسترده در تمام چارچوب‌های اصلی یادگیری عمیق و درک نظری خوب.

کاربردها

  • آموزش شبکه‌های عصبی در تمام عمق‌ها — از رگرسیون لجستیک تا مدل‌های زبان بزرگ.
  • برازش مدل‌های خطی و تعمیم‌یافته خطی در مقیاس بزرگ که در آن گرادیان نزولی دسته‌ای کامل از نظر محاسباتی غیرممکن است.
  • تنظیمات یادگیری آنلاین که در آن داده‌ها به صورت جریانی وارد می‌شوند و مدل باید به صورت افزایشی به‌روز شود.
  • روش‌های گرادیان خط‌مشی یادگیری تقویتی، که در آنها Adam و RMSProp انتخاب‌های استانداردی هستند.
  • سیستم‌های توصیه‌گر و مدل‌های جاسازی که بر روی مجموعه داده‌های عظیم پراکنده آموزش دیده‌اند.

چگونه کار می‌کند

چگونه کار می‌کند

1

بردار پارامتر مقداردهی اولیه می‌شود — معمولاً با مقادیر تصادفی کوچک. نرخ یادگیری (اندازه گام) و برای انواع تطبیقی، نرخ‌های واپاشی مومنتوم به عنوان ابرپارامترها قبل از شروع آموزش تنظیم می‌شوند. این انتخاب‌ها تأثیر زیادی بر سرعت همگرایی و عملکرد نهایی دارند.

2

در هر تکرار، یک مینی‌بچ — زیرمجموعه تصادفی کوچکی از کل مجموعه داده — استخراج می‌شود. اندازه مینی‌بچ یک بده‌بستان را کنترل می‌کند: دسته‌های کوچکتر نویز گرادیان بیشتری را معرفی می‌کنند اما پارامترها را با دفعات بیشتری به‌روز می‌کنند و اغلب بهتر تعمیم می‌یابند، در حالی که دسته‌های بزرگتر تخمین‌های با واریانس کمتر را با هزینه بالاتر در هر تکرار ارائه می‌دهند.

3

گرادیان تابع هدف (زیان) نسبت به پارامترهای فعلی با استفاده از مینی‌بچ محاسبه می‌شود. برای بهینه‌سازهای تطبیقی، تخمین‌های گشتاور اول و دوم گرادیان نیز در طول تکرارها حفظ می‌شوند تا اطلاعات مقیاس و انحنای هر پارامتر را ردیابی کنند.

4

پارامترها با حرکت در جهت مخالف گرادیان، مقیاس‌بندی شده با نرخ یادگیری، به‌روز می‌شوند. انواع تطبیقی (AdaGrad، RMSProp، Adam) گام هر پارامتر را بر تخمین در حال اجرای بزرگی گرادیان‌های گذشته تقسیم می‌کنند، که به طور مؤثری گام‌های بزرگتری به پارامترهایی که به ندرت به‌روز می‌شوند و گام‌های کوچکتری در جایی که گرادیان بزرگ و ثابت بوده است، می‌دهند.

5

فرآیند تکرار می‌شود — نمونه‌برداری، محاسبه گرادیان، و به‌روزرسانی پارامتر — تا زمانی که یک معیار همگرایی برآورده شود: زیان دیگر کاهش نمی‌یابد، حداکثر تعداد تکرارها به دست می‌آید، یا عملکرد اعتبارسنجی دیگر بهبود نمی‌یابد. توقف زودهنگام بر روی مجموعه داده اعتبارسنجی نگه داشته شده، از بیش‌برازش (overfitting) محافظت می‌کند.

دام‌های رایج

  • تنظیم نرخ یادگیری بیش از حد بالا باعث واگرایی یا نوسان شدید زیان می‌شود؛ همیشه منحنی زیان را در طول آموزش نظارت کنید.
  • فراموش کردن مخلوط کردن داده‌ها قبل از هر دوره می‌تواند سوگیری دوره‌ای در تخمین‌های گرادیان ایجاد کند.
  • استفاده از نرخ یادگیری ثابت در طول آموزش اغلب عملکرد را کاهش می‌دهد — زمان‌بندی نرخ یادگیری (گرم کردن، واپاشی کسینوسی) نتایج نهایی را به طور مداوم بهبود می‌بخشد.
  • مقایسه منصفانه بهینه‌سازها نیازمند تطبیق کل تعداد ارزیابی‌های گرادیان (یا زمان واقعی) است، نه فقط تعداد دوره‌ها.
  • نرخ‌های تطبیقی Adam می‌توانند سیگنال گرادیان مفید را در تنظیمات پراکنده سرکوب کنند؛ SGD با مومنتوم گاهی اوقات برای وظایف طبقه‌بندی تصویر بهتر تعمیم می‌یابد.

پرسش‌های متداول

کدام بهینه‌ساز را باید انتخاب کنم — SGD، Adam، یا چیز دیگری؟

Adam یک انتخاب پیش‌فرض ایمن برای اکثر وظایف یادگیری عمیق است: در برابر انتخاب نرخ یادگیری مقاوم است و به سرعت همگرا می‌شود. SGD با مومنتوم و یک زمان‌بندی نرخ یادگیری تنظیم شده، اغلب در معیارهای طبقه‌بندی تصویر، تعمیم‌پذیری نهایی کمی بهتر را به دست می‌آورد، اما نیاز به تنظیم دقیق‌تری دارد. AdaGrad برای مسائل گرادیان پراکنده (مانند NLP با ویژگی‌های bag-of-words) مناسب است، در حالی که RMSProp در آموزش شبکه‌های بازگشتی به خوبی عمل می‌کند.

چگونه نرخ یادگیری را انتخاب کنم؟

نرخ یادگیری مهم‌ترین ابرپارامتر است. روش رایج شروع با 1e-3 برای Adam و 1e-1 برای SGD است، سپس از یک یابنده نرخ یادگیری یا جستجوی شبکه‌ای استفاده کنید. اعمال یک فاز گرم کردن و سپس واپاشی کسینوسی یا پله‌ای تقریباً همیشه نتایج را نسبت به یک نرخ ثابت بهبود می‌بخشد.

از چه اندازه مینی‌بچ باید استفاده کنم؟

اندازه‌های دسته بین ۳۲ تا ۲۵۶ رایج هستند. دسته‌های کوچکتر نویز گرادیان بیشتری را معرفی می‌کنند (که می‌تواند به تعمیم‌پذیری کمک کند) و به‌روزرسانی‌های مکررتری را امکان‌پذیر می‌سازند؛ دسته‌های بزرگتر نویز را کاهش می‌دهند اما ممکن است کمتر تعمیم یابند و نیاز به مقیاس‌بندی دقیق‌تر نرخ یادگیری دارند. هنگام دو برابر کردن اندازه دسته، نرخ یادگیری را به طور متناسب (قانون مقیاس‌بندی خطی) به عنوان نقطه شروع مقیاس‌بندی کنید.

چگونه بفهمم چه زمانی آموزش را متوقف کنم؟

زیان اعتبارسنجی را نظارت کنید و زمانی که برای تعداد مشخصی دوره متوالی بهبود نمی‌یابد، متوقف شوید — تکنیکی به نام توقف زودهنگام. این روش قابل اعتمادتر از توقف در تعداد دوره‌های ثابت است و از بیش‌برازش محافظت می‌کند.

روش‌های مرتبط

منابع

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407.

    باز کردن مرجع DOI
    کپی شد.
  2. Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015).

    باز کردن مرجع انتشار
    کپی شد.