Skip to content
بازگشت به نتایج جست‌وجو

یادگیری آنلاین

معرفی‌شده توسط
Rosenblatt, F.; Littlestone, N.; Shalev-Shwartz, S. (key contributors)
سال
1958–2000s
نوع
Learning paradigm (sequential model update)
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری آنلاین یک پارادایم یادگیری ماشین است که در آن مدل به صورت افزایشی با ورود هر نقطه داده جدید به‌روزرسانی می‌شود، به جای اینکه یک بار روی مجموعه داده ثابت آموزش ببیند. این روش زمانی ضروری است که جریان داده‌ها پیوسته باشد، فضای ذخیره‌سازی محدود باشد، یا توزیع زیربنایی در طول زمان تغییر کند. عملکرد نظری با رگرت تجمعی نسبت به بهترین پیش‌بینی‌کننده ثابت در گذشته اندازه‌گیری می‌شود.

شهود پشت روش

در یادگیری دسته‌ای کلاسیک، ابتدا تمام داده‌ها را جمع‌آوری کرده و سپس آموزش می‌دهید. یادگیری آنلاین این را معکوس می‌کند: مدل یک مثال را در هر زمان دریافت می‌کند، پیش‌بینی انجام می‌دهد، نتیجه واقعی را می‌بیند و بلافاصله خود را به‌روزرسانی می‌کند. به یک معامله‌گر فکر کنید که به جای انتظار تا پایان سال، استراتژی خود را پس از هر معامله تنظیم می‌کند. تضمین نظری کلیدی، رگرت پایین است - در طول بسیاری از دوره‌ها، زیان کل یادگیرنده آنلاین تقریباً به اندازه بهترین استراتژی ایستا که با نگاه به گذشته انتخاب شده است، کوچک خواهد بود.

تاریخ

پارادایم یادگیری آنلاین به پرسپترون روزنبلات (۱۹۵۸) بازمی‌گردد و به طور نظری توسط لیتلستون (مدل حد اشتباه، ۱۹۸۸) و فروند و شاپیر (وین‌فاو، هج، دهه ۱۹۹۰) فرموله شد. چارچوب بهینه‌سازی محدب آنلاین، که تحلیل رگرت را در بسیاری از الگوریتم‌ها یکپارچه می‌کند، توسط زینکویک (۲۰۰۳) توسعه یافت و به طور گسترده توسط شالو-شورتز (۲۰۱۱) بررسی شد. انواع FTRL و AdaGrad سیستم‌های صنعتی در مقیاس بزرگ را در شرکت‌هایی مانند گوگل پشتیبانی می‌کنند.

چه زمانی استفاده شود

زمانی از یادگیری آنلاین استفاده کنید که داده‌ها به صورت جریان پیوسته وارد می‌شوند و بازآموزی از ابتدا غیرعملی است؛ زمانی که توزیع داده‌ها در طول زمان تغییر می‌کند (انحراف مفهوم) و مدل باید بدون بازآموزی کامل سازگار شود؛ یا زمانی که محدودیت‌های ذخیره‌سازی و حافظه مانع از نگهداری کل مجموعه داده می‌شوند. این روش برای سیستم‌های توصیه‌گر، تشخیص تقلب، خطوط لوله پردازش زبان طبیعی و کاربردهای داده‌های حسگر مناسب است. از آن زمانی استفاده نکنید که حجم داده کم و ایستا است (یادگیری دسته‌ای ساده‌تر و به همان اندازه مؤثر است)، زمانی که کل مجموعه داده باید چندین بار برای همگرایی دیده شود (مانند شبکه‌های عصبی عمیق روی مجموعه‌های کوچک)، یا زمانی که تکرارپذیری و خطوط لوله ارزیابی آفلاین حیاتی هستند و زیرساخت جریان داده در دسترس نیست.

محدودیت‌ها و ملاحظات

  • به نرخ یادگیری و انتخاب ابرپارامتر حساس است؛ نرخ‌های ضعیف باعث همگرایی کند یا ناپایداری می‌شوند.
  • عملکرد در هر گام معین به ترتیب ورود مثال‌ها بستگی دارد و نتایج را به ترتیب حساس می‌کند.
  • معیارهای ارزیابی دسته‌ای (اعتبارسنجی متقابل، مجموعه‌های آزمون نگه‌داشته شده) مستقیماً اعمال نمی‌شوند؛ در عوض ارزیابی پیش‌گویانه (prequential) لازم است.
  • آموزش شبکه‌های عصبی عمیق معمولاً به چندین گذر از داده‌ها (دوره‌ها) نیاز دارد که با تنظیمات سختگیرانه یادگیری آنلاین تک‌گذر در تضاد است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • جریان‌های داده نامحدود را با حافظه ثابت مدیریت می‌کند و آن را برای مجموعه داده‌های عظیم یا نامتناهی مقیاس‌پذیر می‌سازد.
  • به طور خودکار با انحراف مفهوم و تغییر توزیع بدون نیاز به فعال‌سازی‌های بازآموزی صریح سازگار می‌شود.
  • تضمین‌های نظری قوی را از طریق حدود رگرت ارائه می‌دهد و عملکرد بدترین حالت را در برابر هر رقیب ثابتی کمی می‌کند.
  • به‌روزرسانی‌های با تأخیر کم، آن را برای کاربردهای بلادرنگ و حساس به زمان مناسب می‌سازد.
  • بسیاری از الگوریتم‌ها (SGD، AdaGrad، FTRL) دارای خواص همگرایی و رگرت درک شده خوبی هستند.

کاربردها

  • پیش‌بینی نرخ کلیک در لحظه و تبلیغات آنلاین (FTRL-Proximal در مقیاس گوگل).
  • تشخیص تقلب و ناهنجاری در جریان تراکنش‌های مالی که نیاز به به‌روزرسانی فوری مدل دارد.
  • خطوط لوله پردازش زبان طبیعی بر روی فیدهای خبری یا رسانه‌های اجتماعی با واژگان در حال تحول.
  • طبقه‌بندی داده‌های حسگر و اینترنت اشیا که حجم داده مانع از ذخیره‌سازی دسته‌ای می‌شود.
  • سیستم‌های توصیه‌گر که باید فوراً با تغییر ترجیحات کاربر سازگار شوند.
  • فیلتر کردن هرزنامه تطبیقی که در آن تعریف هرزنامه به طور مداوم تکامل می‌یابد.

چگونه کار می‌کند

چگونه کار می‌کند

1

در هر گام زمانی t، یادگیرنده یک بردار ویژگی جدید x_t را از جریان داده دریافت می‌کند. نمونه بلافاصله پردازش می‌شود و به طور دائمی ذخیره نمی‌شود، که این پارادایم را حتی برای جریان‌های داده نامحدود نیز از نظر حافظه کارآمد می‌سازد.

2

مدل فعلی f_t قبل از آشکار شدن برچسب واقعی، پیش‌بینی x_t را تولید می‌کند. مدل می‌تواند یک طبقه‌بند خطی، یک شبکه عصبی کوچک، یک قاعده تصمیم، یا هر تابع پارامتری باشد که در حافظه نگهداری می‌شود.

فرمول
\hat{y}_t = f_t(x_t)
3

پس از پیش‌بینی، یادگیرنده برچسب واقعی y_t را مشاهده کرده و زیان را محاسبه می‌کند. این سیگنال بازخورد، میزان نادرست بودن پیش‌بینی فعلی را کمی می‌کند و باعث به‌روزرسانی پارامتر بعدی می‌شود.

فرمول
\ell_t = \ell(\hat{y}_t, y_t)
4

پارامترهای مدل با استفاده از گرادیان زیان نسبت به پارامترهای فعلی، مقیاس‌بندی شده با نرخ یادگیری، به‌روزرسانی می‌شوند. الگوریتم‌های رایج شامل پرسپترون، گرادیان کاهشی تصادفی (SGD)، AdaGrad و Follow-the-Regularized-Leader (FTRL) هستند.

فرمول
w_{t+1} = w_t - \eta_t \nabla \ell_t
5

عملکرد با رگرت تجمعی ارزیابی می‌شود: تفاوت بین زیان کل یادگیرنده آنلاین و زیان کل بهترین پیش‌بینی‌کننده ثابت که با نگاه به گذشته شناخته شده است. رشد رگرت زیرخطی (مانند O(sqrt(T))) تضمین می‌کند که یادگیرنده به رفتار تقریباً بهینه همگرا می‌شود.

فرمول
R_T = \sum_{t=1}^{T} \ell_t - \min_{f} \sum_{t=1}^{T} \ell(f(x_t), y_t)

دام‌های رایج

  • استفاده از نرخ یادگیری ثابت زمانی که AdaGrad یا یک برنامه کاهشی مورد نیاز است - باعث یادگیری کند یا واگرایی می‌شود.
  • نادیده گرفتن نظارت بر انحراف مفهوم: حتی مدل‌های آنلاین نیز می‌توانند از تغییرات ناگهانی توزیع عقب بمانند اگر به طور صریح ردیابی نشوند.
  • اشتباه گرفتن 'یادگیری آنلاین' با یادگیری مبتنی بر وب (آموزش الکترونیکی)؛ معنای یادگیری ماشین به‌روزرسانی افزایشی مدل است.
  • ارزیابی با اعتبارسنجی متقابل دسته‌ای به جای ارزیابی پیش‌گویانه (تست-سپس-آموزش)، که عملکرد را بیش از حد یا کمتر از حد ارزیابی می‌کند.
  • اعمال یادگیری آنلاین بر روی مجموعه داده‌های ایستا و کوچک که در آن روش‌های دسته‌ای ساده‌تر با اعتبارسنجی متقابل مناسب، مناسب‌تر هستند.

پرسش‌های متداول

آیا یادگیری آنلاین همان گرادیان کاهشی تصادفی است؟

SGD رایج‌ترین الگوریتم بهینه‌سازی مورد استفاده در یادگیری آنلاین است، اما این دو یکسان نیستند. یادگیری آنلاین یک پارادایم است (پردازش یک مثال، به‌روزرسانی، حرکت به جلو)؛ SGD یک قاعده به‌روزرسانی است. یادگیری آنلاین ممکن است از قواعد به‌روزرسانی دیگری مانند پرسپترون، AdaGrad یا FTRL استفاده کند.

چگونه مدلی را که با یادگیری آنلاین آموزش داده شده است، ارزیابی کنم؟

از ارزیابی پیش‌گویانه (که تست-سپس-آموزش نیز نامیده می‌شود) استفاده کنید: برای هر مثال ورودی، ابتدا پیش‌بینی کنید، خطا را ثبت کنید، سپس به‌روزرسانی کنید. میانگین متحرک خطاها تخمین بدون اریبی از عملکرد بلادرنگ را بدون نیاز به مجموعه نگه‌داشته شده جداگانه ارائه می‌دهد.

یادگیری آنلاین چگونه انحراف مفهوم را مدیریت می‌کند؟

از آنجایی که پارامترها پس از هر مثال به‌روزرسانی می‌شوند، مدل به طور طبیعی تغییرات توزیع کند را ردیابی می‌کند. برای انحراف ناگهانی، که به طور صریح با نظارت بر نرخ خطا یا آزمون‌های آماری (مانند DDM، ADWIN) تشخیص داده می‌شود، ممکن است نرخ یادگیری بالاتر یا بازنشانی مدل لازم باشد.

رگرت چیست و چرا اهمیت دارد؟

رگرت زیان اضافی تجمعی است که توسط الگوریتم آنلاین در مقایسه با بهترین پیش‌بینی‌کننده ثابت انتخاب شده با نگاه کامل به گذشته متحمل می‌شود. رگرت زیرخطی (که کندتر از T رشد می‌کند) تضمین می‌کند که میانگین زیان در هر دور بهینه همگرا می‌شود و گواهی عملکرد دقیق در بدترین حالت را ارائه می‌دهد.

آیا شبکه‌های عصبی عمیق را می‌توان به صورت آنلاین آموزش داد؟

بله، اما با ملاحظاتی. شبکه‌های عصبی عمیق معمولاً برای همگرایی پایدار به چندین دوره بر روی داده‌ها نیاز دارند که با محدودیت‌های سختگیرانه یادگیری آنلاین تک‌گذر در تضاد است. در عمل، SGD دسته‌ای کوچک جریانی به عنوان مصالحه استفاده می‌شود - پردازش دسته‌های اخیر از چند مثال قبل از به‌روزرسانی وزن‌ها.

روش‌های مرتبط

منابع

  1. Shalev-Shwartz, S. (2011). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    باز کردن مرجع DOI
    کپی شد.
  2. Cesa-Bianchi, N. & Lugosi, G. (2006). Prediction, Learning, and Games. Cambridge University Press.

    شابک: 978-0-521-84108-5
    کپی شد.