Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون خطی آنلاین

معرفی‌شده توسط
Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
سال
1960 (LMS); 1950 (RLS formalization)
نوع
Incremental supervised regression
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون خطی آنلاین، یک مدل خطی را با پردازش یک مشاهده در هر زمان برازش می‌دهد و وزن‌ها را به صورت افزایشی با ورود هر نقطه داده جدید به‌روزرسانی می‌کند. برخلاف روش حداقل مربعات دسته‌ای (batch least-squares)، این روش هرگز نیازی به ذخیره یا پردازش مجدد کل مجموعه داده ندارد و آن را به گزینه‌ای طبیعی برای داده‌های جریانی، مجموعه داده‌های بسیار بزرگ و محیط‌هایی که فرآیند تولید داده ممکن است در طول زمان تغییر کند، تبدیل می‌کند.

شهود پشت روش

تصور کنید پس از هر اندازه‌گیری، تنظیمات یک پیش‌بینی‌کننده خطی را تغییر می‌دهید، به جای اینکه منتظر جمع‌آوری تمام داده‌ها بمانید. هر مشاهده جدید به شما می‌گوید که تخمین فعلی شما چقدر اشتباه بوده است و شما بردار وزن را گامی کوچک در جهتی که آن خطا را کاهش می‌داد، جابجا می‌کنید. در طول مشاهدات متعدد، وزن‌ها به مقادیری نزدیک به راه‌حل حداقل مربعات معمولی (ordinary least-squares) همگرا می‌شوند — اما شما بدون نیاز به بارگذاری کل مجموعه داده در حافظه به آنجا رسیده‌اید و اگر رابطه زیربنایی دچار انحراف شود، می‌توانید به انطباق ادامه دهید.

تاریخ

مبانی نظری آن به روش حداقل مربعات گاوس (اوایل قرن نوزدهم) و فرمول‌بندی بازگشتی پلکت در سال 1950 بازمی‌گردد. نوع آنلاین عملی با الگوریتم حداقل میانگین مربعات (LMS) ویدراو و هاف در سال 1960 پدیدار شد که در ابتدا برای پردازش سیگنال تطبیقی توسعه یافته بود. نظریه بهینه‌سازی محدب آنلاین، که توسط زینکویک (2003) فرموله شد و به طور جامع توسط شالو-شورتز (2012) بررسی شد، رگرسیون خطی آنلاین را در چارچوب به حداقل رساندن پشیمانی (regret-minimisation) قرار داد و تضمین‌های همگرایی تقریباً بهینه آن را نشان داد.

چه زمانی استفاده شود

هنگامی از رگرسیون خطی آنلاین استفاده کنید که داده‌ها به صورت یک جریان پیوسته وارد می‌شوند و پیش‌بینی‌ها باید بلافاصله ارائه شوند، زمانی که مجموعه داده برای نگهداری در حافظه برای برازش دسته‌ای بسیار بزرگ است، یا زمانی که رابطه بین پیش‌بینی‌کننده‌ها و نتیجه ممکن است در طول زمان منحرف شود و مدل نیاز به انطباق داشته باشد. همچنین به عنوان یک خط پایه سبک در سیستم‌های تولید بلادرنگ (real-time) گزینه خوبی است. از آن در مواردی که رابطه به شدت غیرخطی است، زمانی که مهندسی ویژگی باید به صورت جامع بر روی کل مجموعه داده انجام شود، یا زمانی که به ضرایب دقیق OLS با فواصل اطمینان برای استنتاج آماری نیاز دارید، اجتناب کنید — در این موارد از رگرسیون خطی دسته‌ای استفاده کنید.

محدودیت‌ها و ملاحظات

  • به انتخاب نرخ یادگیری حساس است: نرخ خیلی بزرگ باعث نوسان می‌شود، نرخ خیلی کوچک باعث همگرایی کند می‌شود.
  • هیچ خطای استاندارد یا مقدار p فرم بسته ارائه نمی‌دهد، بنابراین استنتاج آماری کلاسیک مستقیماً در دسترس نیست.
  • ممکن است با ویژگی‌های همبسته بالا (هم‌خطی چندگانه) مشکل داشته باشد مگر اینکه تنظیم (regularisation) L2 اضافه شود.
  • عملکرد نسبت به OLS دسته‌ای در مواردی که تمام داده‌ها در دسترس هستند و انحراف مفهوم وجود ندارد، کاهش می‌یابد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • داده‌ها را یک مشاهده در هر زمان با حافظه O(p) پردازش می‌کند، که p تعداد ویژگی‌ها است — نیازی به کل مجموعه داده نیست.
  • به طور مداوم با انحراف مفهوم (concept drift) انطباق می‌یابد و آن را برای محیط‌های غیر ایستا مانند سری‌های زمانی مالی یا جریان‌های سنسور مناسب می‌سازد.
  • محاسبات ارزان در هر به‌روزرسانی: یک ضرب داخلی و یک جمع بردار وزن.
  • به طور طبیعی در بین جریان‌ها یا پارتیشن‌های متعدد قابل موازی‌سازی است.
  • پیش‌بینی‌ها را در زمان واقعی و بدون انتظار برای بازبرازش دسته‌ای تولید می‌کند.

کاربردها

  • پیش‌بینی قیمت بلادرنگ و پیش‌بینی تقاضا در بازارهای تجارت الکترونیک و انرژی.
  • پردازش سیگنال تطبیقی و حذف نویز با استفاده از حداقل مربعات بازگشتی.
  • به‌روزرسانی مداوم مدل در محیط‌های اینترنت اشیا (IoT) و شبکه‌های سنسوری که برازش‌های دسته‌ای در آن‌ها غیرممکن است.
  • رگرسیون داده‌های تیک (tick-data) مالی که در آن فرآیند تولید داده به طور مکرر تغییر می‌کند.
  • وزن‌های ویژگی سیستم توصیه در مقیاس بزرگ که با ورود رویدادهای کاربر به‌روزرسانی می‌شوند.
  • مدل جریانی پایه در پایپ‌لاین‌های AutoML قبل از در نظر گرفتن مدل‌های پیچیده‌تر.

چگونه کار می‌کند

چگونه کار می‌کند

1

بردار وزن را صفر (یا یک مقدار تصادفی کوچک) قرار دهید و یک نرخ یادگیری eta انتخاب کنید که اندازه گام را کنترل می‌کند. به صورت اختیاری، یک جمله تنظیم (regularisation) مانند L2 (Ridge) را برای جلوگیری از رشد نامحدود وزن‌ها در جریان‌های غیر ایستا مقداردهی اولیه کنید.

فرمول
\mathbf{w}_0 = \mathbf{0},\; \eta > 0
2

برای هر مشاهده ورودی x_t، خروجی پیش‌بینی‌شده را به صورت حاصل‌ضرب داخلی بردار وزن فعلی با بردار ویژگی محاسبه کنید. این پیش‌بینی قبل از آشکار شدن برچسب واقعی y_t انجام می‌شود و ماهیت ترتیبی تنظیمات واقعی جریانی را منعکس می‌کند.

فرمول
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_t
3

پس از آشکار شدن برچسب واقعی، خطای پیش‌بینی مربعی را محاسبه کنید. این زیان لحظه‌ای، سیگنال گرادیان را هدایت می‌کند؛ گرادیان زیان مربعی نسبت به وزن‌ها صرفاً برابر با خطا ضربدر بردار ویژگی است.

فرمول
\ell_t = (y_t - \hat{y}_t)^2
4

قانون به‌روزرسانی LMS (least mean squares) را اعمال کنید: وزن‌ها را در جهت گرادیان منفی زیان حرکت دهید. نرخ یادگیری eta، تعادل بین سرعت انطباق و حساسیت به نویز را کنترل می‌کند. eta کوچکتر، همگرایی هموارتری را به همراه دارد؛ eta بزرگتر، سریعتر انطباق می‌یابد اما خطر نوسان وجود دارد.

فرمول
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_t
5

مشاهده بعدی را بلافاصله پردازش کنید، یا یک دسته کوچک (mini-batch) برای یک نوع آنلاین دسته‌ای کوچک (mini-batch online) بافر کنید. در تنظیمات غیر ایستا، یک نرخ یادگیری کاهشی یا یک ضریب فراموشی پنجره لغزان، مدل را نسبت به انحراف مفهوم (concept drift) پاسخگو نگه می‌دارد. هرگز نیاز به برازش مجدد کامل نیست.

دام‌های رایج

  • استفاده از نرخ یادگیری ثابت بر روی داده‌هایی با مقیاس‌های ویژگی بسیار متفاوت — همیشه ویژگی‌ها را به صورت آنلاین استانداردسازی کنید (مثلاً با میانگین و واریانس در حال اجرا) قبل از به‌روزرسانی.
  • فراموش کردن اضافه کردن تنظیم (regularisation) در تنظیمات با ابعاد بالا یا نزدیک به هم‌خطی، که باعث واگرایی وزن‌ها در جریان‌های پراکنده می‌شود.
  • در نظر گرفتن وزن‌های آنلاین به عنوان معادل تخمین‌های OLS و گزارش آن‌ها با فواصل اطمینان OLS — این دو یکسان نیستند.
  • نادیده گرفتن تشخیص انحراف مفهوم: اگر توزیع داده‌ها به شدت تغییر کند، نرخ یادگیری ثابت ممکن است نویز را به جای سیگنال دنبال کند.
  • ارزیابی دقت فقط در پایان یک جریان طولانی به جای استفاده از ارزیابی پیش‌گویانه (test-then-train) در طول مسیر.

پرسش‌های متداول

رگرسیون خطی آنلاین چگونه با رگرسیون خطی استاندارد (دسته‌ای) تفاوت دارد؟

رگرسیون خطی دسته‌ای، معادلات نرمال را بر روی کل مجموعه داده به یکباره حل می‌کند و راه‌حل دقیق OLS را ارائه می‌دهد. رگرسیون خطی آنلاین، وزن‌ها را پس از هر مشاهده با استفاده از گام گرادیان به صورت افزایشی به‌روزرسانی می‌کند و بدون بارگذاری تمام داده‌ها به راه‌حلی نزدیک به OLS همگرا می‌شود — با هزینه از دست دادن آمار استنتاج دقیق.

از چه نرخ یادگیری باید استفاده کنم؟

یک نقطه شروع رایج eta = 0.01 تقسیم بر نرم مربعی مورد انتظار بردارهای ویژگی است. جستجوی شبکه‌ای (Grid-search) یا روش‌های تطبیقی (AdaGrad, Adam) نرخ یادگیری را به ازای هر ویژگی به طور خودکار مقیاس‌بندی می‌کنند و اغلب تنظیم آن‌ها نسبت به یک نرخ سراسری ثابت آسان‌تر است.

آیا رگرسیون خطی آنلاین می‌تواند انحراف مفهوم را مدیریت کند؟

بله. یک نرخ یادگیری ثابت (بدون کاهش) مدل را نسبت به انحراف پاسخگو نگه می‌دارد. برای تغییرات ناگهانی، آزمون‌های صریح تشخیص انحراف (مانند ADWIN) می‌توانند بازنشانی جزئی وزن‌ها را فعال کنند. نرخ کاهشی زمانی بهتر است که رابطه ایستا باشد و شما همگرایی نهایی را بخواهید.

آیا تنظیم (regularisation) در محیط آنلاین امکان‌پذیر است؟

بله. افزودن جریمه L2، به‌روزرسانی آنلاین Ridge (Tikhonov) را می‌دهد: در هر گام، بخش کوچکی از بردار وزن فعلی را کم کنید. این کار از بزرگ شدن وزن‌ها در جریان‌های پراکنده یا نویزی جلوگیری می‌کند و در تنظیمات با ابعاد بالا به شدت توصیه می‌شود.

چگونه یک مدل آنلاین را منصفانه ارزیابی کنم؟

از ارزیابی پیش‌گویانه (test-then-train) استفاده کنید: خطای پیش‌بینی را بر روی هر مشاهده قبل از استفاده از آن برای به‌روزرسانی مدل، ثبت کنید. این کار یک تخمین بدون بایاس و ترتیبی از خطای تعمیم بدون نیاز به مجموعه آزمون جداگانه ارائه می‌دهد.

روش‌های مرتبط

منابع

  1. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    باز کردن مرجع DOI
    کپی شد.
  2. Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.

    شابک: 978-0130901262
    کپی شد.