Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون خطی (یادگیری ماشین)

معرفی‌شده توسط
Legendre, A.-M. & Gauss, C.F.
سال
1805–1809
نوع
Supervised regression
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون خطی، رابطه‌ای خط راست بین یک یا چند ویژگی ورودی و یک پیامد عددی پیوسته را با کمینه‌سازی مجموع مربعات خطاهای پیش‌بینی برازش می‌دهد. به عنوان یک مدل یادگیری ماشین، این مدل بر روی مثال‌های برچسب‌دار آموزش داده می‌شود و بر روی داده‌های جدا شده ارزیابی می‌گردد، که آن را به ساده‌ترین خط مبنای یادگیری نظارت شده برای هر وظیفه رگرسیونی تبدیل می‌کند.

شهود پشت روش

تصور کنید بهترین خط برازش را از میان نمودار پراکندگی نقاط داده رسم می‌کنید. رگرسیون خطی دقیقاً همین کار را برای چندین پیش‌بینی‌کننده به طور همزمان انجام می‌دهد: ترکیبی از وزن‌های ویژگی را پیدا می‌کند که مجموع مربعات فاصله بین پیش‌بینی‌های خط و مقادیر واقعی را کمینه می‌کند. از آنجایی که رابطه به صورت یک مجموع وزنی ساده از ورودی‌ها بیان می‌شود، هر ضریب مستقیماً به شما می‌گوید که با ثابت نگه داشتن سایر عوامل، با افزایش یک واحدی آن ویژگی، پیامد پیش‌بینی شده چقدر تغییر می‌کند. این شفافیت باعث می‌شود رگرسیون خطی به طور منحصر به فردی قابل توضیح و ممیزی باشد، حتی اگر در مواردی که رابطه واقعی منحنی است یا شامل تعاملات است، دچار کم‌برازش (underfitting) شود.

تاریخ

کمترین مربعات به طور مستقل توسط لژاندر در سال ۱۸۰۵ و گاوس در حدود سال ۱۸۰۹ منتشر شد. تا اواسط قرن بیستم، رگرسیون خطی به تکنیک بنیادی آمار کاربردی تبدیل شده بود. بازتعریف آن به عنوان یک مدل یادگیری ماشین - آموزش دیده بر روی مثال‌ها، ارزیابی شده بر روی داده‌های جدا شده، و تنظیم شده برای جلوگیری از بیش‌برازش - به آن زندگی دوم در مدل‌سازی پیش‌بینانه بخشید، جایی که همچنان خط مبنای گام اول متعارف برای هر مسئله رگرسیونی باقی مانده است.

چه زمانی استفاده شود

هنگامی از رگرسیون خطی استفاده کنید که پیامد پیوسته است، رابطه مورد انتظار بین پیش‌بینی‌کننده‌ها و پیامد تقریباً خطی است و ضرایب قابل تفسیر مورد نیاز هستند. این مدل خط مبنای مناسبی قبل از امتحان کردن مدل‌های پیچیده‌تر است و در صورتی که مفروضات آن برقرار باشند، مدل نهایی خوبی است. از آن برای پیامدهای دوتایی یا دسته‌ای استفاده نکنید (به جای آن از رگرسیون لجستیک استفاده کنید)، زمانی که الگوهای غیرخطی قوی یا تعاملات غالب هستند، یا زمانی که تعداد پیش‌بینی‌کننده‌ها بدون تنظیم (regularisation) از اندازه نمونه بیشتر است.

محدودیت‌ها و ملاحظات

  • رابطه خطی را فرض می‌کند؛ منحنی‌ها، آستانه‌ها و تعاملات را مگر اینکه به صورت دستی کدگذاری شوند، از دست می‌دهد.
  • به دلیل اینکه مربعات خطاها تأثیر نقاط پرت را تقویت می‌کنند، به نقاط پرت حساس است.
  • هم‌خطی چندگانه (Multicollinearity) بین پیش‌بینی‌کننده‌ها، خطاهای استاندارد را متورم کرده و تخمین ضرایب را بی‌ثبات می‌کند.
  • برای استنتاج معتبر، نیازمند این است که باقی‌مانده‌ها تقریباً نرمال و هم‌واریانس باشند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • ضرایب مستقیماً قابل تفسیر هستند: هر مقدار یک اثر حاشیه‌ای در واحدهای پیامد است.
  • از نظر محاسباتی ناچیز است - تقریباً بلافاصله حتی بر روی مجموعه داده‌های بزرگ برازش می‌شود.
  • خطاهای استاندارد و مقادیر p را فراهم می‌کند و از آزمون فرضیه رسمی پشتیبانی می‌کند.
  • به عنوان خط مبنای ضروری که مدل‌های پیچیده‌تر باید با آن مقایسه شوند، عمل می‌کند.
  • زمانی که فرض خطی بودن برقرار است، به خوبی کار می‌کند و کاملاً توجیه‌پذیر است.
  • سازگاری بالایی با افزونه‌های تنظیم (Ridge, Lasso, Elastic Net) در صورت زیاد بودن پیش‌بینی‌کننده‌ها دارد.

کاربردها

  • پیش‌بینی یک پیامد عددی پیوسته از ویژگی‌های جدولی در هر حوزه.
  • ایجاد یک خط مبنای عملکرد قبل از آزمایش مدل‌های گرادیان بوستینگ یا شبکه‌های عصبی.
  • تخمین اندازه‌های اثر و اثرات حاشیه‌ای در مطالعات مشاهده‌ای در صورت برقرار بودن خطی بودن.
  • پیش‌بینی تقاضا، مدل‌سازی قیمت، و برآورد منابع در تحلیل کسب‌وکار.
  • مدل‌سازی اکتشافی سریع برای شناسایی مهم‌ترین پیش‌بینی‌کننده‌ها قبل از تحلیل پیچیده‌تر.
  • توابع امتیازدهی قابل تفسیر در محیط‌هایی که شفافیت مدل از نظر قانونی یا اخلاقی الزامی است.

چگونه کار می‌کند

چگونه کار می‌کند

1

مدل، پیش‌بینی را به صورت مجموع وزنی ویژگی‌های ورودی به علاوه یک عرض از مبدأ بیان می‌کند. متغیر هدف باید پیوسته و عددی باشد؛ ورودی‌های دسته‌ای باید قبل از برازش به صورت متغیرهای مجازی (dummy) یا عددی کدگذاری شوند.

فرمول
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

کمترین مربعات معمولی، بردار ضریب را که مجموع مربعات باقی‌مانده‌ها را کمینه می‌کند، پیدا می‌کند. برای مجموعه داده‌های با اندازه متوسط، این مسئله از طریق معادلات نرمال به صورت تحلیلی حل می‌شود؛ برای مجموعه داده‌های بسیار بزرگ، از حل‌کننده‌های تکراری یا گرادیان کاهشی تصادفی به جای آن استفاده می‌شود.

فرمول
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}
3

R-squared (ضریب تعیین) خلاصه می‌کند که مدل چه مقدار از واریانس در پیامد را توضیح می‌دهد. این معیار با خطای میانگین مربعات ریشه‌ای (root mean squared error) و خطای مطلق میانگین (mean absolute error) تکمیل می‌شود که خطاها را در واحدهای اصلی پیامد گزارش می‌کنند.

فرمول
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}
4

برازش بر روی یک مجموعه آزمون جدا شده یا از طریق اعتبارسنجی متقابل k-fold برای تشخیص بیش‌برازش (overfitting) ارزیابی می‌شود. نمودارهای باقی‌مانده - باقی‌مانده‌ها در مقابل مقادیر برازش شده و نمودار Q-Q باقی‌مانده‌ها - برای بررسی خطی بودن، هم‌واریانس (homoscedasticity) و نرمال بودن خطاها قبل از اعتماد به استنتاج، بررسی می‌شوند.

دام‌های رایج

  • برون‌یابی پیش‌بینی‌ها بسیار فراتر از دامنه داده‌های آموزشی که در آن تقریب خطی از بین می‌رود.
  • نادیده گرفتن تشخیص‌های باقی‌مانده و فرض معتبر بودن مدل بدون بررسی نمودارها.
  • گنجاندن پیش‌بینی‌کننده‌های بسیار همبسته بدون پرداختن به هم‌خطی چندگانه (VIF را بررسی کنید).
  • اشتباه گرفتن R-squared با دقت پیش‌بینی بر روی داده‌های جدید - همیشه بر روی یک مجموعه جدا شده ارزیابی کنید.
  • اعمال رگرسیون خطی بر روی پیامد دوتایی یا شمارشی به جای رگرسیون لجستیک یا پواسون.

پرسش‌های متداول

رگرسیون خطی چگونه با رگرسیون لجستیک متفاوت است؟

رگرسیون خطی مستقیماً یک پیامد پیوسته را پیش‌بینی می‌کند. رگرسیون لجستیک لگاریتم شانس یک پیامد دوتایی را مدل می‌کند و احتمالات محدود بین ۰ و ۱ را خروجی می‌دهد. استفاده از رگرسیون خطی برای یک پیامد دوتایی می‌تواند پیش‌بینی‌هایی خارج از دامنه [۰، ۱] تولید کند و فرض واریانس ثابت را نقض می‌کند.

آیا نیاز به استانداردسازی ویژگی‌هایم دارم؟

استانداردسازی برای پیش‌بینی‌ها الزامی نیست، اما ضرایب را در صورت داشتن مقیاس‌های بسیار متفاوت، مستقیماً قابل مقایسه می‌کند. این امر به ویژه هنگام استفاده از انواع تنظیم شده مانند Ridge یا Lasso توصیه می‌شود.

چگونه با تعداد زیادی پیش‌بینی‌کننده نسبت به اندازه نمونه برخورد کنم؟

به رگرسیون خطی تنظیم شده (Ridge برای انقباض، Lasso برای پراکندگی، Elastic Net برای هر دو) روی بیاورید. OLS زمانی که تعداد پیش‌بینی‌کننده‌ها به تعداد مشاهدات نزدیک یا از آن فراتر می‌رود، غیرقابل اعتماد یا تعریف نشده می‌شود.

چه نمودارهای باقی‌مانده‌ای را باید بررسی کنم؟

حداقل: (۱) باقی‌مانده‌ها در مقابل مقادیر برازش شده برای بررسی الگوهایی که نشان‌دهنده غیرخطی بودن یا ناهم‌واریانسی هستند، و (۲) نمودار Q-Q باقی‌مانده‌ها برای ارزیابی نرمال بودن. نمودار مقیاس-مکان و آماره‌های اهرم/تأثیر (فاصله Cook) نیز آموزنده هستند.

آیا یک R-squared بالا برای اعلام یک مدل خوب کافی است؟

خیر. R-squared برازش درون نمونه را اندازه‌گیری می‌کند و می‌تواند توسط پیش‌بینی‌کننده‌های نامربوط متورم شود. همیشه RMSE اعتبارسنجی شده متقابل یا مجموعه آزمون را در کنار R-squared گزارش دهید و تشخیص‌های باقی‌مانده را برای تأیید برآورده شدن مفروضات مدل بررسی کنید.

روش‌های مرتبط

منابع

  1. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.

    شابک: 978-0-387-84858-7
    کپی شد.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.

    شابک: 978-1-4614-7138-7
    کپی شد.