Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون ریج (Ridge Regression)

معرفی‌شده توسط
Hoerl, A.E. & Kennard, R.W.
سال
1970
نوع
L2-regularized linear regression

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون ریج یک روش رگرسیون خطی با تنظیم‌کننده L2 است که در سال ۱۹۷۰ توسط آرتور هورل و رابرت کنارد معرفی شد. این روش با افزودن یک جریمه به اندازه ضرایب، هم‌خطی چندگانه را کاهش می‌دهد. رگرسیون ریج ضرایب را به سمت صفر کوچک می‌کند، بدون اینکه هیچ‌یک از آن‌ها را دقیقاً صفر کند، و در نتیجه تخمین‌های پایدارتری را در شرایطی که پیش‌بینی‌کننده‌ها همبستگی بالایی دارند، ارائه می‌دهد.

شهود پشت روش

هنگامی که پیش‌بینی‌کننده‌ها به شدت همبسته هستند، ضرایب حداقل مربعات معمولی ناپایدار می‌شوند و می‌توانند به شدت از نمونه‌ای به نمونه دیگر نوسان کنند. رگرسیون ریج عمداً مقدار کمی سوگیری را در ازای واریانس بسیار پایین‌تر می‌پذیرد: با افزودن جریمه‌ای بر اندازه مجذور ضرایب، این نوسانات شدید را مهار می‌کند و همه متغیرها را در مدل نگه می‌دارد، اما با وزن‌های کوچک‌تر و پایدارتر.

تاریخ

رگرسیون ریج در سال ۱۹۷۰ توسط آرتور ای. هورل و رابرت دبلیو. کنارد به عنوان راهی برای به دست آوردن تخمین‌های سوگیرانه اما پایدارتر برای مسائل ناهم‌خط (هم‌خط) معرفی شد، جایی که حداقل مربعات معمولی از کار می‌افتد. ایده افزودن جریمه L2 به ابزاری بنیادی در رگرسیون تنظیم‌شده و پیش‌ساز مستقیم روش‌های بعدی مانند LASSO و Elastic Net تبدیل شد، که رفتار کوچک‌سازی آن را با انتخاب صریح متغیر ترکیب یا مقایسه می‌کنند.

چه زمانی استفاده شود

از رگرسیون ریج برای پیش‌بینی با پیش‌بینی‌کننده‌های پیوسته، باینری یا شمارشی در حضور هم‌خطی چندگانه استفاده کنید — برای مثال، زمانی که عامل تورم واریانس از ۱۰ فراتر می‌رود — و می‌خواهید همه متغیرها را حفظ کنید نه اینکه از بین آن‌ها انتخاب کنید. این روش یک رابطه تقریباً خطی و حداقل حدود ۳۰ مشاهده را فرض می‌کند. ویژگی‌ها باید ابتدا استاندارد شوند. هنگامی که نمونه‌ها کوچک و هم‌خطی خفیف است، رگرسیون خطی ساده قابل تفسیرتر است؛ هنگامی که انتخاب متغیر هدف است، LASSO یا Elastic Net ارجحیت دارند.

محدودیت‌ها و ملاحظات

  • انتخاب متغیر انجام نمی‌دهد؛ نمی‌تواند پیش‌بینی‌کننده‌های نامربوط را مانند LASSO صفر کند.
  • نیاز دارد که ویژگی‌ها استاندارد شوند، در غیر این صورت جریمه به طور ناعادلانه به نفع متغیرهای با مقیاس بزرگ خواهد بود.
  • یک رابطه خطی بین پیش‌بینی‌کننده‌ها و نتیجه را فرض می‌کند.
  • در نمونه‌های کوچک (n کمتر از حدود ۳۰)، تنظیم آلفا با اعتبارسنجی متقابل غیرقابل اعتماد است و OLS ساده ممکن است کافی باشد.
  • هنگامی که هم‌خطی واقعاً یک مشکل نیست، کوچک‌سازی غیرضروری است و قابلیت تفسیر را کاهش می‌دهد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • هم‌خطی چندگانه را کاهش می‌دهد و تخمین‌های ضریب را با افزودن جریمه L2 پایدار می‌کند.
  • همه پیش‌بینی‌کننده‌ها را در مدل نگه می‌دارد — ضرایب کوچک می‌شوند اما هیچ‌یک به صفر نمی‌رسند.
  • واریانس را به قیمت افزایش کوچک و کنترل‌شده سوگیری کاهش می‌دهد که اغلب پیش‌بینی را بهبود می‌بخشد.
  • دارای یک فراپارامتر (آلفا) است که به راحتی تنظیم می‌شود و با اعتبارسنجی متقابل انتخاب می‌گردد.
  • با پیش‌بینی‌کننده‌های پیوسته، باینری و شمارشی کار می‌کند بدون اینکه نیاز به داده‌های با توزیع نرمال داشته باشد.

کاربردها

  • پیش‌بینی با بسیاری از پیش‌بینی‌کننده‌های همبسته که در آن هم‌خطی چندگانه واریانس OLS را افزایش می‌دهد.
  • پایدارسازی ضرایب رگرسیون زمانی که عوامل تورم واریانس بالا هستند (VIF بالای ۱۰).
  • مدل‌سازی زمانی که همه پیش‌بینی‌کننده‌ها باید حفظ شوند نه اینکه حذف گردند.
  • یک خط مبنای تنظیم‌شده قبل از مقایسه با LASSO یا Elastic Net.

چگونه کار می‌کند

چگونه کار می‌کند

1

حداقل مربعات معمولی ضرایب را با حداقل کردن تنها خطای مجذور برازش می‌کند. هنگامی که دو یا چند پیش‌بینی‌کننده تقریباً زائد هستند (هم‌خطی چندگانه)، این امر باعث می‌شود ضرایب به خوبی تعیین نشوند و به شدت به نویز حساس باشند. ریج با ممانعت از ضرایب بزرگ، این مشکل را حل می‌کند و در ازای پایداری بسیار بیشتر، کمی سوگیری را معاوضه می‌کند.

2

ریج مجموع معمول خطاهای مجذور را به علاوه جریمه‌ای برابر با یک ثابت تنظیم (آلفا) ضربدر مجموع ضرایب مجذور، حداقل می‌کند. این جریمه L2 همه ضرایب را متناسب با اندازه آن‌ها به سمت صفر کوچک می‌کند، اما برخلاف LASSO، هرگز هیچ ضریبی را دقیقاً صفر نمی‌کند، بنابراین هر پیش‌بینی‌کننده حفظ می‌شود. استانداردسازی ویژگی‌ها از قبل ضروری است تا جریمه با هر پیش‌بینی‌کننده به طور منصفانه برخورد کند.

فرمول
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2
3

قدرت جریمه توسط آلفا کنترل می‌شود: مقادیر بزرگ‌تر، ضرایب را بیشتر کوچک می‌کنند. مقدار صحیح با اعتبارسنجی متقابل انتخاب می‌شود، معمولاً با اسکن طیفی از آلفا و انتخاب مقداری که میانگین خطای مجذور اعتبارسنجی متقابل را حداقل می‌کند.

دام‌های رایج

  • برازش ریج بر روی ویژگی‌های خام و غیراستاندارد، به طوری که جریمه ضرایب را مخدوش می‌کند.
  • انتخاب آلفا به صورت دستی به جای انتخاب آن از طریق اعتبارسنجی متقابل.
  • اعمال ریج در شرایطی که هم‌خطی چندگانه واقعی وجود ندارد، و کوچک کردن ضرایب بدون هیچ فایده‌ای.
  • انتظار انتخاب متغیر — ریج همه متغیرها را حفظ می‌کند، بنابراین اگر به پراکندگی نیاز دارید، به LASSO یا Elastic Net روی آورید.
  • نادیده گرفتن تشخیص‌های باقیمانده (نرمالیته، هم‌سانی واریانس) پس از برازش.

پرسش‌های متداول

ریج چه تفاوتی با LASSO دارد؟

هر دو جریمه‌ای برای کوچک کردن ضرایب اضافه می‌کنند، اما ریج از جریمه L2 استفاده می‌کند که ضرایب را به سمت صفر کوچک می‌کند بدون اینکه هرگز به آن برسد، بنابراین همه پیش‌بینی‌کننده‌ها در مدل باقی می‌مانند. LASSO از جریمه L1 استفاده می‌کند که می‌تواند ضرایب را دقیقاً صفر کند و انتخاب متغیر را انجام دهد. ریج را برای پایدارسازی پیش‌بینی‌کننده‌های همبسته و LASSO را زمانی که به یک مدل پراکنده نیاز دارید، انتخاب کنید.

آیا نیاز به استانداردسازی ویژگی‌هایم دارم؟

بله. استانداردسازی ویژگی‌ها ضروری است، زیرا جریمه L2 بر اندازه ضرایب عمل می‌کند؛ بدون استانداردسازی، جریمه به طور ناعادلانه متغیرهایی را که در مقیاس‌های بزرگ‌تر اندازه‌گیری شده‌اند، کوچک می‌کند.

چگونه قدرت جریمه آلفا را انتخاب کنم؟

آلفا را با اعتبارسنجی متقابل انتخاب کنید: طیفی از مقادیر را اسکن کنید و مقداری را انتخاب کنید که میانگین خطای مجذور اعتبارسنجی متقابل را حداقل می‌کند. رسم نمودار منحنی CV MSE در برابر آلفا نشان می‌دهد که نقطه بهینه کجاست.

چه زمانی نباید از ریج استفاده کنم؟

اگر هم‌خطی چندگانه واقعی وجود ندارد، ریج کوچک‌سازی غیرضروری را اضافه می‌کند و یک رگرسیون خطی ساده قابل تفسیرتر است. با نمونه‌های بسیار کوچک (n کمتر از حدود ۳۰)، تنظیم آلفا غیرقابل اعتماد است، و اگر نیاز به حذف متغیرهای نامربوط دارید، باید به جای آن از LASSO یا Elastic Net استفاده کنید.

روش‌های مرتبط

منابع

  1. Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.

    باز کردن مرجع DOI
    کپی شد.