Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون لسو

معرفی‌شده توسط
Tibshirani, R.
سال
1996
نوع
Regularized linear regression (L1 penalty)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون لسو (Lasso regression)، که در سال ۱۹۹۶ توسط رابرت تیبشیرانی معرفی شد، روشی در رگرسیون خطی است که جریمه‌ای از نوع L1 را به تابع زیان اضافه می‌کند تا ضرایب را کوچک کرده و همزمان انتخاب متغیر را انجام دهد و مدلی پراکنده (sparse) تولید کند. با صفر کردن برخی ضرایب، تنها پیش‌بینی‌کننده‌های مهم را حفظ می‌کند.

شهود پشت روش

رگرسیون حداقل مربعات معمولی (Ordinary least squares) هر پیش‌بینی‌کننده را برازش می‌دهد و می‌تواند وزن را بین متغیرهای همبسته یا نامرتبط تقسیم کند، که واریانس را افزایش داده و پنهان می‌کند کدام ویژگی‌ها واقعاً نتیجه را هدایت می‌کنند. لسو بودجه‌ای را بر اندازه کلی ضرایب اضافه می‌کند: با تنگ‌تر شدن آن بودجه، پیش‌بینی‌کننده‌های ضعیف تا انتها به سمت صفر سوق داده شده و از مدل حذف می‌شوند. نتیجه مجموعه‌ای کوچک‌تر و پایدارتر از متغیرهاست که تفسیر آن آسان‌تر است.

تاریخ

لسو توسط رابرت تیبشیرانی در سال ۱۹۹۶ به عنوان راهی برای ترکیب کوچک‌سازی رگرسیون جریمه‌شده با انتخاب خودکار متغیر، با استفاده از جریمه L1 بر ضرایب، معرفی شد. این روش به سنگ بنای آمار با ابعاد بالا تبدیل شد و روش‌های مرتبطی مانند رگرسیون ریج و شبکه الاستیک را که جریمه‌های L1 و L2 را مبادله یا ترکیب می‌کنند، برانگیخت.

چه زمانی استفاده شود

برازش خوب زمانی که یک مدل خطی پراکنده و قابل تفسیر برای پیش‌بینی یا توضیح از بین بسیاری از پیش‌بینی‌کننده‌های پیوسته، دودویی یا شمارشی، و حداقل حدود ۳۰ مشاهده می‌خواهید. این روش به ویژه زمانی مفید است که هم‌خطی چندگانه (multicollinearity) وجود دارد (به عنوان مثال VIF بالاتر از ۱۰) و می‌خواهید خود روش متغیرهای انتخابی را تعیین کند. این روش رابطه تقریباً خطی را فرض می‌کند و نیاز به استانداردسازی ویژگی‌ها دارد. در زیر حدود ۳۰ مشاهده، انتخاب متغیر ناپایدار می‌شود و رگرسیون ریج (ridge regression) ایمن‌تر است؛ هنگامی که تعداد پیش‌بینی‌کننده‌ها از اندازه نمونه بیشتر می‌شود، شبکه الاستیک (elastic net) ارجحیت دارد.

محدودیت‌ها و ملاحظات

  • رابطه خطی بین پیش‌بینی‌کننده‌ها و نتیجه را فرض می‌کند.
  • ویژگی‌ها باید ابتدا استاندارد شوند وگرنه جریمه به طور ناعادلانه‌ای متغیرها را در مقیاس‌های متفاوت اعمال می‌کند.
  • در نمونه‌های کوچک (n زیر حدود ۳۰) متغیرهای انتخاب شده ناپایدار و غیرقابل تکرار هستند.
  • هنگامی که تعداد پیش‌بینی‌کننده‌ها از اندازه نمونه بیشتر می‌شود، حداکثر می‌تواند n متغیر را انتخاب کند، بنابراین شبکه الاستیک ترجیح داده می‌شود.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • انتخاب متغیر و کوچک کردن ضریب را در یک برازش واحد انجام می‌دهد و مدلی پراکنده و قابل تفسیر ارائه می‌دهد.
  • پیش‌بینی‌کننده‌های ضعیف را دقیقاً به سمت صفر سوق می‌دهد، که مدل را ساده کرده و بیش‌برازش (overfitting) را کاهش می‌دهد.
  • پاسخی طبیعی به هم‌خطی چندگانه (VIF بالا) بدون حذف دستی متغیرها.
  • داده‌های با توزیع نرمال را لازم ندارد و پیش‌بینی‌کننده‌های پیوسته، دودویی و شمارشی را مدیریت می‌کند.
  • تنها یک پارامتر تنظیم (لامبدا) دارد که با اعتبارسنجی متقابل به راحتی قابل تعیین است.

کاربردها

  • ساخت مدل‌های پیش‌بینی پراکنده و قابل تفسیر از بین بسیاری از پیش‌بینی‌کننده‌های کاندید.
  • انتخاب خودکار متغیر در هنگام وجود هم‌خطی چندگانه (VIF بالا).
  • محیط‌های با ابعاد بالا که انتظار می‌رود تنها زیرمجموعه‌ای از ویژگی‌ها اهمیت داشته باشند.
  • یک خط پایه منظم (regularised baseline) قبل از امتحان شبکه الاستیک یا مدل‌های پیچیده‌تر.

چگونه کار می‌کند

چگونه کار می‌کند

1

لسو حداقل مجموع مربعات باقی‌مانده‌ها را به همراه جریمه‌ای برابر با لامبدا ضربدر مجموع مقادیر مطلق ضرایب، کمینه می‌کند. این جریمه L1 ویژگی تعریف‌کننده آن است: هرچه لامبدا بزرگ‌تر باشد، ضرایب بیشتر به سمت صفر کشیده می‌شوند.

فرمول
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

به دلیل داشتن گوشه‌های تیز، جریمه L1 بیش از کوچک کردن ضرایب به سمت صفر عمل می‌کند – بسیاری از آن‌ها را دقیقاً صفر می‌کند. متغیرهایی با ضریب صفر عملاً حذف می‌شوند، بنابراین برازش و انتخاب متغیر در یک مرحله انجام شده و مدل نهایی پراکنده است.

3

قدرت جریمه لامبدا، تعادل بین برازش و پراکندگی را کنترل می‌کند، بنابراین با اعتبارسنجی متقابل (cross-validation) انتخاب می‌شود: طیفی از مقادیر لامبدا امتحان شده و مقداری که میانگین مربعات خطا در اعتبارسنجی متقابل را کمینه می‌کند، نگه داشته می‌شود. ویژگی‌ها باید ابتدا استاندارد شوند تا جریمه واحد به طور منصفانه در مورد پیش‌بینی‌کننده‌هایی با مقیاس‌های متفاوت اعمال شود.

دام‌های رایج

  • برازش لسو بدون استانداردسازی ویژگی‌ها از قبل.
  • انتخاب لامبدا به صورت دستی به جای تنظیم آن با اعتبارسنجی متقابل.
  • اعتماد به متغیرهای انتخاب شده در یک نمونه بسیار کوچک که در آن انتخاب ناپایدار است.
  • فراموش کردن بررسی نمودارهای باقی‌مانده برای نرمال بودن و همگنی پس از برازش.
  • نادیده گرفتن اینکه، با پیش‌بینی‌کننده‌های بیشتر از مشاهدات، لسو تعداد متغیرهای انتخاب شده را محدود می‌کند.

پرسش‌های متداول

لامبدا چگونه انتخاب می‌شود؟

لامبدا میزان جریمه ضرایب را کنترل می‌کند. این پارامتر با اعتبارسنجی متقابل انتخاب می‌شود: طیفی از مقادیر امتحان شده و مقداری که میانگین مربعات خطا در اعتبارسنجی متقابل را کمینه می‌کند، نگه داشته می‌شود.

چرا باید ویژگی‌ها را استاندارد کنم؟

جریمه واحد L1 به طور مساوی برای هر ضریب اعمال می‌شود، بنابراین پیش‌بینی‌کننده‌هایی که در مقیاس‌های بزرگ‌تر اندازه‌گیری می‌شوند، کمتر جریمه می‌شوند. استانداردسازی ویژگی‌ها از قبل، جریمه را برای متغیرها منصفانه می‌کند.

تفاوت لسو با رگرسیون ریج چیست؟

لسو از جریمه L1 استفاده می‌کند که می‌تواند ضرایب را دقیقاً صفر کند و انتخاب متغیر را انجام دهد، در حالی که ریج از جریمه L2 استفاده می‌کند که ضرایب را کوچک می‌کند اما آن‌ها را صفر نمی‌کند. در نمونه‌های کوچک یا زمانی که انتخاب ناپایدار است، ریج انتخاب ایمن‌تری است.

پس از برازش چه چیزی را باید بررسی کنم؟

منحنی میانگین مربعات خطا در اعتبارسنجی متقابل را برای تأیید لامبدای انتخاب شده بررسی کنید، متغیرهای نگه داشته شده در مقابل متغیرهای صفر شده را مرور کنید و نمودارهای باقی‌مانده را برای نرمال بودن و همگنی بررسی نمایید.

روش‌های مرتبط

منابع

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    باز کردن مرجع DOI
    کپی شد.