Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون خطی منظم شده

معرفی‌شده توسط
Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
سال
1970–2005
نوع
Penalized linear model
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون خطی منظم شده با افزودن یک جمله جریمه به هدف کمترین مربعات معمولی، ضرایب را کوچک یا صفر می‌کند تا بیش‌برازش را کاهش داده و هم‌خطی چندگانه را مدیریت کند. سه نوع اصلی - ریج (جریمه L2)، لسو (جریمه L1) و الاستیک نت (ترکیبی L1+L2) - رگرسیون خطی را حتی زمانی که تعداد ویژگی‌ها از مشاهدات بیشتر است یا پیش‌بینی‌کننده‌ها همبستگی بالایی دارند، قابل استفاده می‌سازند.

شهود پشت روش

کمترین مربعات معمولی به هر پیش‌بینی‌کننده دقیقاً ضریبی را می‌دهد که خطای درون نمونه را به حداقل می‌رساند، که می‌تواند ضرایب بسیار بزرگ و ناپایدار را هنگام همبستگی پیش‌بینی‌کننده‌ها یا زمانی که مجموعه داده دارای ویژگی‌های زیادی است، تولید کند. منظم‌سازی این ضرایب را به سمت صفر می‌کشد - محکم اما منصفانه - بنابراین مدل در ازای تعمیم بسیار بهتر، کمی دقت آموزش را از دست می‌دهد. ریج تمام ضرایب را به طور متناسب کوچک می‌کند؛ لسو فراتر می‌رود و می‌تواند برخی را دقیقاً صفر کند، که به طور مؤثر ویژگی‌ها را انتخاب می‌کند؛ الاستیک نت هر دو استراتژی را ترکیب می‌کند و زمانی کار می‌کند که پیش‌بینی‌کننده‌های همبسته نیاز به نگهداری با هم داشته باشند.

تاریخ

رگرسیون ریج در سال ۱۹۷۰ توسط هورل و کنارد به عنوان درمانی برای هم‌خطی چندگانه در کمترین مربعات معمولی معرفی شد. مقاله لسو تیبشیرانی در سال ۱۹۹۶ منظم‌سازی L1 و قابلیت کوچک کردن ضرایب به صفر را اضافه کرد و انتخاب خودکار ویژگی را ممکن ساخت. زو و هاستی در سال ۲۰۰۵ با الاستیک نت این ایده‌ها را گسترش دادند و جریمه‌های L1 و L2 را برای مدیریت گروه‌های پیش‌بینی‌کننده‌های همبسته ترکیب کردند. این سه روش، مجموعه ابزار منظم‌سازی متعارف برای مدل‌های خطی را تشکیل می‌دهند و از ارکان یادگیری آماری عناصر و مقدمه‌ای بر یادگیری آماری هستند.

چه زمانی استفاده شود

هنگام پیش‌بینی یک نتیجه پیوسته از بسیاری از ویژگی‌های عددی و حداقل برخی هم‌خطی چندگانه مشکوک، یا زمانی که تعداد ویژگی‌ها نسبت به اندازه نمونه زیاد است، از رگرسیون خطی منظم شده استفاده کنید. ریج انتخاب پیش‌فرض است زمانی که همه ویژگی‌ها به طور منطقی مرتبط هستند؛ لسو یا الاستیک نت زمانی که انتخاب خودکار ویژگی مورد نیاز است. رگرسیون خطی معمولی (بدون جریمه) را فقط زمانی ترجیح دهید که ویژگی‌ها کم، بدون همبستگی و نمونه بزرگ باشد. از هیچ نوع خطی استفاده نکنید زمانی که نتیجه به وضوح غیرخطی است یا زمانی که دودویی یا دسته‌ای است - به جای آن از رگرسیون لجستیک یا روش‌های مبتنی بر درخت استفاده کنید.

محدودیت‌ها و ملاحظات

  • رابطه خطی بین ویژگی‌ها و هدف پیوسته را فرض می‌کند؛ الگوهای غیرخطی را مگر اینکه ویژگی‌ها به صورت دستی مهندسی شده باشند، از دست می‌دهد.
  • استانداردسازی ویژگی قبل از برازش اجباری است؛ فراموش کردن این مرحله تخمین ضرایب را تحریف می‌کند.
  • لسو زمانی که بسیاری از پیش‌بینی‌کننده‌های همبسته واقعاً مرتبط وجود دارند، عملکرد ضعیفی دارد - یکی را به دلخواه انتخاب کرده و بقیه را حذف می‌کند؛ الاستیک نت در آن تنظیمات انتخاب ایمن‌تری است.
  • ریج تمام ویژگی‌ها را حفظ می‌کند و مدل پراکنده‌ای تولید نمی‌کند، که می‌تواند تفسیر را در زمانی که فضای ویژگی بسیار پربعد است، پیچیده کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • ضرایب خطی کاملاً قابل تفسیر با اندازه‌های اثر و جهت‌های صریح تولید می‌کند.
  • هم‌خطی چندگانه را به خوبی مدیریت می‌کند - ریج ضرایب را در میان پیش‌بینی‌کننده‌های همبسته توزیع مجدد می‌کند؛ لسو یکی را از یک گروه انتخاب می‌کند.
  • لسو و الاستیک نت انتخاب ویژگی داخلی را با صفر کردن ضرایب نامربوط انجام می‌دهند.
  • حتی در مجموعه داده‌های بزرگ نیز از نظر محاسباتی کارآمد است؛ با نزول مختصات به میلیون‌ها مشاهده مقیاس می‌شود.
  • انتخاب لامبدای اعتبارسنجی شده متقابل در تمام نرم‌افزارهای آماری اصلی (scikit-learn، glmnet، statsmodels) به خوبی پشتیبانی می‌شود.

کاربردها

  • ژنتیک و بیوانفورماتیک: پیش‌بینی فنوتیپ‌های پیوسته از هزاران نشانگر ژنتیکی که در آن p >> n.
  • اقتصاد و علوم اجتماعی: تخمین اثرات بسیاری از متغیرهای سیاستی بر نتایج پیوسته ضمن کنترل هم‌خطی چندگانه.
  • مهندسی: پیش‌بینی کمیت‌های فیزیکی از آرایه‌های حسگر با اندازه‌گیری‌های همبسته.
  • خط لوله انتخاب ویژگی: لسو یا الاستیک نت که در بالادست برای شناسایی یک مجموعه پیش‌بینی‌کننده کوچک قبل از برازش یک مدل پیچیده‌تر استفاده می‌شوند.
  • مالی: پیش‌بینی بازده یا معیارهای ریسک از بسیاری از عوامل اقتصاد کلان و بازار.
  • مراقبت‌های بهداشتی: پیش‌بینی نتایج بالینی پیوسته از پانل‌های بزرگ مقادیر آزمایشگاهی یا ویژگی‌های مشتق شده از تصویربرداری.

چگونه کار می‌کند

چگونه کار می‌کند

1

قبل از برازش، تمام پیش‌بینی‌کننده‌ها استاندارد می‌شوند (میانگین صفر، واریانس واحد). این اجباری است زیرا جریمه به طور مساوی به هر ضریب اعمال می‌شود - بدون استانداردسازی، ویژگی‌هایی در مقیاس‌های بزرگتر بیشتر جریمه می‌شوند و تخمین ضرایب را تحریف می‌کنند.

2

دست‌اندرکار نوع جریمه را انتخاب می‌کند: ریج از مجموع مربعات ضرایب (نُرم L2) استفاده می‌کند، که تمام ضرایب را کوچک می‌کند اما هیچ‌کدام را هرگز صفر نمی‌کند. لسو از مجموع مقادیر مطلق (نُرم L1) استفاده می‌کند، که می‌تواند برخی ضرایب را دقیقاً صفر کند و انتخاب خودکار ویژگی را انجام دهد. الاستیک نت به طور خطی L1 و L2 را ترکیب می‌کند، که توسط پارامتر اختلاط آلفا کنترل می‌شود، و به ویژه زمانی مفید است که چندین پیش‌بینی‌کننده همبسته مرتبط باشند.

فرمول
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2
3

مدل، هدف جریمه‌شده را به حداقل می‌رساند - مجموع مربعات باقی‌مانده به علاوه جریمه انتخاب شده مقیاس‌بندی شده توسط قدرت منظم‌سازی لامبدا. برای ریج، این یک راه‌حل بسته دارد؛ لسو و الاستیک نت به دلیل غیرقابل مشتق بودن جریمه L1 در صفر، به نزول مختصات یا بهینه‌سازی زیرگرادیان نیاز دارند.

فرمول
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]
4

قدرت منظم‌سازی لامبدا یک ابرپارامتر است که باید از طریق اعتبارسنجی متقابل، معمولاً در یک شبکه لگاریتمی، تنظیم شود. لامبدای صفر، کمترین مربعات معمولی را بازیابی می‌کند؛ لامبدای بسیار بزرگ تمام ضرایب را به سمت صفر می‌راند. لامبدای بهینه، سوگیری و واریانس را برای مجموعه داده خاص متعادل می‌کند.

5

پس از ثابت شدن لامبدا و تخمین ضرایب، پیش‌بینی برای مشاهدات جدید دقیقاً مانند رگرسیون خطی معمولی است: حاصلضرب داخلی ویژگی‌ها و ضرایب تخمین زده شده. مدل از نظر اثرات خطی کاملاً قابل تفسیر باقی می‌ماند.

فرمول
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}

دام‌های رایج

  • برازش بدون استانداردسازی پیش‌بینی‌کننده‌ها، بنابراین ویژگی‌هایی در مقیاس‌های بزرگتر بیشتر جریمه می‌شوند و ضرایب قابل مقایسه نیستند.
  • استفاده از لامبدای پیش‌فرض به جای انتخاب آن از طریق اعتبارسنجی متقابل - یک لامبدای اشتباه یا کم‌منظم‌سازی می‌کند (نزدیک به کمترین مربعات معمولی) یا بیش‌منظم‌سازی می‌کند (ضرایب به صفر فرو می‌ریزند).
  • اعمال رگرسیون خطی منظم شده به یک نتیجه دودویی یا شمارشی زمانی که باید به جای آن از رگرسیون لجستیک یا رگرسیون پواسون استفاده شود.
  • گزارش نتایج انتخاب متغیر لسو به گونه‌ای که گویی تأییدی هستند - انتخاب لسو به مجموعه داده و لامبدا حساس است، بنابراین متغیرهای انتخاب شده را اکتشافی در نظر بگیرید.
  • نادیده گرفتن فرض خطی بودن و گزارش یک مدل منظم شده با برازش ضعیف بدون بررسی باقی‌مانده‌ها.

پرسش‌های متداول

چه زمانی باید ریج را به لسو ترجیح دهم؟

زمانی که معتقدید بیشتر پیش‌بینی‌کننده‌ها به نتیجه کمک می‌کنند و خواهان تخمین‌های ضریب پایدار بدون صفر کردن هیچ‌کدام هستید، ریج را انتخاب کنید - به عنوان مثال، زمانی که پیش‌بینی‌کننده‌ها همبستگی بالایی دارند و می‌خواهید همه آنها را حفظ کنید. زمانی که انتظار دارید بسیاری از ویژگی‌ها نامربوط باشند و خواهان انتخاب خودکار ویژگی هستید، لسو یا الاستیک نت را انتخاب کنید.

آیا هنوز مقادیر p و فواصل اطمینان را دریافت می‌کنم؟

مقادیر p کلاسیک و خطاهای استاندارد به طور مستقیم از رگرسیون جریمه شده در دسترس نیستند زیرا تخمین‌های ضریب به دلیل طراحی، سوگیرانه هستند. روش‌های استنتاج پس از انتخاب (مانند لسو ناهموار شده) وجود دارند اما به ندرت در عمل استفاده می‌شوند؛ در عوض، فواصل اطمینان بوت استرپ یا معیارهای پایداری اعتبارسنجی شده متقابل گزارش می‌شوند.

چگونه قدرت منظم‌سازی لامبدا را انتخاب کنم؟

لامبدا را با استفاده از اعتبارسنجی متقابل k-fold (معمولاً k = 5 یا 10) در یک شبکه لگاریتمی انتخاب کنید. کتابخانه‌هایی مانند RidgeCV و LassoCV در scikit-learn یا glmnet در R این کار را به طور خودکار انجام می‌دهند. لامبدای انتخاب شده را گزارش دهید و ذکر کنید که آیا با حداقل خطای اعتبارسنجی متقابل یا با قانون یک خطای استاندارد انتخاب شده است.

آیا رگرسیون خطی منظم شده به ویژگی‌های توزیع نرمال نیاز دارد؟

خیر. مانند کمترین مربعات معمولی، فرض بر روی باقی‌مانده‌ها است (تقریباً نرمال، هموسکداسیک)، نه بر روی پیش‌بینی‌کننده‌ها. پیش‌بینی‌کننده‌های با توزیع بسیار کج یا دارای داده‌های پرت همچنان می‌توانند تخمین‌ها را تحریف کنند، بنابراین تبدیل لگاریتمی ورودی‌های کج یک مرحله پیش‌پردازش رایج است.

الاستیک نت چیست و چه زمانی ترجیح داده می‌شود؟

الاستیک نت جریمه‌های L1 و L2 را ترکیب می‌کند، که توسط پارامتر اختلاط آلفا کنترل می‌شود (آلفای ۱ لسو خالص است؛ آلفای ۰ ریج خالص است). زمانی ترجیح داده می‌شود که گروه‌هایی از پیش‌بینی‌کننده‌های همبسته همگی مرتبط باشند - لسو به دلخواه یکی از گروه را انتخاب کرده و بقیه را حذف می‌کند، در حالی که الاستیک نت تمایل دارد گروه را با هم نگه دارد.

روش‌های مرتبط

منابع

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    باز کردن مرجع DOI
    کپی شد.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.

    شابک: 978-0-387-84858-7
    کپی شد.