Skip to content
بازگشت به نتایج جست‌وجو

الاستیک نت (Elastic Net)

معرفی‌شده توسط
Zou, H. & Hastie, T.
سال
2005
نوع
Regularized linear regression (L1 + L2 penalty)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

الاستیک نت روشی رگرسیون خطی منظم‌شده است که در سال ۲۰۰۵ توسط زو و هستی (Zou and Hastie) معرفی شد و جریمه‌های LASSO (L1) و Ridge (L2) را ترکیب می‌کند، بنابراین همزمان انتخاب متغیر و انقباض ضریب را انجام می‌دهد. این روش برای مدل‌سازی پیش‌بینانه و تبیینی بر روی داده‌هایی با پیش‌بینی‌کننده‌های متعدد، که احتمالاً همبسته هستند، طراحی شده است.

شهود پشت روش

رگرسیون خطی ساده می‌تواند بیش‌برازش (overfit) کند و در مواردی که پیش‌بینی‌کننده‌ها همبسته هستند یا تعداد ویژگی‌ها بیشتر از مشاهدات است، رفتار نامناسبی از خود نشان می‌دهد. LASSO می‌تواند ضرایب را صفر کند تا متغیرها را انتخاب کند، اما در مواردی که گروه‌هایی از پیش‌بینی‌کننده‌ها همبسته هستند، دچار مشکل می‌شود، در حالی که Ridge همه را به طور یکنواخت منقبض می‌کند اما هرگز متغیری را حذف نمی‌کند. الاستیک نت این دو را ترکیب می‌کند: توانایی LASSO در صفر کردن برخی ضرایب را حفظ می‌کند و در عین حال پایداری Ridge را نیز دارد، به طوری که پیش‌بینی‌کننده‌های همبسته به جای انتخاب دلخواه، به طور مناسبی مدیریت می‌شوند.

تاریخ

الاستیک نت در سال ۲۰۰۵ توسط هویی زو و تروور هستی (Hui Zou and Trevor Hastie) معرفی شد تا بر دو ضعف شناخته شده LASSO غلبه کند: رفتار نامنظم آن در هنگام همبستگی زیاد پیش‌بینی‌کننده‌ها و ناتوانی آن در انتخاب متغیرهای بیشتر از تعداد مشاهدات. با افزودن یک جمله L2 به سبک Ridge به جریمه L1 LASSO، آن‌ها یک برآوردگر تولید کردند که هم متغیرها را انتخاب می‌کند و هم راه‌حل را پایدار می‌سازد، و این روش به یک ابزار استاندارد برای رگرسیون با ابعاد بالا تبدیل شده است.

چه زمانی استفاده شود

از الاستیک نت برای پیش‌بینی یا تبیین نتایج پیوسته، دودویی یا شمارشی استفاده کنید، زمانی که تعداد زیادی پیش‌بینی‌کننده دارید - به ویژه موارد همبسته یا تعداد ویژگی‌های بیشتر از مشاهدات - و به انتخاب خودکار متغیر همراه با انقباض نیاز دارید. این روش فرض می‌کند که یک رابطه تقریباً خطی وجود دارد و ویژگی‌ها نرمال‌سازی شده‌اند. شما به حداقل حدود ۳۰ مشاهده نیاز دارید تا هر دو ابرپارامتر بتوانند از طریق اعتبارسنجی متقابل تنظیم شوند؛ در غیر این صورت، LASSO ساده یا Ridge ایمن‌تر هستند.

محدودیت‌ها و ملاحظات

  • رابطه تقریباً خطی بین پیش‌بینی‌کننده‌ها و نتیجه را فرض می‌کند.
  • ویژگی‌ها باید ابتدا نرمال‌سازی شوند، در غیر این صورت جریمه به طور ناعادلانه‌ای به متغیرهای با مقیاس بزرگ اولویت می‌دهد.
  • دو ابرپارامتر (قدرت جریمه و نسبت اختلاط L1/L2) باید تنظیم شوند، که به داده‌های اعتبارسنجی متقابل بیشتری نسبت به روش‌های جریمه تکی نیاز دارد.
  • در نمونه‌های کوچک (n کمتر از حدود ۳۰) نسبت اختلاط L1/L2 برای بهینه‌سازی ناپایدار است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • انتخاب متغیر LASSO را با انقباض Ridge در یک مدل واحد ترکیب می‌کند.
  • پیش‌بینی‌کننده‌های همبسته را به طور مناسبی مدیریت می‌کند و تمایل دارد آن‌ها را به صورت گروهی نگه دارد یا حذف کند.
  • زمانی که تعداد ویژگی‌ها از تعداد مشاهدات بیشتر است، کار می‌کند.
  • سبک توزیع: نیازی به توزیع نرمال نتایج ندارد و ویژگی‌های پیوسته، دودویی و شمارشی را مدیریت می‌کند.

کاربردها

  • رگرسیون با ابعاد بالا که در آن پیش‌بینی‌کننده‌ها از مشاهدات بیشترند.
  • مطالعات ژنومیک و بیومارکر با ویژگی‌های همبسته زیاد.
  • مدل‌سازی پیش‌بینانه که هم به انتخاب متغیر و هم به ضرایب قوی نیاز دارد.
  • مدل‌سازی تبیینی که در آن انقباض و حذف پیش‌بینی‌کننده‌های همبسته، سیگنال را روشن می‌کند.

چگونه کار می‌کند

چگونه کار می‌کند

1

مدل با کمینه‌سازی زیان معمول خطای مربعات به اضافه یک جریمه ترکیبی، ضرایب را برازش می‌کند: یک جمله L1 که برخی ضرایب را دقیقاً به صفر می‌رساند (انتخاب) و یک جمله L2 که آن‌ها را به طور یکنواخت منقبض می‌کند (پایداری). قدرت جریمه کلی توسط λ کنترل می‌شود و تعادل بین دو جریمه توسط پارامتر اختلاط (l1_ratio، که در اینجا α نامیده می‌شود) تعیین می‌گردد.

فرمول
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

دو ابرپارامتر برازش را کنترل می‌کنند - قدرت کلی جریمه و نسبت اختلاط L1/L2 - و این‌ها از طریق اعتبارسنجی متقابل (cross-validation) انتخاب می‌شوند. از آنجایی که به جای یک دکمه تنظیم، دو دکمه تنظیم وجود دارد، الاستیک نت برای قابل اعتماد بودن شبکه اعتبارسنجی متقابل به داده‌های کافی (حداقل حدود ۳۰ مشاهده) نیاز دارد. پیش‌بینی‌کننده‌ها باید ابتدا استاندارد شوند تا جریمه به هر ویژگی در مقیاس یکسانی اعمال شود.

3

مدل برازش‌شده مجموعه‌ای پراکنده از ضرایب را برمی‌گرداند: پیش‌بینی‌کننده‌های نامهم به صفر رانده شده و حذف می‌شوند، در حالی که پیش‌بینی‌کننده‌های همبسته به صورت گروهی با هم نگه داشته یا حذف می‌شوند، به جای اینکه یکی به طور تصادفی انتخاب شود. ضرایب باقی‌مانده، که منقبض شده‌اند، مدلی پایدارتر و قابل تعمیم‌تر از رگرسیون بدون جریمه ارائه می‌دهند.

دام‌های رایج

  • برازش بدون استانداردسازی اولیه پیش‌بینی‌کننده‌ها.
  • تلاش برای تنظیم هر دو ابرپارامتر بر روی تعداد مشاهدات کم، که شبکه اعتبارسنجی متقابل را غیرقابل اعتماد می‌کند.
  • استفاده از الاستیک نت زمانی که یک جریمه تکی کافی است - LASSO به تنهایی اگر فقط به انتخاب نیاز دارید، Ridge به تنهایی اگر فقط به انقباض نیاز دارید.
  • تفسیر ضرایب منقبض شده به عنوان اندازه‌های اثر بدون بایاس.

پرسش‌های متداول

الاستیک نت چه تفاوتی با LASSO و Ridge دارد؟

LASSO فقط از جریمه L1 استفاده می‌کند (انتخاب اما ناپایدار با پیش‌بینی‌کننده‌های همبسته)؛ Ridge فقط از جریمه L2 استفاده می‌کند (انقباض پایدار اما هرگز متغیرها را حذف نمی‌کند). الاستیک نت هر دو را ترکیب می‌کند، که توسط نسبت اختلاط کنترل می‌شود، بنابراین متغیرها را انتخاب کرده و با ویژگی‌های همبسته پایدار می‌ماند.

آیا نیاز به مقیاس‌بندی ویژگی‌هایم دارم؟

بله. جریمه بر اندازه ضرایب عمل می‌کند، بنابراین ویژگی‌ها باید ابتدا نرمال‌سازی شوند؛ در غیر این صورت متغیرهای با مقیاس بزرگ به طور متفاوتی جریمه می‌شوند و انتخاب بایاس می‌شود.

به چند مشاهده نیاز دارم؟

حداقل حدود ۳۰. الاستیک نت دو ابرپارامتر را از طریق اعتبارسنجی متقابل تنظیم می‌کند، بنابراین به داده‌های بیشتری نسبت به روش‌های جریمه تکی نیاز دارد. زیر ۳۰، از LASSO ساده استفاده کنید اگر به انتخاب نیاز دارید یا Ridge اگر به انقباض نیاز دارید.

این دو ابرپارامتر چه چیزی را کنترل می‌کنند؟

قدرت کلی جریمه (λ) میزان انقباض ضرایب را کنترل می‌کند، و نسبت اختلاط (l1_ratio) تعادل بین جریمه انتخاب L1 و جریمه انقباض L2 را تعیین می‌کند. هر دو از طریق اعتبارسنجی متقابل انتخاب می‌شوند.

روش‌های مرتبط

منابع

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    باز کردن مرجع DOI
    کپی شد.