Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون لجستیک منظم‌شده

معرفی‌شده توسط
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
سال
1996–2005
نوع
Penalized classification model
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون لجستیک منظم‌شده، رگرسیون لجستیک استاندارد را با افزودن یک جریمه L1 (لَسو)، L2 (ریج)، یا الاستیک نِت به لگاریتم درست‌نمایی گسترش می‌دهد. این کار باعث کوچک‌شدن ضرایب به سمت صفر و جلوگیری از بیش‌برازش می‌شود. این روش، انتخاب پیش‌فرض برای طبقه‌بندی دوتایی یا چندجمله‌ای است، به‌ویژه زمانی که به تخمین‌های ضریب قابل تفسیر، تنک یا پایدار در فضاهای ویژگی با ابعاد بالا یا هم‌خط نیاز دارید.

شهود پشت روش

رگرسیون لجستیک استاندارد، احتمال برچسب‌های کلاس مشاهده‌شده را حداکثر می‌کند. در تنظیمات با ابعاد بالا — یعنی ویژگی‌های زیاد، مشاهدات کم، یا پیش‌بینی‌کننده‌های همبسته — ضرایب تخمین‌زده‌شده می‌توانند به‌شدت افزایش یابند یا نوسانات زیادی داشته باشند که منجر به تعمیم‌پذیری ضعیف می‌شود. منظم‌سازی با افزودن یک جریمه که با اندازه ضریب رشد می‌کند، بزرگی ضرایب را محدود می‌کند و مقدار کمی از برازش مجموعه آموزشی را فدای تعمیم‌پذیری بسیار بهتر می‌کند. جریمه L1 برخی از ضرایب را دقیقاً به صفر می‌رساند (انتخاب خودکار ویژگی)، جریمه L2 همه ضرایب را به‌آرامی بدون صفر کردن آن‌ها کوچک می‌کند، و الاستیک نِت هر دو رفتار را ترکیب می‌کند.

تاریخ

رگرسیون ریج توسط هورل و کنارد در سال 1970 فرموله شد و برای مدل‌های خطی تعمیم‌یافته از جمله رگرسیون لجستیک به کار رفت. مقاله لسو تیبشیرانی در سال 1996 منظم‌سازی L1 را با راه‌حل‌های تنک معرفی کرد و مدل‌سازی با ابعاد بالا را متحول ساخت. زو و هستی (2005) هر دو جریمه را در الاستیک نِت ترکیب کردند و محدودیت لسو را با ویژگی‌های همبسته گروه‌بندی‌شده برطرف کردند. امروزه، رگرسیون لجستیک منظم‌شده یک الگوریتم بنیادی در scikit-learn، glmnet (R) و LIBLINEAR است و به‌طور معمول به عنوان طبقه‌بندی‌کننده معیار در کاربردهای زیست‌پزشکی و پردازش زبان طبیعی (NLP) استفاده می‌شود.

چه زمانی استفاده شود

از رگرسیون لجستیک منظم‌شده برای طبقه‌بندی دوتایی یا چندجمله‌ای استفاده کنید، زمانی که به خروجی‌های احتمالی قابل تفسیر نیاز دارید، زمانی که تعداد ویژگی‌ها نسبت به اندازه نمونه زیاد است، یا زمانی که پیش‌بینی‌کننده‌ها همبسته هستند. این مدل، مدل اولیه ترجیحی در پیش‌بینی بالینی، طبقه‌بندی متن با ویژگی‌های کیسه کلمات (bag-of-words)، و مطالعات نشانگرهای زیستی با ابعاد بالا است. L1 را زمانی انتخاب کنید که انتخاب خودکار ویژگی مورد نیاز است، L2 را برای تخمین ضریب پایدار، و الاستیک نِت را زمانی که ویژگی‌ها در گروه‌های همبسته قرار دارند. از آن زمانی که رابطه پیامد-ویژگی بسیار غیرخطی است یا زمانی که اثرات متقابل قوی وجود دارد که فرمولاسیون لگاریتم شانس خطی نمی‌تواند آن‌ها را ثبت کند، اجتناب کنید؛ در این صورت، مجموعه‌های درختی یا روش‌های هسته‌ای ممکن است مناسب‌تر باشند.

محدودیت‌ها و ملاحظات

  • رابطه خطی بین ویژگی‌ها و لگاریتم شانس را فرض می‌کند؛ نمی‌تواند اثرات غیرخطی یا متقابل را بدون مهندسی ویژگی دستی ثبت کند.
  • نیاز دارد که پیامد از نوع طبقه‌ای باشد؛ پیامدهای پیوسته به رگرسیون خطی (نه لجستیک) نیاز دارند.
  • عملکرد زمانی که ویژگی‌های مرتبط به‌شدت با هم تعامل دارند، کاهش می‌یابد، زیرا مدل در لگاریتم شانس افزودنی است.
  • لامبدای بهینه باید با اعتبارسنجی متقاطع انتخاب شود که محاسبات و یک مرحله تنظیم را اضافه می‌کند.
  • داده‌های به‌شدت نامتوازن کلاس می‌توانند احتمالات پیش‌بینی‌شده را بدون بازوزن‌دهی به سمت کلاس اکثریت سوگیری دهند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • برخلاف اکثر طبقه‌بندی‌کننده‌های جعبه سیاه، احتمالات کلاس کالیبره‌شده و ضرایب علامت‌دار قابل تفسیر تولید می‌کند.
  • جریمه L1 انتخاب خودکار ویژگی را انجام می‌دهد و مدل‌های تنکی را ارائه می‌دهد که گزارش‌دهی آن‌ها آسان است.
  • فضاهای ویژگی با ابعاد بالا (p >> n) را به‌طور قوی از طریق انقباض ضریب مدیریت می‌کند.
  • جریمه الاستیک نِت گروه‌های ویژگی‌های همبسته را به‌خوبی مدیریت می‌کند و وزن را در میان پیش‌بینی‌کننده‌های مرتبط توزیع می‌کند.
  • با استفاده از حل‌کننده‌های نزول مختصاتی، حتی بر روی مجموعه‌داده‌های بزرگ نیز بسیار سریع برازش می‌شود؛ تا میلیون‌ها مشاهده مقیاس‌پذیر است.

کاربردها

  • نمرات خطر بالینی و طبقه‌بندی‌کننده‌های تشخیصی از پنل‌های نشانگر زیستی با ابعاد بالا.
  • طبقه‌بندی متن با ویژگی‌های کیسه کلمات (bag-of-words) یا TF-IDF، که در آن L1 وزن‌های کلمه تنک و قابل تفسیر تولید می‌کند.
  • ژنتیک و پروتئومیکس که در آن تعداد ویژگی‌ها به‌شدت از اندازه نمونه بیشتر است.
  • امتیازدهی اعتباری و تشخیص تقلب که به خروجی‌های احتمالی برای تصمیم‌گیری‌های مبتنی بر آستانه نیاز دارد.
  • معیار طبقه‌بندی پایه قبل از ارزیابی مدل‌های پیچیده‌تر گروهی یا یادگیری عمیق.

چگونه کار می‌کند

چگونه کار می‌کند

1

ترکیب خطی از ویژگی‌ها، لگاریتم شانس کلاس مثبت را پیش‌بینی می‌کند. تابع سیگموئید لگاریتم شانس را به احتمالی بین 0 و 1 تبدیل می‌کند و خروجی را مستقیماً به عنوان احتمال کلاس قابل تفسیر می‌سازد.

فرمول
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

هدف بهینه‌سازی، لگاریتم درست‌نمایی منفی (آنتروپی متقاطع) به علاوه یک جمله جریمه است. جریمه با بزرگی ضرایب مقیاس می‌شود و توسط ابرپارامتر لامبدا (قدرت) و آلفا (ترکیب L1/L2) کنترل می‌شود. لامبدای بزرگ‌تر، انقباض شدیدتری را اعمال می‌کند؛ آلفا=1 لسوی خالص و آلفا=0 ریج خالص را نتیجه می‌دهد.

فرمول
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

انتخاب جریمه رفتار مدل را تعیین می‌کند: L1 (لَسو) با صفر کردن ویژگی‌های نامربوط، راه‌حل‌های تنک تولید می‌کند و زمانی که انتخاب ویژگی مورد نظر است، ترجیح داده می‌شود. L2 (ریج) زمانی ترجیح داده می‌شود که انتظار می‌رود همه ویژگی‌ها مشارکت داشته باشند و هم‌خطی بالا باشد. الاستیک نِت (آلفا بین 0 و 1) گروه‌های ویژگی‌های همبسته را بهتر از لسو به تنهایی مدیریت می‌کند.

4

زیان جریمه‌دار با استفاده از الگوریتم‌های تکراری مانند نزول مختصاتی (حل‌کننده‌های liblinear/saga در scikit-learn) حداقل می‌شود. لامبدای بهینه با اعتبارسنجی متقاطع، معمولاً در یک شبکه لگاریتمی، تعیین می‌شود. استانداردسازی ویژگی‌ها قبل از برازش ضروری است تا جریمه به‌طور یکنواخت در تمام پیش‌بینی‌کننده‌ها اعمال شود.

5

احتمالات پیش‌بینی‌شده با استفاده از یک آستانه تصمیم، که معمولاً به‌طور پیش‌فرض 0.5 است، به برچسب‌های کلاس تبدیل می‌شوند. در تنظیمات نامتوازن، آستانه باید برای متعادل‌سازی دقت و بازیابی بر اساس ساختار هزینه کاربرد تنظیم شود.

فرمول
\hat{y} = \mathbf{1}[\hat{p} \ge t]

دام‌های رایج

  • برازش بدون استانداردسازی ویژگی‌ها: جریمه با همه ضرایب به‌طور یکسان رفتار می‌کند، بنابراین ویژگی‌هایی با مقادیر عددی بزرگ، انقباض متناسب کمتری دریافت می‌کنند و راه‌حل را مخدوش می‌کنند.
  • استفاده از آستانه پیش‌فرض 0.5 بدون بررسی کالیبراسیون و توازن کلاس، که به‌طور پنهانی بازیابی را در کلاس اقلیت کاهش می‌دهد.
  • گزارش‌دهی تنها دقت به جای AUC، F1 و معیارهای کالیبراسیون، که عملکرد ضعیف کلاس اقلیت را پنهان می‌کند.
  • نادیده گرفتن اعتبارسنجی متقاطع برای انتخاب لامبدا و در عوض ارزیابی بر روی داده‌های آموزشی، که منجر به مدل‌های بیش‌برازش‌شده می‌شود.
  • تفسیر ضرایب انتخاب‌شده توسط لسو به عنوان علّی بدون در نظر گرفتن سوگیری متغیرهای حذف‌شده و ناپایداری انتخاب متغیر در نزدیکی مرز تصمیم.

پرسش‌های متداول

چگونه بین L1، L2 و الاستیک نِت انتخاب کنم؟

از L1 استفاده کنید زمانی که معتقدید تنها زیرمجموعه‌ای از ویژگی‌ها مرتبط هستند و انتخاب خودکار را می‌خواهید. از L2 استفاده کنید زمانی که احتمالاً همه ویژگی‌ها مشارکت دارند یا پیش‌بینی‌کننده‌ها به‌شدت همبسته هستند، زیرا ریج وزن را در گروه‌های همبسته توزیع می‌کند. از الاستیک نِت استفاده کنید زمانی که به تنک‌بودن نیاز دارید اما بلوک‌هایی از ویژگی‌های همبسته نیز دارید؛ آلفا را در کنار لامبدا از طریق اعتبارسنجی متقاطع تو در تو تنظیم کنید.

آیا باید ویژگی‌ها را قبل از برازش استاندارد کنم؟

بله، همیشه. جمله جریمه با همه ضرایب به‌طور یکسان رفتار می‌کند، بنابراین یک ویژگی با مقادیر عددی بزرگ، انقباض متناسب کمتری دریافت خواهد کرد مگر اینکه استاندارد شود. هر ویژگی را به میانگین صفر و واریانس واحد مرکز و مقیاس کنید قبل از برازش و همان تبدیل را به داده‌های آزمون اعمال کنید.

لامبدا چگونه انتخاب می‌شود؟

لامبدا یک ابرپارامتر است که با اعتبارسنجی متقاطع، معمولاً k-fold (k=5 یا 10) در یک شبکه لگاریتمی، انتخاب می‌شود. در glmnet R، cv.glmnet این کار را خودکار می‌کند. در scikit-learn، LogisticRegressionCV یا GridSearchCV با اعتبارسنجی متقاطع بر روی معکوس قدرت منظم‌سازی C (C=1/lambda) باید استفاده شود.

آیا رگرسیون لجستیک منظم‌شده احتمالات کالیبره‌شده می‌دهد؟

به‌طور کلی بله، بهتر از مجموعه‌های درختی، زیرا رگرسیون لجستیک مستقیماً احتمالات کلاس را از طریق سیگموئید مدل می‌کند. با این حال، منظم‌سازی شدید می‌تواند احتمالات پیش‌بینی‌شده را به سمت 0.5 فشرده کند. مقیاس‌بندی پلات (Platt scaling) یا رگرسیون ایزوتونیک (isotonic regression) در صورت نیاز می‌تواند مجدداً کالیبره کند.

چگونه عدم توازن کلاس را مدیریت کنم؟

class_weight='balanced' (scikit-learn) را تنظیم کنید تا مشاهدات کلاس اقلیت وزن زیان بالاتری دریافت کنند، یا مجموعه آموزشی را به‌صورت دستی بازنمونه‌برداری کنید. همچنین آستانه تصمیم را با استفاده از منحنی دقت-بازیابی به جای ثابت کردن آن بر روی 0.5 تنظیم کنید.

روش‌های مرتبط

منابع

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    باز کردن مرجع DOI
    کپی شد.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    شابک: 978-0-387-84857-0
    کپی شد.