Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون لجستیک (یادگیری ماشین)

معرفی‌شده توسط
Cox, D. R.
سال
1958
نوع
Probabilistic linear classifier
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون لجستیک یک طبقه‌بند احتمالی بنیادی است که لگاریتم شانس (log-odds) یک پیامد دوتایی (یا چندجمله ای) را به عنوان تابعی خطی از پیش‌بینی‌کننده‌ها مدل‌سازی می‌کند. این روش که در سال ۱۹۵۸ توسط دی. آر. کاکس معرفی شد، همچنان یکی از پرکاربردترین و قابل تفسیرترین روش‌های طبقه‌بندی در آمار و یادگیری ماشین است که به دلیل خروجی‌های احتمالی کالیبره شده و تفسیر شفاف ضرایبش ارزشمند است.

شهود پشت روش

رگرسیون لجستیک می‌پرسد: با توجه به مجموعه‌ای از ویژگی‌ها، احتمال تعلق یک مشاهده به یک کلاس خاص چقدر است؟ این روش یک خط مستقیم را به لگاریتم شانس پیامد برازش می‌دهد، سپس آن امتیاز خطی را از طریق یک منحنی سیگموئید (S شکل) فشرده می‌کند تا احتمالی بین ۰ و ۱ تولید کند. ضریب هر پیش‌بینی‌کننده مستقیماً به شما می‌گوید که چگونه تغییر یک واحدی در آن ویژگی، لگاریتم شانس کلاس مثبت را تغییر می‌دهد و این مدل را بسیار شفاف می‌سازد. یک احتمال پیش‌بینی‌شده بالاتر از ۰.۵ به عنوان کلاس مثبت طبقه‌بندی می‌شود، اگرچه این آستانه قابل تنظیم است.

تاریخ

دیوید کاکس در سال ۱۹۵۸ رگرسیون لجستیک را برای پیامدهای دوتایی رسمی کرد و کار قبلی بر روی مدل‌های پروبیت را گسترش داد. در طول دهه‌های ۱۹۷۰-۱۹۸۰، این مدل به طبقه‌بند استاندارد در اپیدمیولوژی و علوم اجتماعی تبدیل شد. چارچوب درست‌نمایی بیشینه، که به پیامدهای چندجمله‌ای و انواع منظم‌شده گسترش یافت، توسط لاسو تیبشیرانی (۱۹۹۶) و توسط کتاب "عناصر یادگیری آماری" هاستی، تیبشیرانی و فریدمن (۲۰۰۱) تثبیت شد. امروزه، این مدل همچنان طبقه‌بند قابل تفسیر کانونی باقی مانده و در بسیاری از دستورالعمل‌های داوری همتا، پایه الزامی است.

چه زمانی استفاده شود

زمانی از رگرسیون لجستیک استفاده کنید که پیامد دوتایی یا دسته‌ای باشد، حجم نمونه حداقل متوسط باشد (به عنوان یک قاعده سرانگشتی n > ۱۰ رویداد به ازای هر پیش‌بینی‌کننده)، و ضرایب قابل تفسیر یا احتمالات کالیبره شده مورد نیاز باشد. این طبقه‌بند پایه پیش‌فرض در علوم اجتماعی، پزشکی و اپیدمیولوژی است و باید قبل از مدل‌های پیچیده‌تر امتحان شود. زمانی از آن اجتناب کنید که مرز تصمیم به شدت غیرخطی است، زمانی که به بسیاری از جملات تعاملی نیاز است، یا زمانی که دقت پیش‌بینی در داده‌های جدولی پیچیده مهم‌تر از تفسیرپذیری است — در این موارد، مجموعه‌های مبتنی بر درخت یا SVMها معمولاً عملکرد بهتری دارند.

محدودیت‌ها و ملاحظات

  • رابطه خطی بین ویژگی‌ها و لگاریتم شانس پیامد را فرض می‌کند؛ الگوهای غیرخطی نیازمند مهندسی ویژگی دستی یا یک مدل غیرخطی هستند.
  • به هم‌خطی چندگانه (multicollinearity) بین پیش‌بینی‌کننده‌ها حساس است: ویژگی‌های همبسته خطاهای استاندارد ضرایب را متورم کرده و تخمین‌ها را بی‌ثبات می‌کنند.
  • به تعداد معقولی رویداد به ازای هر پیش‌بینی‌کننده نیاز دارد (قاعده سرانگشتی: حداقل ۱۰ مورد)؛ کلاس‌های پیامد پراکنده باعث مشکلات همگرایی و بیش‌برازش می‌شوند.
  • ممکن است در داده‌های جدولی پیچیده با تعاملات زیاد، عملکرد ضعیف‌تری نسبت به روش‌های مجموعه‌ای (جنگل تصادفی، تقویت گرادیان) داشته باشد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • احتمالات کلاس کالیبره شده تولید می‌کند، نه فقط برچسب‌ها، که مستقیماً برای رتبه‌بندی و تعیین آستانه تصمیم قابل استفاده هستند.
  • ضرایب به عنوان نسبت شانس (odds ratios) قابل تفسیر هستند و استانداردهای مورد انتظار در تحقیقات بالینی، علوم اجتماعی و سیاست‌گذاری را برآورده می‌کنند.
  • حتی در مجموعه داده‌های بزرگ نیز از نظر محاسباتی سریع و از نظر حافظه کارآمد است.
  • انواع منظم‌شده (ریج، لاسو، الاستیک نت) ویژگی‌های با ابعاد بالا را مدیریت می‌کنند و انتخاب خودکار ویژگی را انجام می‌دهند.
  • مفروضات سبکی نسبت به تحلیل تبعیضی دارد: نیازی به نرمال بودن چندمتغیره پیش‌بینی‌کننده‌ها ندارد.
  • مقاوم و به‌خوبی درک شده؛ به عنوان یک پایه قوی و معتبر عمل می‌کند که مدل‌های پیچیده باید با آن مقایسه شوند.

کاربردها

  • تشخیص بیماری و امتیازدهی ریسک بالینی (به عنوان مثال، پیش‌بینی مجدد بستری یا مرگ و میر).
  • ریسک اعتباری و تشخیص تقلب در امور مالی.
  • مدل‌سازی پاسخ نظرسنجی دوتایی در علوم اجتماعی و اپیدمیولوژی.
  • طبقه‌بندی هرزنامه و احساسات به عنوان یک پایه متنی سریع و قابل تفسیر.
  • طبقه‌بند پایه قبل از استقرار مدل‌های مجموعه‌ای پیچیده‌تر.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک مجموع وزنی از تمام ویژگی‌های ورودی محاسبه می‌شود. هر ویژگی ضریبی (وزن) دریافت می‌کند که از داده‌ها آموخته می‌شود؛ عرض از مبدأ، لگاریتم شانس پایه را زمانی که تمام ویژگی‌ها صفر هستند، در بر می‌گیرد. این از نظر شکل با رگرسیون خطی یکسان است اما خروجی به عنوان یک امتیاز لگاریتم شانس تفسیر می‌شود تا یک پیش‌بینی عددی مستقیم.

فرمول
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

امتیاز خطی با تابع سیگموئید تبدیل می‌شود که هر عدد حقیقی را به بازه باز (۰، ۱) نگاشت می‌کند. این امر یک احتمال کلاس کالیبره شده خوب را ارائه می‌دهد. برای مسائل چندکلاسه، تابع سافت‌مکس این مرحله را تعمیم می‌دهد تا یک توزیع احتمال بر روی تمام کلاس‌ها تولید کند.

فرمول
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}
3

پارامترهای مدل با بیشینه‌سازی درست‌نمایی لگاریتمی برچسب‌های مشاهده شده با توجه به احتمالات پیش‌بینی‌شده تخمین زده می‌شوند. این معادل کمینه‌سازی زیان آنتروپی متقاطع دوتایی است. برخلاف کمترین مربعات معمولی، راه‌حل فرم بسته وجود ندارد: از یک الگوریتم بهینه‌سازی تکراری (معمولاً نیوتن-رافسون یا گرادیان کاهشی) استفاده می‌شود.

فرمول
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]
4

یک حل‌کننده تکراری — مانند L-BFGS، نیوتن-رافسون، یا گرادیان کاهشی تصادفی — بردار ضرایب را تا همگرایی به‌روزرسانی می‌کند. می‌توان جملات منظم‌سازی (L1 یا L2) را به تابع هدف اضافه کرد تا ضرایب را کوچک کند، از بیش‌برازش جلوگیری کند و انتخاب خودکار ویژگی را امکان‌پذیر سازد (L1 / لاسو).

5

احتمال برازش‌شده با یک آستانه طبقه‌بندی (پیش‌فرض ۰.۵) مقایسه می‌شود تا یک برچسب کلاس اختصاص داده شود. در تنظیمات نامتعادل یا زمانی که هزینه‌های مثبت کاذب و منفی کاذب متفاوت است، این آستانه باید با استفاده از منحنی دقت-بازیابی یا تحلیل ROC تنظیم شود و نباید روی ۰.۵ باقی بماند.

فرمول
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]

دام‌های رایج

  • نادیده گرفتن تقسیم آموزش/آزمون یا اعتبارسنجی متقابل و ارزیابی بر روی داده‌های آموزشی، که عملکرد ظاهری را متورم می‌کند.
  • استفاده از دقت به عنوان تنها معیار با کلاس‌های نامتعادل به جای گزارش AUC-ROC، F1 و ماتریس درهم‌ریختگی.
  • نادیده گرفتن فرض خطی بودن و اعمال رگرسیون لجستیک بر روی داده‌هایی با مرزهای کلاس به شدت غیرخطی بدون بررسی‌های تشخیصی.
  • عدم اعمال منظم‌سازی زمانی که تعداد پیش‌بینی‌کننده‌ها نسبت به حجم نمونه زیاد است و منجر به بیش‌برازش می‌شود.
  • عدم بررسی هم‌خطی چندگانه (از طریق VIF) قبل از تفسیر بزرگی ضرایب.

پرسش‌های متداول

چه زمانی باید رگرسیون لجستیک را به جنگل تصادفی ترجیح دهم؟

زمانی که به احتمالات کالیبره شده، ضرایب قابل تفسیر نیاز دارید، یا باید استانداردهای گزارشی را که نیازمند نسبت شانس صریح هستند - مانند کارآزمایی‌های بالینی یا ارزیابی سیاست - برآورده کنید. جنگل تصادفی معمولاً دقت پیش‌بینی بالاتری را به دست می‌آورد اما تفسیر ضریب مستقیمی ارائه نمی‌دهد.

به چند مشاهده نیاز دارم؟

یک قاعده سرانگشتی که به طور گسترده نقل می‌شود، حداقل ۱۰ رویداد (پیامدهای مثبت) به ازای هر متغیر پیش‌بینی‌کننده است. با رویدادهای کمتر، تخمین پارامترها ناپایدار شده و فواصل اطمینان غیرقابل اعتماد می‌شوند. منظم‌سازی یا درست‌نمایی جریمه‌شده می‌تواند دامنه قابل استفاده را تا حدودی گسترش دهد.

آیا باید ویژگی‌هایم را استاندارد کنم؟

استانداردسازی ویژگی‌ها برای پیش‌بینی لازم نیست، اما هنگام مقایسه بزرگی ضرایب بین پیش‌بینی‌کننده‌ها یا هنگام استفاده از منظم‌سازی (L1 یا L2) مهم است، زیرا جریمه‌ها تمام ضرایب را در مقیاس یکسان در نظر می‌گیرند.

تفاوت بین رگرسیون لجستیک دوتایی و چندجمله‌ای چیست؟

رگرسیون لجستیک دوتایی یک پیامد دو کلاسه را با استفاده از تابع سیگموئید مدل‌سازی می‌کند. رگرسیون لجستیک چندجمله‌ای (سافت‌مکس) این را به سه کلاس یا بیشتر نامرتب تعمیم می‌دهد و یک مجموعه ضریب برای هر کلاس نسبت به یک کلاس مرجع تخمین می‌زند.

چگونه عدم تعادل کلاس را مدیریت کنم؟

در scikit-learn پارامتر class_weight='balanced' را برای بازوزن‌دهی تابع زیان تنظیم کنید، یا کلاس اقلیت را بیش‌نمونه‌گیری کنید (SMOTE). همیشه با منحنی‌های AUC-ROC و دقت-بازیابی به جای دقت ارزیابی کنید و آستانه طبقه‌بندی را در یک مجموعه اعتبارسنجی تنظیم کنید.

روش‌های مرتبط

منابع

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    باز کردن مرجع DOI
    کپی شد.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.

    شابک: 978-1-4614-7138-7
    کپی شد.