Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون لجستیک آنلاین

معرفی‌شده توسط
Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
سال
1960s (perceptron); formalized for logistic loss ~2000s
نوع
Incremental supervised classifier
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون لجستیک آنلاین، یک طبقه‌بندی‌کننده لجستیک را به صورت نمونه به نمونه (یا مینی-بچ) از طریق گرادیان کاهشی تصادفی برازش می‌دهد و وزن‌های مدل را با رسیدن هر مشاهده به‌روزرسانی می‌کند، به جای اینکه منتظر بماند تا کل مجموعه داده را ببیند. این ویژگی آن را به انتخابی استاندارد برای مسائل طبقه‌بندی باینری با حجم بالا، جریانی یا با محدودیت حافظه تبدیل می‌کند که در آن‌ها آموزش دسته‌ای امکان‌پذیر نیست.

شهود پشت روش

رگرسیون لجستیک کلاسیک نیازمند بارگذاری تمام داده‌ها در حافظه و بهینه‌سازی روی کل مجموعه داده است. در مقابل، رگرسیون لجستیک آنلاین هر نمونه ورودی را می‌خواند، یک پیش‌بینی احتمالاتی انجام می‌دهد، خطای پیش‌بینی را محاسبه می‌کند و یک گام گرادیان کوچک برای اصلاح وزن‌های خود برمی‌دارد، قبل از اینکه به سراغ نمونه بعدی برود. با تعداد زیادی از نمونه‌ها، وزن‌ها به مقادیری نزدیک به آنچه یک حل‌کننده دسته‌ای پیدا می‌کند، همگرا می‌شوند، با این حال مدل می‌تواند به‌طور مداوم بدون ذخیره کل مجموعه داده به‌روزرسانی شود. نرخ یادگیری کاهشی تضمین می‌کند که به‌روزرسانی‌ها با بلوغ مدل دقیق‌تر می‌شوند و سرعت تطبیق را با پایداری مبادله می‌کند.

تاریخ

ریشه‌های یادگیری مبتنی بر گرادیان آنلاین به پرسپترون روزنبلات (1958) و قانون LMS ویدرو و هاف (1960) بازمی‌گردد. نوع زیان لجستیک در ادبیات یادگیری در مقیاس بزرگ دهه 2000، به ویژه از طریق کار بوتو در مورد گرادیان کاهشی تصادفی برای یادگیری ماشین، و چارچوب نظری شالِو-شوارتز برای بهینه‌سازی محدب آنلاین، برجسته شد. این روش به یک استاندارد تولیدی در پیش‌بینی نرخ کلیک در مقیاس وب و فیلتر کردن هرزنامه تبدیل شد، جایی که مجموعه‌داده‌ها به طور مداوم جریان دارند و مدل‌ها باید در زمان واقعی به‌روزرسانی شوند.

چه زمانی استفاده شود

از رگرسیون لجستیک آنلاین زمانی استفاده کنید که داده‌ها به صورت جریانی می‌رسند یا زمانی که کل مجموعه داده برای نگهداری در حافظه بسیار بزرگ است، زمانی که انتظار می‌رود مرز کلاس به تدریج در طول زمان تغییر کند (انحراف مفهوم)، یا زمانی که به‌روزرسانی‌های مدل با تأخیر کم مورد نیاز است. همچنین این روش یک خط پایه سریع برای مجموعه‌داده‌های ایستا بسیار بزرگ است که در آن‌ها یک گذر SGD قابل قبول است. از آن اجتناب کنید زمانی که مجموعه داده به اندازه کافی کوچک است که بتوان آن را به صورت دسته‌ای آموزش داد (رگرسیون لجستیک دسته‌ای با تنظیم کمتر به راه‌حل بهتری همگرا می‌شود)، زمانی که مرز تصمیم‌گیری بسیار غیرخطی است (روش‌های مبتنی بر درخت یا هسته بهتر برازش می‌شوند)، یا زمانی که تفسیرپذیری خطاهای استاندارد دقیق ضرایب و مقادیر p برای گزارش‌دهی مورد نیاز است.

محدودیت‌ها و ملاحظات

  • حساس به انتخاب نرخ یادگیری: بیش از حد بزرگ باعث واگرایی می‌شود، بیش از حد کوچک باعث همگرایی آهسته یا کم‌برازش می‌شود.
  • فاصله‌های اطمینان فرم بسته یا مقادیر p برای ضرایب ارائه نمی‌دهد.
  • با توجه به داده‌های یکسان، به راه‌حل پرنویزتری نسبت به گرادیان کاهشی دسته‌ای همگرا می‌شود؛ برای پر کردن این شکاف، گذر‌های متعدد یا میانگین‌گیری (Polyak-Ruppert) مورد نیاز است.
  • زمانی که ویژگی‌ها در مقیاس‌های بسیار متفاوتی قرار دارند، عملکرد کاهش می‌یابد مگر اینکه استانداردسازی یا AdaGrad اعمال شود.
  • یک مرز تصمیم‌گیری خطی را فرض می‌کند؛ بدون مهندسی ویژگی نمی‌تواند ساختار غیرخطی را به تصویر بکشد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • ردپای حافظه ثابت: هر بار یک نمونه را پردازش می‌کند بدون اینکه کل مجموعه داده را ذخیره کند.
  • با ادامه به‌روزرسانی وزن‌ها با رسیدن داده‌های برچسب‌گذاری شده جدید، با انحراف مفهوم سازگار می‌شود.
  • برای میلیاردها نمونه مقیاس‌پذیر است، جایی که بهینه‌سازی دسته‌ای بسیار پرهزینه خواهد بود.
  • خروجی‌های احتمال کالیبره شده را از طریق پیوند سیگموئید تولید می‌کند که برای امتیازدهی ریسک مناسب است.
  • سازگار با منظم‌سازی L1 و L2 و برنامه‌های نرخ یادگیری که راه‌حل‌های دسته‌ای کامل را منعکس می‌کنند.

کاربردها

  • پیش‌بینی نرخ کلیک در تبلیغات آنلاین با جریان‌های داده پیوسته.
  • تشخیص هرزنامه و کلاهبرداری که در آن الگوها تکامل می‌یابند و مدل‌ها باید روزانه تطبیق یابند.
  • طبقه‌بندی احساسات در زمان واقعی پست‌های رسانه‌های اجتماعی به محض رسیدن.
  • امتیازدهی ریسک باینری در مقیاس بزرگ زمانی که کل مجموعه داده در RAM جا نمی‌شود.
  • سناریوهای انحراف مفهوم در نظارت بر تراکنش‌های مالی.
  • طبقه‌بندی‌کننده جریانی پایه قبل از ارزیابی مجموعه‌های آنلاین پیچیده‌تر.

چگونه کار می‌کند

چگونه کار می‌کند

1

بردار وزن و بایاس به صفر (یا مقادیر تصادفی کوچک) مقداردهی اولیه می‌شوند. در این مرحله نیازی به عبور داده نیست — مدل آماده است تا بلافاصله اولین مشاهده خود را پردازش کند.

فرمول
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0
2

برای هر مشاهده ورودی، مدل ترکیب خطی وزن‌ها و ویژگی‌های فعلی خود را محاسبه می‌کند، سپس آن را از طریق تابع سیگموئید عبور می‌دهد تا احتمالی را به دست آورد که برچسب آن 1 است. این احتمال هم به عنوان پیش‌بینی و هم به عنوان جزئی در محاسبه گرادیان استفاده می‌شود.

فرمول
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}
3

آنتروپی متقاطع باینری (زیان لگاریتمی) بین احتمال پیش‌بینی شده و برچسب واقعی، میزان نادرست بودن پیش‌بینی فعلی را اندازه‌گیری می‌کند. آنتروپی متقاطع در وزن‌ها محدب است، که تضمین می‌کند گام‌های گرادیان به‌طور قابل اعتمادی خطا را به طور متوسط در سراسر جریان داده کاهش می‌دهند.

فرمول
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]
4

گرادیان زیان نسبت به وزن‌ها به باقیمانده ساده (احتمال پیش‌بینی شده منهای برچسب واقعی) ضربدر بردار ویژگی کاهش می‌یابد. یک جمله منظم‌سازی (L2 یا L1) برای جریمه کردن وزن‌های بزرگ و جلوگیری از بیش‌برازش اضافه می‌شود. وزن‌ها با کم کردن گرادیان مقیاس‌بندی شده در یک گذر واحد برای هر نمونه به‌روزرسانی می‌شوند.

فرمول
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_t
5

نرخ یادگیری در طول زمان کاهش می‌یابد — در مراحل اولیه بزرگ شروع می‌شود تا به سرعت حرکت کند و سپس کوچک می‌شود تا به‌روزرسانی‌های بعدی اصلاحات دقیق را بدون نوسان انجام دهند. برنامه‌های رایج شامل کاهش معکوس زمان یا تطبیق به ازای هر ویژگی به سبک AdaGrad است که ویژگی‌هایی با مقیاس‌های بسیار متفاوت را به‌طور خودکار مدیریت می‌کند.

فرمول
\eta_t = \eta_0 / (1 + \alpha t)

دام‌های رایج

  • فراموش کردن استانداردسازی ویژگی‌ها: SGD آنلاین به ویژه به تفاوت‌های مقیاس حساس است زیرا نرخ یادگیری یکسان برای همه ابعاد اعمال می‌شود.
  • استفاده از نرخ یادگیری ثابت در طول آموزش: وزن‌ها در نزدیکی بهینه نوسان می‌کنند و هرگز تثبیت نمی‌شوند.
  • نادیده گرفتن عدم تعادل کلاس در جریان داده: کلاس‌های کم‌نماینده سیگنال‌های گرادیان کمی دریافت می‌کنند و مدل به سمت کلاس اکثریت متمایل می‌شود.
  • برآورد‌های وزن در فاز اولیه را نهایی تلقی کردن: مدل قبل از تثبیت وزن‌هایش به نمونه‌های کافی نیاز دارد؛ خیلی زود ارزیابی نکنید.
  • اشتباه گرفتن قابلیت به‌روزرسانی آنلاین با تشخیص خودکار انحراف مفهوم: وزن‌ها با داده‌ها تغییر می‌کنند اما نظارت صریح بر انحراف (مانند ADWIN) هنوز برای تشخیص تغییرات ناگهانی مورد نیاز است.

پرسش‌های متداول

رگرسیون لجستیک آنلاین چه تفاوتی با رگرسیون لجستیک استاندارد دارد؟

رگرسیون لجستیک استاندارد از تمام داده‌ها به طور همزمان استفاده می‌کند (بهینه‌سازی دسته‌ای) و ضرایب حداکثر احتمال دقیق را با خطاهای استاندارد بازمی‌گرداند. رگرسیون لجستیک آنلاین وزن‌ها را پس از هر نمونه به‌روزرسانی می‌کند، تنها از حافظه ثابت استفاده می‌کند و جریان‌های بی‌نهایت طولانی را تحمل می‌کند، اما برآوردهای آن پرنویزتر هستند و آمار استنباطی تولید نمی‌کند.

چگونه نرخ یادگیری را انتخاب کنم؟

یک نقطه شروع رایج، نرخ ثابت کوچک (مثلاً 0.01) همراه با کاهش معکوس زمان، یا استفاده از AdaGrad است که نرخ‌های به ازای هر ویژگی را به طور خودکار تطبیق می‌دهد. همیشه ابتدا ویژگی‌ها را استانداردسازی کنید، سپس نرخ اولیه را روی یک بخش اعتبارسنجی نگه داشته شده یا با نظارت بر زیان لگاریتمی در حال اجرا در یک پنجره اخیر از جریان تنظیم کنید.

آیا رگرسیون لجستیک آنلاین می‌تواند مسائل چندکلاسی را مدیریت کند؟

بله — آن را به طبقه‌بندی‌کننده‌های باینری یک در برابر بقیه که به صورت موازی آموزش دیده‌اند، گسترش دهید، یا از تعمیم سافت‌مکس (چندجمله‌ای) با زیان آنتروپی متقاطع دسته‌ای و بردارهای وزن به ازای هر کلاس استفاده کنید و همان قانون به‌روزرسانی SGD را برای هر یک اعمال کنید.

چه نوع منظم‌سازی باید استفاده کنم؟

منظم‌سازی L2 (ریج) پیش‌فرض است: همه وزن‌ها را به آرامی کوچک می‌کند و با SGD به خوبی کار می‌کند. L1 (لاسو) وزن‌های پراکنده تولید می‌کند و زمانی مفید است که می‌خواهید انتخاب ویژگی خودکار در فضاهای بسیار پربعد داشته باشید، اما برای حفظ دقیق پراکندگی آنلاین به برش دقیق یا به‌روزرسانی‌های FOBOS نیاز دارد.

چگونه مدلی را که به طور مداوم به‌روزرسانی می‌شود، ارزیابی کنم؟

از ارزیابی پیش‌بینی‌کننده (آزمایش-سپس-آموزش) استفاده کنید: هر نمونه را قبل از استفاده برای به‌روزرسانی وزن پیش‌بینی کنید، سپس زیان لگاریتمی در حال اجرا یا AUC را در یک پنجره متحرک گزارش دهید. این کار یک برآورد بی‌طرفانه از کیفیت مدل فعلی را بدون یک مجموعه نگه داشته شده ثابت ارائه می‌دهد.

روش‌های مرتبط

منابع

  1. Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag.

    باز کردن مرجع انتشار
    کپی شد.
  2. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    باز کردن مرجع DOI
    کپی شد.