Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون بردار پشتیبان

معرفی‌شده توسط
Smola, A.J. & Schölkopf, B.
سال
2004
نوع
Kernel-based supervised model (epsilon-insensitive regression)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون بردار پشتیبان (SVR)، که در مقاله آموزشی سال ۲۰۰۴ توسط اسمولا و شولکوف شرح داده شده است، با برازش تابعی که ضمن کمینه کردن خطا، در یک لوله با عرض اپسیلون حول داده‌ها باقی می‌ماند، به پیش‌بینی یک پیامد پیوسته می‌پردازد. این روش ایده ماشین بردار پشتیبان را از طبقه‌بندی به رگرسیون گسترش می‌دهد و از کرنل برای ثبت روابط غیرخطی استفاده می‌کند.

شهود پشت روش

به جای جریمه کردن هر انحراف از خط برازش شده، SVR خطاهای کوچکتر از اپسیلون تلورانس را نادیده می‌گیرد — یک لوله با عرض اپسیلون حول تابع پیش‌بینی شده رسم می‌کند و تنها نقاطی که خارج از لوله قرار می‌گیرند، علیه آن محسوب می‌شوند. سپس مدل صاف‌ترین تابع ممکن را که بیشتر نقاط را درون لوله نگه می‌دارد، جستجو می‌کند. تعداد کمی از نقاط روی لبه‌های لوله یا خارج از آن، بردارهای پشتیبان را تشکیل می‌دهند که پیش‌بینی را تعریف می‌کنند.

تاریخ

رگرسیون بردار پشتیبان، ماشین بردار پشتیبان را که در اصل روشی طبقه‌بندی بود، به وظیفه رگرسیون گسترش می‌دهد. فرمول‌بندی اپسیلون-غیرحساس و راه‌حل کرنل‌دار آن در مقاله آموزشی سال ۲۰۰۴ توسط اسمولا و شولکوف در آمار و محاسبات ارائه شده است که به مرجع استاندارد این روش تبدیل شده است.

چه زمانی استفاده شود

از SVR برای پیش‌بینی یک پیامد پیوسته (یا شمارشی) از ویژگی‌ها زمانی که رابطه ممکن است غیرخطی باشد و شما حداقل حدود ۵۰ مشاهده داشته باشید، استفاده کنید. ویژگی‌ها باید نرمال شوند و کرنل و پارامتر C نیاز به تنظیم دارند. با کمتر از ۵۰ مورد، پیش‌بینی بر اساس تعداد کمی بردار پشتیبان استوار است و ناپایدار می‌شود، بنابراین رگرسیون ریج یا خطی ترجیح داده می‌شود.

محدودیت‌ها و ملاحظات

  • نیاز به حداقل حدود ۵۰ مشاهده دارد؛ با تعداد کمتر، پیش‌بینی‌ها بر اساس تعداد کمی بردار پشتیبان استوار هستند و ناپایدار می‌شوند.
  • عملکرد به تنظیم کرنل و پارامتر C بستگی دارد که نیازمند داده‌های کافی برای اعتبارسنجی متقابل است.
  • ویژگی‌ها باید از قبل نرمال شوند وگرنه فواصل کرنل تحریف می‌شوند.
  • ضرایب قابل تفسیر ارائه نمی‌دهد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • زیان اپسیلون-غیرحساس، برازش را نسبت به انحرافات کوچک و نقاط پرت درون لوله مقاوم می‌سازد.
  • کرنل‌ها به SVR اجازه می‌دهند تا روابط غیرخطی را بدون مهندسی صریح ویژگی‌های جدید مدل کند.
  • نیاز به داده‌های با توزیع نرمال ندارد.
  • مدل نهایی تنها به بردارهای پشتیبان وابسته است و پیش‌بینی را فشرده نگه می‌دارد.

کاربردها

  • پیش‌بینی پیامدهای پیوسته که رابطه آن‌ها با ویژگی‌ها غیرخطی است.
  • وظایف پیش‌بینی و پیش‌بینی که در آن‌ها مقاومت در برابر انحرافات کوچک اهمیت دارد.
  • مدل‌سازی اهداف شمارشی یا پیوسته در داده‌های بهداشتی، اجتماعی، مهندسی و تجاری.
  • به عنوان جایگزینی مبتنی بر کرنل برای رگرسیون خطی یا ریج در مواردی که غیرخطی بودن مشکوک است، عمل می‌کند.

چگونه کار می‌کند

چگونه کار می‌کند

1

SVR حاشیه تلورانس، یعنی لوله اپسیلون، را حول تابع رگرسیون تعریف می‌کند: انحرافات کمتر از اپسیلون به عنوان خطای صفر در نظر گرفته می‌شوند. این امر برازش را نسبت به نوسانات کوچک ناپایدار می‌کند و مدل را بر روی مشاهداتی متمرکز می‌سازد که واقعاً خارج از باند قرار می‌گیرند.

فرمول
|y_i - f(x_i)| \le \varepsilon
2

مدل، صافی تابع را در برابر خطای ناشی از نقاط خارج از لوله متعادل می‌کند. پارامتر منظم‌سازی C میزان جریمه انحرافات خارج از لوله را کنترل می‌کند، در حالی که یک کرنل (مانند کرنل RBF) به تابع اجازه می‌دهد تا برای ثبت ساختار غیرخطی خم شود. از آنجایی که هم C و هم کرنل باید تنظیم شوند، ویژگی‌ها باید قبل از برازش نرمال شوند.

فرمول
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

پیش‌بینی‌ها برای ورودی‌های جدید به صورت ترکیبی وزن‌دار از بردارهای پشتیبان — نقاط آموزشی که روی لبه‌های لوله یا فراتر از آن قرار دارند — به علاوه یک آفست تشکیل می‌شوند. تنها این بردارهای پشتیبان وارد پیش‌بینی نهایی می‌شوند، که همین امر باعث فشرده شدن مدل برازش شده می‌شود.

فرمول
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

دام‌های رایج

  • برازش SVR بر روی ویژگی‌های نرمال نشده که فواصل کرنل را تحریف می‌کند.
  • پذیرش مقادیر پیش‌فرض کرنل و C بدون تنظیم آن‌ها با اعتبارسنجی متقابل.
  • استفاده از SVR بر روی نمونه کوچک که داده کافی برای بهینه‌سازی ابرپارامترها ندارد.
  • رفتار با برازش مبتنی بر کرنل به گونه‌ای که گویی اندازه‌های اثر قابل تفسیر را ارائه می‌دهد.

پرسش‌های متداول

پارامتر اپسیلون چه چیزی را کنترل می‌کند؟

اپسیلون نیم‌عرض لوله تلورانس را حول تابع برازش شده تنظیم می‌کند. انحرافات کوچکتر از اپسیلون به عنوان خطای صفر در نظر گرفته می‌شوند، بنابراین اپسیلون بزرگتر یک مدل صاف‌تر و ساده‌تر با بردارهای پشتیبان کمتر ایجاد می‌کند، در حالی که اپسیلون کوچکتر داده‌ها را دقیق‌تر برازش می‌دهد.

چرا باید ویژگی‌ها را نرمال کنم؟

SVR به فواصل محاسبه شده از طریق کرنل متکی است. اگر ویژگی‌ها در مقیاس‌های بسیار متفاوتی باشند، آن‌هایی که دامنه بزرگتری دارند بر فواصل غالب می‌شوند، بنابراین ویژگی‌ها باید قبل از برازش استاندارد شوند.

چه نمونه کوچکی بیش از حد کوچک است؟

با کمتر از حدود ۵۰ مشاهده، برازش به تعداد کمی بردار پشتیبان بستگی دارد و ناپایدار می‌شود، و داده کافی برای تنظیم ابرپارامترهای کرنل وجود ندارد؛ رگرسیون ریج یا خطی انتخاب امن‌تری است.

SVR چگونه با حداقل مربعات معمولی تفاوت دارد؟

حداقل مربعات هر باقیمانده را به صورت درجه دوم جریمه می‌کند، در حالی که SVR باقیمانده‌های درون لوله اپسیلون را نادیده می‌گیرد و تنها آن‌هایی را که خارج از آن قرار دارند جریمه می‌کند. ترکیب این با یک کرنل، به SVR اجازه می‌دهد تا روابط غیرخطی را ثبت کند و نسبت به انحرافات کوچک مقاوم بماند.

روش‌های مرتبط

منابع

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    باز کردن مرجع DOI
    کپی شد.