Skip to content
بازگشت به نتایج جست‌وجو

ماشین بردار پشتیبان (طبقه‌بندی)

معرفی‌شده توسط
Cortes, C. & Vapnik, V.
سال
1995
نوع
Maximum-margin classifier (kernel method)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

ماشین بردار پشتیبان (Support Vector Machine - SVM)، که توسط کورینا کورتس و ولادیمیر وپنیک در سال ۱۹۹۵ معرفی شد، طبقه‌بندی‌کننده‌ای است که ابرصفحه جداکننده بهینه را بین کلاس‌ها در فضایی با ابعاد بالا پیدا می‌کند. این روش مرزی را انتخاب می‌کند که بیشترین حاشیه ممکن را نسبت به نزدیک‌ترین نقاط آموزشی باقی بگذارد، که این امر تصمیمات آن را بر روی داده‌های جدید مقاوم می‌سازد.

شهود پشت روش

تصور کنید دو گروه از نقاط را با یک مرز مستقیم جدا می‌کنید. خطوط بسیاری می‌توانند این کار را انجام دهند، اما SVM به دنبال خطی است که بیشترین فاصله را از نزدیک‌ترین نقاط هر کلاس داشته باشد - یعنی «خیابان» وسیع‌تر بین آن‌ها. تنها آن نزدیک‌ترین نقاط، بردارهای پشتیبان، مرز را تعیین می‌کنند؛ هر چیزی دورتر نامربوط است. هنگامی که کلاس‌ها را نمی‌توان با یک خط مستقیم جدا کرد، یک هسته (kernel) فضا را تغییر شکل می‌دهد تا جداسازی واضحی امکان‌پذیر شود.

تاریخ

ماشین بردار پشتیبان توسط کورینا کورتس و ولادیمیر وپنیک در مقاله سال ۱۹۹۵ آن‌ها با عنوان 'شبکه‌های بردار پشتیبان' معرفی شد، که ایده حداکثر حاشیه را با ترفند هسته برای مدیریت داده‌های غیرقابل تفکیک خطی ترکیب کرد. این روش به یکی از تأثیرگذارترین روش‌های طبقه‌بندی دوران خود و یک معیار استاندارد برای یادگیری نظارت‌شده با ابعاد بالا تبدیل شد.

چه زمانی استفاده شود

از SVM برای طبقه‌بندی دودویی یا دسته‌ای بر روی داده‌های جدولی با حدود ۵۰ یا بیشتر مشاهده استفاده کنید، به خصوص زمانی که فضای ویژگی‌ها با ابعاد بالا است و دقت پیش‌بینی بیش از ضرایب صریح اهمیت دارد. این روش به داده‌های با توزیع نرمال نیازی ندارد، اما ویژگی‌ها باید استاندارد شوند و هسته و پارامتر C باید با اعتبارسنجی متقابل تنظیم شوند. در نمونه‌های بسیار کوچک، طبقه‌بندی‌کننده‌ای ساده‌تر مانند رگرسیون لجستیک یا بیز ساده را ترجیح دهید.

محدودیت‌ها و ملاحظات

  • به انتخاب هسته و پارامتر C حساس است که باید با اعتبارسنجی متقابل تنظیم شوند.
  • نیاز به استانداردسازی دقیق ویژگی‌ها دارد؛ ویژگی‌های بدون مقیاس، حاشیه را تحریف می‌کنند.
  • در نمونه‌های کوچک ناپایدار می‌شود، جایی که بردارهای پشتیبان کافی برای تعریف یک مرز قابل اعتماد وجود ندارد.
  • ضرایب قابل تفسیر مستقیمی ارائه نمی‌دهد و تخمین‌های احتمال کلاس بومی ندارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • در فضاهای ویژگی با ابعاد بالا مؤثر است، حتی زمانی که تعداد ویژگی‌ها بیشتر از ظرفیت پیچیدگی مرز باشد.
  • اصل حداکثر حاشیه و استفاده از تنها بردارهای پشتیبان، مرزهای مقاوم و قابل تعمیم را ارائه می‌دهد.
  • هسته‌ها به آن اجازه می‌دهند تا مرزهای کلاسی غیرخطی را بدون مهندسی دستی ویژگی‌های جدید ثبت کند.
  • مفروضات کم: نیازی به داده‌های با توزیع نرمال ندارد.

کاربردها

  • طبقه‌بندی دودویی و چندکلاسه بر روی داده‌های جدولی.
  • مسائل طبقه‌بندی با ابعاد بالا که در آن ویژگی‌ها از ظرفیت یک مدل ساده فراتر می‌روند.
  • وظایف پیش‌بینی که در آن یک مرز تصمیم‌گیری مقاوم و به خوبی جدا شده بیش از ضرایب قابل تفسیر اهمیت دارد.
  • مسائل با مرزهای کلاسی غیرخطی، که از طریق توابع هسته مورد بررسی قرار می‌گیرند.

چگونه کار می‌کند

چگونه کار می‌کند

1

SVM به دنبال ابرصفحه‌ای می‌گردد که کلاس‌ها را با بیشترین حاشیه - بیشترین فاصله تا نزدیک‌ترین نقاط داده در هر طرف - جدا کند. آن نقاط نزدیک‌تر، بردارهای پشتیبان هستند و آن‌ها به تنهایی محل قرارگیری مرز را تعیین می‌کنند. حاشیه وسیع تمایل به تعمیم بهتر به داده‌های دیده‌نشده نسبت به مرزی که نزدیک به نقاط آموزشی فشرده شده است، دارد.

2

هنگامی که کلاس‌ها به صورت خطی قابل تفکیک نیستند، یک تابع هسته (مانند تابع پایه شعاعی) به طور ضمنی ویژگی‌ها را به فضایی با ابعاد بالاتر نگاشت می‌کند که در آن ابرصفحه جداکننده وجود دارد. به همین دلیل ابتدا باید ویژگی‌ها استاندارد شوند (StandardScaler لازم است) و چرا هسته و پارامتر تنظیم منظم‌سازی C باید با اعتبارسنجی متقابل انتخاب شوند.

3

مرز با کمینه‌سازی هدف بالا یافت می‌شود: این کار بردار وزن را کوچک می‌کند (حاشیه را وسیع‌تر می‌کند) در حالی که برای هر نقطه‌ای که در سمت اشتباه یا داخل حاشیه قرار می‌گیرد (لغزش ξ) جریمه‌ای C می‌پردازد. C بزرگ، انطباق دقیق با داده‌های آموزشی را می‌طلبد؛ C کوچک، تخلفات بیشتری را برای حاشیه‌ای وسیع‌تر و هموارتر تحمل می‌کند. با کلاس‌های نامتعادل، class_weight='balanced' از نادیده گرفته شدن کلاس اقلیت جلوگیری می‌کند.

فرمول
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

دام‌های رایج

  • تطبیق SVM بر روی ویژگی‌های خام و بدون مقیاس به جای استانداردسازی آن‌ها در ابتدا.
  • پذیرش مقادیر پیش‌فرض هسته و C به جای انتخاب آن‌ها با اعتبارسنجی متقابل (مانند جستجوی شبکه‌ای).
  • نادیده گرفتن عدم تعادل کلاس به جای تنظیم class_weight='balanced'.
  • اعمال SVM بر روی نمونه‌ای با کمتر از حدود ۵۰ مشاهده، که در آن مرز ناپایدار و مستعد بیش‌برازش است.
  • گزارش تنها دقت بدون ماتریس درهم‌ریختگی، دقت/بازیابی/F1، و ROC-AUC.

پرسش‌های متداول

چرا باید ویژگی‌ها را استاندارد کنم؟

SVM فواصل تا ابرصفحه جداکننده را اندازه‌گیری می‌کند، بنابراین ویژگی‌ها در مقیاس‌های عددی بزرگتر بر حاشیه غالب می‌شوند. استانداردسازی هر ویژگی (StandardScaler) آن‌ها را در مقیاس‌های قابل مقایسه قرار می‌دهد تا مرز، ساختار واقعی کلاس را به جای واحدهای دلخواه منعکس کند.

پارامتر C چه چیزی را کنترل می‌کند؟

C بین عرض حاشیه و خطاهای طبقه‌بندی مبادله می‌کند. C بزرگ، انطباق دقیق با داده‌های آموزشی را با حاشیه‌ای باریک اجبار می‌کند؛ C کوچک، تخلفات بیشتری را در ازای حاشیه‌ای وسیع‌تر و هموارتر مجاز می‌داند. مقدار مناسب با اعتبارسنجی متقابل یافت می‌شود.

هسته برای چیست؟

هنگامی که کلاس‌ها را نمی‌توان با یک مرز مستقیم جدا کرد، یک هسته (مانند تابع پایه شعاعی) به طور ضمنی داده‌ها را به فضایی با ابعاد بالاتر نگاشت می‌کند که در آن ابرصفحه جداکننده وجود دارد و به SVM اجازه می‌دهد تا مرزهای غیرخطی را مدل کند. انتخاب هسته باید با اعتبارسنجی متقابل تأیید شود.

چه زمانی نباید از SVM استفاده کنم؟

در نمونه‌های بسیار کوچک - کمتر از حدود ۵۰ مشاهده - بردارهای پشتیبان کافی برای تعریف یک مرز پایدار وجود ندارد و داده‌های کافی برای تنظیم هسته و C وجود ندارد، بنابراین مدل در معرض خطر بیش‌برازش قرار می‌گیرد. در این حالت، یک طبقه‌بندی‌کننده ساده‌تر مانند رگرسیون لجستیک یا بیز ساده ترجیح داده می‌شود.

روش‌های مرتبط

منابع

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    باز کردن مرجع DOI
    کپی شد.