Skip to content
بازگشت به نتایج جست‌وجو

ماشین بردار پشتیبان تک کلاسه

معرفی‌شده توسط
Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
سال
1999–2001
نوع
Anomaly / novelty detection (unsupervised)
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

ماشین بردار پشتیبان تک کلاسه (One-class SVM) یک الگوریتم یادگیری بدون نظارت برای تشخیص ناهنجاری و نوآوری است که مرزی تنگ پیرامون داده‌های آموزشی عادی در فضای ویژگی القا شده توسط کرنل را یاد می‌گیرد و مشاهدات جدیدی را که خارج از این مرز قرار می‌گیرند به عنوان داده‌های پرت علامت‌گذاری می‌کند. این الگوریتم که توسط شولکوف و همکاران در سال‌های ۱۹۹۹-۲۰۰۱ معرفی شد، چارچوب ماشین بردار پشتیبان را به حالت تک کلاسه گسترش می‌دهد که در آن هیچ نمونه ناهنجار برچسب‌دار در دسترس نیست.

شهود پشت روش

تصور کنید که بادکنکی را باد می‌کنید تا تمام نقاط داده آموزشی شما را در فضایی تبدیل شده که توسط یک تابع کرنل تعریف شده است، احاطه کند. هنگامی که بادکنک تنظیم شد، هر نقطه داده جدیدی که خارج از آن قرار گیرد، به عنوان یک ناهنجاری اعلام می‌شود. پارامتر nu میزان تنگی بادکنک را کنترل می‌کند: nu کوچک اجازه می‌دهد تعداد بسیار کمی از نقاط داده آموزشی در حاشیه قرار گیرند (مرز سخت‌گیرانه)، در حالی که nu بزرگ اجازه می‌دهد نقاط بیشتری خارج از آن قرار گیرند (مرز شل‌تر). ترفند کرنل به مرز اجازه می‌دهد تا در فضای ورودی اصلی غیرخطی باشد، بنابراین ماشین بردار پشتیبان تک کلاسه می‌تواند اشکال پیچیده‌ای از حالت عادی را که یک قانون آستانه یا فاصله ساده از دست می‌دهد، ثبت کند.

تاریخ

ماشین بردار پشتیبان تک کلاسه توسط شولکوف، پلات، اسمولا و ویلیامسون در گزارش فنی سال ۱۹۹۹ معرفی شد و در سال ۲۰۰۱ در Neural Computation با عنوان 'تخمین پشتیبان یک توزیع با ابعاد بالا' منتشر شد. یک فرمولاسیون نزدیک به آن، توصیف داده‌های بردار پشتیبان (SVDD)، به طور همزمان توسط تاکس و دوین (۲۰۰۴) توسعه یافت. هر دو روش چارچوب نظارت شده ماشین بردار پشتیبان را به حالت تشخیص ناهنجاری بدون نظارت گسترش دادند و به مراجع پایه‌ای در ادبیات تشخیص نوآوری تبدیل شدند. پیاده‌سازی OneClassSVM در Scikit-learn این روش را در تحقیقات کاربردی به طور گسترده در دسترس قرار داد.

چه زمانی استفاده شود

هنگامی که نمونه‌های ناهنجار برچسب‌دار در دسترس نیستند یا بسیار کمیاب هستند و شما یک مرز غیرخطی پیرامون رفتار عادی می‌خواهید، از ماشین بردار پشتیبان تک کلاسه استفاده کنید — معمولاً در تشخیص تقلب، تشخیص نفوذ، نظارت بر خطای صنعتی و غربالگری نوآوری پزشکی با ویژگی‌های عددی پیوسته. این روش بر روی مجموعه داده‌های با اندازه متوسط (صدها تا ده‌ها هزار نمونه) و توزیع‌های عادی با ابعاد بالا یا شکل پیچیده که در آن آشکارسازهای خطی یا مبتنی بر فاصله شکست می‌خورند، بهترین عملکرد را دارد. از آن اجتناب کنید زمانی که: مجموعه آموزشی بسیار بزرگ است (بیش از حدود ۱۰۰۰۰۰ نمونه)، زیرا حل درجه دوم به خوبی مقیاس‌پذیر نیست؛ داده‌ها عمدتاً دسته‌ای هستند؛ یا زمانی که قوانین سریع و قابل تفسیر مورد نیاز است. در آن موارد، جنگل ایزوله (Isolation Forest)، عامل پرت محلی (Local Outlier Factor) یا یک مدل آماری مبتنی بر آستانه را ترجیح دهید.

محدودیت‌ها و ملاحظات

  • حل‌کننده برنامه‌ریزی درجه دوم به صورت O(n^2) تا O(n^3) نسبت به نمونه‌های آموزشی مقیاس‌پذیر است، که آن را برای مجموعه داده‌های بسیار بزرگ غیرعملی می‌کند.
  • به انتخاب کرنل و ابرپارامترهای آن (مانند گاما در RBF) حساس است؛ انتخاب‌های نادرست مرزی بیش از حد تنگ یا بیش از حد شل ایجاد می‌کنند.
  • نیاز به داده‌های آموزشی عادی تمیز دارد — مجموعه داده‌های آموزشی آلوده مرز را جابجا کرده و نرخ مثبت‌های کاذب را افزایش می‌دهند.
  • به طور طبیعی تخمین‌های احتمالی کالیبره شده تولید نمی‌کند؛ امتیاز تصمیم احتمال نیست.
  • قابلیت تفسیر محدود است؛ توضیح اینکه چرا یک نقطه خاص علامت‌گذاری شده است بدون ابزارهای اضافی پس از استقرار دشوار است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • بدون نیاز به نمونه‌های ناهنجار برچسب‌دار کار می‌کند — فقط داده‌های آموزشی عادی مورد نیاز است.
  • کرنل غیرخطی (معمولاً RBF) مرزهای پیچیده و منحنی حالت عادی را که روش‌های مبتنی بر فاصله از دست می‌دهند، ثبت می‌کند.
  • پارامتر nu کنترل مستقیم و قابل تفسیر بر کسری مورد انتظار داده‌های پرت را فراهم می‌کند.
  • از طریق ترفند کرنل به فضاهای ویژگی با ابعاد بالا به خوبی مقیاس‌پذیر است.
  • امتیاز تصمیم پیوسته امکان کالیبراسیون آستانه انعطاف‌پذیر پس از استقرار را فراهم می‌کند.
  • در حوزه‌های پرخطر مانند تشخیص نفوذ، نظارت بر خطا و تصویربرداری پزشکی اثبات شده است.

کاربردها

  • تشخیص نفوذ شبکه: علامت‌گذاری الگوهای ترافیکی که در طول عملیات عادی دیده نشده‌اند.
  • نظارت بر خطای صنعتی: تشخیص خوانش سنسور دستگاه که از پروفایل‌های حالت سالم منحرف می‌شوند.
  • تشخیص تقلب: شناسایی الگوهای تراکنش غیرمعمول زمانی که نمونه‌های تقلبی برای آموزش یک طبقه‌بند نظارت شده بسیار نادر هستند.
  • تشخیص نوآوری پزشکی: علامت‌گذاری خوانش‌های تصویربرداری یا بیومارکر خارج از توزیع افراد سالم.
  • پردازش زبان طبیعی: تشخیص اسناد یا پرس‌وجوهای خارج از دامنه با استفاده از نمایش‌های متنی (embeddings) به عنوان ویژگی‌های ورودی.

چگونه کار می‌کند

چگونه کار می‌کند

1

تمام مشاهدات آموزشی از طریق یک تابع کرنل مانند تابع پایه شعاعی (RBF) به یک فضای ویژگی با ابعاد بالا (به طور بالقوه بی‌نهایت بعدی) نگاشت می‌شوند. ضرب‌های داخلی در آن فضا بدون محاسبه صریح نگاشت قابل ارزیابی هستند، که این رویکرد را حتی برای مرزهای پیچیده نیز قابل محاسبه می‌کند.

فرمول
\phi: \mathcal{X} \to \mathcal{F}
2

یک برنامه درجه دوم، یک ابرصفحه در فضای ویژگی پیدا می‌کند که داده‌های آموزشی نگاشت شده را با حداکثر حاشیه از مبدأ جدا می‌کند. پارامتر nu (بین ۰ و ۱) به طور همزمان کسری از نقاط داده آموزشی را که به عنوان داده‌های پرت در نظر گرفته می‌شوند و کسری از بردارهای پشتیبان را محدود می‌کند و به کاربر کنترل مستقیمی بر تعادل بین تنگی مدل و تحمل آلودگی آموزشی می‌دهد.

فرمول
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_i
3

ابرصفحه آموخته شده یک تابع تصمیم علامت‌دار را تعریف می‌کند. نقاط سمت مثبت به عنوان عادی طبقه‌بندی می‌شوند؛ نقاط سمت منفی (زیر آستانه rho) به عنوان ناهنجاری یا نوآوری علامت‌گذاری می‌شوند. امتیاز خام همچنین می‌تواند به عنوان یک امتیاز ناهنجاری پیوسته برای رتبه‌بندی عمل کند.

فرمول
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)
4

انتخاب nu تصمیم کلیدی مدل‌سازی است: تنظیم آن نزدیک به کسری از آلودگی مورد انتظار در مجموعه آموزشی یک قاعده سرانگشتی عملی است. اعتبارسنجی متقابل بر روی یک مجموعه اعتبارسنجی عادی نگهداری شده یا دانش دامنه در مورد نرخ مورد انتظار داده‌های پرت باید راهنمای انتخاب باشد تا جستجوی شبکه‌ای صرفاً بر روی داده‌های بدون برچسب.

5

در زمان استقرار، یک آستانه امتیاز ناهنجاری بر خروجی تابع تصمیم اعمال می‌شود. آستانه را می‌توان پس از استقرار تنظیم کرد تا دقت (precision) در مقابل بازیابی (recall) برای ناهنجاری‌ها را متعادل کرد، که این روش را برای کاربردهایی که هزینه مثبت‌های کاذب به طور قابل توجهی با هزینه منفی‌های کاذب متفاوت است، مناسب می‌سازد.

دام‌های رایج

  • آموزش بر روی داده‌هایی که حاوی کسری قابل توجهی از ناهنجاری‌های کشف نشده هستند، که مرز آموخته شده را خراب می‌کند.
  • تنظیم nu بدون ارجاع به نرخ آلودگی مورد انتظار، منجر به مثبت‌های کاذب بیش از حد یا ناهنجاری‌های از دست رفته می‌شود.
  • استفاده از گامای پیش‌فرض RBF بدون تنظیم، که می‌تواند مرز را بیش از حد تنگ (همه نقاط جدید ناهنجار هستند) یا بیش از حد شل (هیچ ناهنجاری شناسایی نمی‌شود) کند.
  • اعمال ماشین بردار پشتیبان تک کلاسه بر روی مجموعه داده‌های بسیار بزرگ بدون در نظر گرفتن جایگزین‌های مقیاس‌پذیری مانند تقریب‌های مبتنی بر SGD (مانند SGDOneClassSVM در scikit-learn).
  • گزارش فقط یک پرچم ناهنجاری باینری بدون بررسی توزیع امتیاز پیوسته برای کالیبراسیون آستانه.

پرسش‌های متداول

تفاوت ماشین بردار پشتیبان تک کلاسه و جنگل ایزوله برای تشخیص ناهنجاری چیست؟

ماشین بردار پشتیبان تک کلاسه یک مرز مبتنی بر کرنل پیرامون داده‌های عادی را یاد می‌گیرد و در توزیع‌های با ابعاد بالا و شکل پیچیده عملکرد خوبی دارد، اما با اندازه مجموعه داده به خوبی مقیاس‌پذیر نیست. جنگل ایزوله از پارتیشن‌بندی تصادفی استفاده می‌کند و در مجموعه داده‌های بزرگ بسیار سریع‌تر است، اما به طور کلی نسبت به الگوهای ناهنجاری ظریف و غیرخطی حساسیت کمتری دارد.

پارامتر nu را چگونه باید انتخاب کنم؟

nu را برابر با کسری از مشاهدات آموزشی که انتظار دارید آلوده یا غیرمعمول باشند، تنظیم کنید. اگر معتقدید کمتر از ۵٪ از نمونه‌های آموزشی شما داده‌های پرت هستند، با nu=0.05 شروع کنید. از یک مجموعه نگهداری شده از نمونه‌های عادی شناخته شده برای ارزیابی تنگی مرز استفاده کنید تا اینکه صرفاً به جستجوی شبکه‌ای تکیه کنید.

از چه کرنلی باید استفاده کنم؟

کرنل RBF (گاوسی) نقطه شروع استاندارد است و با اکثر مجموعه داده‌های عددی پیوسته به خوبی کار می‌کند. ابرپارامتر گامای کرنل RBF شعاع تأثیر را کنترل می‌کند؛ در یک شبکه لگاریتمی فضایی اعتبارسنجی متقابل انجام دهید. کرنل‌های خطی سریع‌تر هستند اما مرز را به یک ابرصفحه محدود می‌کنند.

آیا ماشین بردار پشتیبان تک کلاسه می‌تواند ویژگی‌های دسته‌ای را مدیریت کند؟

مستقیماً نه. متغیرهای دسته‌ای باید قبل از استفاده به صورت عددی (مانند کدگذاری دودویی یا ترتیبی) کدگذاری شوند، که می‌تواند اعوجاجات معیار فاصله را معرفی کند. برای مجموعه داده‌هایی که عمدتاً شامل ویژگی‌های دسته‌ای هستند، به جای آن آشکارسازهای مبتنی بر درخت مانند جنگل ایزوله را در نظر بگیرید.

مجموعه آموزشی من ممکن است حاوی برخی ناهنجاری‌ها باشد. آیا این مدل را خراب می‌کند؟

داده‌های آموزشی آلوده مرز را به سمت بیرون جابجا می‌کنند و ممکن است باعث شوند مدل الگوهای ناهنجار را به عنوان عادی یاد بگیرد. ماشین بردار پشتیبان تک کلاسه نسبت به این موضوع حساس‌تر از جنگل ایزوله است. اگر به آلودگی مشکوک هستید، استفاده از SVDD با nu بالاتر یا پاکسازی مجموعه آموزشی با یک مرحله اولیه از یک آشکارساز سریع را در نظر بگیرید.

روش‌های مرتبط

منابع

  1. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    باز کردن مرجع DOI
    کپی شد.
  2. Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.

    باز کردن مرجع DOI
    کپی شد.