Skip to content
بازگشت به نتایج جست‌وجو

یک کلاسه SVM نیمه‌نظارت‌شده

معرفی‌شده توسط
Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
سال
2001–2004
نوع
Semi-supervised anomaly / novelty detection
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یک کلاسه SVM نیمه‌نظارت‌شده، آشکارساز ناهنجاری کلاسیک یک کلاسه SVM را با گنجاندن مشاهدات بدون برچسب در کنار مجموعه‌ای کوچک از نمونه‌های عادی شناخته‌شده، گسترش می‌دهد. داده‌های بدون برچسب به مدل کمک می‌کنند تا مرز تصمیم‌گیری تنگ‌تر و آموزنده‌تری در فضای ویژگی بیاموزد، که منجر به کاهش هشدارهای کاذب و بهبود بازیابی ناهنجاری در مقایسه با رویکرد صرفاً بدون نظارت پایه می‌شود.

شهود پشت روش

یک SVM استاندارد یک کلاسه، مرزی را در اطراف داده‌های عادی برچسب‌دار در فضای ویژگی تبدیل‌شده با کرنل ترسیم می‌کند و هر چیزی را که خارج از آن قرار گیرد به‌عنوان ناهنجار علامت‌گذاری می‌کند. مشکل این است که با وجود نمونه‌های کم برچسب، مرز شل و پر از نویز است. یک کلاسه SVM نیمه‌نظارت‌شده از مجموعه‌ای از نمونه‌های بدون برچسب - که بیشتر آن‌ها احتمالاً عادی هستند - برای کشیدن آن مرز به سمت داخل، به سمت نواحی متراکم‌تر، بهره می‌برد. به این فکر کنید که با نشان دادن نمونه‌های بیشتر، حتی زمانی که این نمونه‌ها فاقد برچسب‌های تأیید شده کلاس هستند، به مدل می‌آموزید که «عادی» واقعاً کجا قرار دارد. نتیجه یک مرز ناهنجاری تنگ‌تر و قابل اعتمادتر با هزینه برچسب‌گذاری پایین است.

تاریخ

یک کلاسه SVM در سال ۲۰۰۱ توسط Scholkopf و همکاران به‌عنوان روشی برای تخمین پشتیبان یک توزیع با ابعاد بالا معرفی شد و به سرعت به استانداردی برای تشخیص نوآوری و ناهنجاری تبدیل شد. محققان در اواسط دهه ۲۰۰۰ تشخیص دادند که حتی یک بذر عادی برچسب‌دار کوچک نیز می‌تواند مرز تصمیم‌گیری را به طور قابل توجهی تنگ کند و چندین توسعه نیمه‌نظارت‌شده پیشنهاد شد که از کارهای همزمان در SVMهای تراداکتیو و انتشار برچسب بهره می‌برد. این رویکرد همچنان در حوزه‌هایی که برچسب‌گذاری ناهنجاری‌ها پرهزینه است، مورد مطالعه فعال قرار دارد.

چه زمانی استفاده شود

یک کلاسه SVM نیمه‌نظارت‌شده را زمانی انتخاب کنید که ناهنجاری‌ها نادر هستند، برچسب‌گذاری تمام داده‌ها بسیار پرهزینه است، اما یک بذر عادی تأیید شده کوچک در دسترس است - به عنوان مثال، تشخیص نفوذ شبکه، کنترل کیفیت تصویربرداری پزشکی، یا غربالگری نقص تولید. این روش زمانی که بذر برچسب‌دار تمیز است و مجموعه بدون برچسب بزرگ و نماینده رفتار عادی است، بهتر از OC-SVM بدون نظارت عمل می‌کند. زمانی که بذر برچسب‌دار پر از نویز یا سوگیرانه است، زمانی که نرخ ناهنجاری در مجموعه بدون برچسب بالا است (بیش از حدود ۱۰ تا ۲۰ درصد)، زمانی که مثال‌های ناهنجاری تأیید شده زیادی دارید (SVM نظارت‌شده یا روش‌های گروهی بهتر هستند)، یا زمانی که مفسرپذیری و ضرایب صریح توسط داوران مورد نیاز است، از آن استفاده نکنید.

محدودیت‌ها و ملاحظات

  • عملکرد به شدت کاهش می‌یابد اگر بذر برچسب‌دار کوچک، پر از نویز یا نماینده رفتار عادی واقعی نباشد.
  • نرخ‌های بالای آلودگی در مجموعه بدون برچسب باعث انحراف برچسب کاذب و فساد مرز می‌شود.
  • برنامه‌نویسی درجه دو به خوبی مقیاس‌پذیر نیست: حل‌کننده‌های استاندارد SVM در بیش از ده‌ها هزار مشاهده مشکل دارند.
  • نیاز به تنظیم دقیق کرنل و پارامتر nu دارد؛ مقادیر پیش‌فرض به ندرت مرزهای بهینه را ارائه می‌دهند.
  • برچسب‌گذاری کاذب تکراری پیچیدگی پیاده‌سازی را افزایش می‌دهد و به معیارهای توقف اصولی نیاز دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • از داده‌های بدون برچسب فراوان برای بهبود کیفیت مرز بدون حاشیه‌نویسی کامل پرهزینه استفاده می‌کند.
  • انعطاف‌پذیری کرنل یک کلاسه SVM استاندارد را به ارث می‌برد و منیفولدهای داده عادی غیرخطی را ثبت می‌کند.
  • امتیازات ناهنجاری بهتر از OC-SVM صرفاً بدون نظارت در صورت وجود یک بذر برچسب‌دار تمیز، کالیبره شده‌اند.
  • در فضاهای ویژگی با ابعاد بالا که داده‌های عادی خوشه‌های فشرده‌ای را تشکیل می‌دهند، به خوبی کار می‌کند.
  • بزرگی امتیاز ناهنجاری یک رتبه‌بندی اطمینان طبیعی برای تریاژ و اولویت‌بندی فراهم می‌کند.

کاربردها

  • تشخیص نفوذ شبکه و حملات سایبری با استفاده از ترافیک عادی برچسب‌دار به علاوه گزارش‌های عملیاتی بدون برچسب.
  • کنترل کیفیت تصویر پزشکی که در آن اسکن‌های خوب تأیید شده در دسترس هستند اما ناهنجاری‌ها نادر هستند.
  • تشخیص نقص صنعتی با خوانش سنسور شرایط عملیاتی عادی به‌عنوان بذر برچسب‌دار.
  • تشخیص تقلب در تراکنش‌های مالی زمانی که فقط نمونه‌های غیرتقلب‌آمیز تأیید شده‌اند.
  • فیلتر کردن ناهنجاری متن یا سند با استفاده از مجموعه‌های سند پاک شناخته شده برای لنگر انداختن مرز.

چگونه کار می‌کند

چگونه کار می‌کند

1

داده‌های آموزشی را به یک مجموعه کوچک برچسب‌دار از نمونه‌های عادی تأیید شده و یک مجموعه بزرگتر بدون برچسب تقسیم کنید. مجموعه بدون برچسب معمولاً از داده‌های عملی واقعی از دامنه هدف تشکیل شده است که به صورت دستی تأیید نشده‌اند. کیفیت بذر برچسب‌دار به شدت بر عملکرد نهایی تأثیر می‌گذارد.

2

تمام مشاهدات را با استفاده از یک تابع کرنل - که معمولاً کرنل RBF است - به یک فضای هیلبرت کرنل بازتولید با ابعاد بالا نگاشت کنید. در آن فضا، خوشه‌های داده‌های عادی فشرده و از مبدأ قابل تفکیک می‌شوند، که ترفند هندسی زیربنای یک کلاسه SVM است.

فرمول
\phi: \mathcal{X} \rightarrow \mathcal{F}
3

یک SVM اولیه یک کلاسه را فقط با استفاده از نمونه‌های عادی برچسب‌دار برازش دهید. این یک ابرصفحه مقدماتی را تعریف می‌کند که توسط بردار وزن w، آستانه rho و متغیرهای لغزش xi تعریف می‌شود، که توسط پارامتر nu کنترل می‌شود و کسری از خطاهای آموزشی را محدود می‌کند.

فرمول
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rho
4

مدل اولیه را بر روی مجموعه بدون برچسب اعمال کنید و برچسب‌های کاذب نرم یا سخت را اختصاص دهید: نمونه‌هایی که به‌عنوان عادی طبقه‌بندی می‌شوند به طور موقت به مجموعه عادی اضافه می‌شوند؛ آن‌هایی که به‌عنوان ناهنجاری امتیازدهی می‌شوند ممکن است دور ریخته یا وزن‌دهی شوند. قابلیت اطمینان برچسب‌های کاذب را می‌توان با آستانه‌های اطمینان یا انتشار برچسب بر روی یک گراف شباهت بهبود بخشید.

5

یک کلاسه SVM را بر روی مجموعه برچسب‌دار گسترش‌یافته (برچسب‌های اصلی به علاوه برچسب‌های کاذب پذیرفته شده) دوباره آموزش دهید. حلقه برچسب‌گذاری کاذب و بازآموزی را برای تعداد مشخصی از تکرارها یا تا زمانی که مرز تثبیت شود، تکرار کنید. توقف زودهنگام از انحراف ناشی از خطاهای متوالی برچسب کاذب جلوگیری می‌کند.

6

در زمان استنتاج، هر مشاهده جدید را از طریق همان کرنل نگاشت کرده و تابع تصمیم f(x) را ارزیابی کنید. نمونه‌هایی که f(x) < 0 دارند به‌عنوان ناهنجار علامت‌گذاری می‌شوند؛ بزرگی امتیاز نشان‌دهنده فاصله از مرز عادی است و می‌تواند به‌عنوان رتبه‌بندی اطمینان ناهنجاری عمل کند.

فرمول
f(x) = \text{sign}(w^\top \phi(x) - \rho)

دام‌های رایج

  • استفاده از بذری برچسب‌دار که از توزیعی متفاوت از مجموعه بدون برچسب کشیده شده است، که منجر به خطاهای سیستماتیک برچسب کاذب می‌شود.
  • تنظیم پارامتر آلودگی nu بدون تخمین نرخ واقعی ناهنجاری، منجر به تشخیص بیش از حد یا کمتر از حد می‌شود.
  • اعتماد بی‌قید و شرط به برچسب‌های کاذب به جای اعمال آستانه‌های اطمینان یا وزن‌دهی نرم.
  • ارزیابی بر روی یک مجموعه ناهنجاری حاشیه‌نویسی شده نگهداری شده را نادیده گرفته و تنها به معیارهای خوشه‌بندی بدون نظارت تکیه می‌کنید.
  • این روش را با SVM تراداکتیو (S3VM) که مسئله متفاوتی از طبقه‌بندی نیمه‌نظارت‌شده را حل می‌کند به جای تشخیص یک کلاسه، اشتباه می‌گیرید.

پرسش‌های متداول

بذر برچسب‌دار چقدر باید بزرگ باشد؟

در عمل، حتی چند ده نمونه عادی تأیید شده می‌تواند یک مرز مفید را راه‌اندازی کند، اما مجموعه برچسب‌دار باید حالت‌های اصلی رفتار عادی را پوشش دهد. اگر بذر کوچکتر از حدود ۲۰ تا ۳۰ مشاهده باشد، مرز اولیه غیرقابل اعتماد خواهد بود و خطاهای برچسب کاذب انباشته می‌شوند.

اگر مجموعه بدون برچسب به شدت با ناهنجاری‌ها آلوده باشد چه؟

آلودگی بالا (بیش از حدود ۱۰ تا ۲۰ درصد ناهنجاری) باعث می‌شود که اصلاح تکراری به تدریج ناهنجاری‌ها را در کلاس عادی جذب کند و مرز را فاسد کند. در چنین مواردی، از آستانه پذیرش برچسب کاذب پایین‌تر استفاده کنید، رأی گروهی را در چندین اجرا اعمال کنید، یا فقط به یک کلاسه SVM صرفاً نظارت‌شده بر روی بذر برچسب‌دار تکیه کنید.

چگونه کرنل و پارامتر nu را انتخاب کنم؟

کرنل RBF پیش‌فرض استاندارد است؛ پهنای باند آن (gamma) را همراه با nu با استفاده از اعتبارسنجی متقابل بر روی مجموعه برچسب‌دار تنظیم کنید. Nu کسری از خطاهای آموزشی و کسری از بردارهای پشتیبان را کنترل می‌کند - آن را تقریباً برابر با نرخ ناهنجاری مورد انتظار در صورت شناخته شدن تنظیم کنید.

آیا این با SVM تراداکتیو (S3VM) متفاوت است؟

بله. SVM تراداکتیو (S3VM) طبقه‌بندی دودویی نیمه‌نظارت‌شده را انجام می‌دهد که در آن هر دو کلاس تا حدی برچسب‌دار هستند. یک کلاسه SVM نیمه‌نظارت‌شده به تشخیص ناهنجاری می‌پردازد: این روش فقط از برچسب‌های کلاس عادی استفاده می‌کند و مشاهدات بدون برچسب را به عنوان نرمال‌های بالقوه در نظر می‌گیرد، نه به عنوان یک کلاس دوم برای طبقه‌بندی.

آیا می‌توانم از این روش در مقیاس استفاده کنم؟

حل‌کننده‌های استاندارد SVM دارای پیچیدگی O(n^2) تا O(n^3) هستند. برای مجموعه داده‌های بیش از حدود ۵۰,۰۰۰ مشاهده، از حل‌کننده‌های تقریبی (مانند به‌روزرسانی‌های آنلاین مبتنی بر SGD، تقریب‌های کرنل از طریق ویژگی‌های فوریه Nystrom یا تصادفی) استفاده کنید یا به جایگزین‌های مقیاس‌پذیر مانند Isolation Forest یا آشکارسازهای ناهنجاری مبتنی بر autoencoder عمیق روی بیاورید.

روش‌های مرتبط

منابع

  1. Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.

    باز کردن مرجع انتشار
    کپی شد.
  2. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    باز کردن مرجع DOI
    کپی شد.