Skip to content
بازگشت به نتایج جست‌وجو

یادگیری فعال SVM تک‌کلاسه

معرفی‌شده توسط
Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
سال
2000s
نوع
Semi-supervised anomaly/novelty detection with iterative labeling
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فعال SVM تک‌کلاسه، ماشین بردار پشتیبان تک‌کلاسه — یک آشکارساز تازگی مبتنی بر هسته که مرز داده‌های عادی را می‌آموزد — را با یک حلقه یادگیری فعال ترکیب می‌کند که آموزنده‌ترین نمونه‌های بدون برچسب را برای حاشیه‌نویسی توسط متخصص انتخاب می‌کند. نتیجه یک آشکارساز ناهنجاری با کارایی داده است که مرز تصمیم‌گیری خود را با حداقل تلاش برای برچسب‌گذاری بهبود می‌بخشد.

شهود پشت روش

یک SVM تک‌کلاسه استاندارد، مرزی محکم در اطراف ناحیه عادی شناخته‌شده فضای ویژگی رسم می‌کند. دشواری این است که کیفیت مرز به شدت به این بستگی دارد که کدام نمونه‌ها برچسب‌گذاری شده‌اند. یادگیری فعال این مشکل را با درخواست از یک اوراکل برای برچسب‌گذاری تنها نمونه‌هایی که نزدیک یا درست خارج از مرز تصمیم‌گیری فعلی قرار می‌گیرند — نقاطی که مدل در مورد آنها بیشترین عدم قطعیت را دارد — برطرف می‌کند. با پرس‌وجو به صورت استراتژیک به جای تصادفی، مدل یک مجموعه آموزشی آموزنده‌تر با نمونه‌های برچسب‌گذاری شده بسیار کمتر به دست می‌آورد که هزینه حاشیه‌نویسی را کاهش می‌دهد و در عین حال مرز بین عادی و ناهنجار را تیزتر می‌کند.

تاریخ

SVM تک‌کلاسه توسط شولکوف و همکارانش در سال‌های ۱۹۹۹-۲۰۰۱ به عنوان یک روش هسته اصولی برای تخمین پشتیبان یک توزیع معرفی شد و به سرعت به یک الگوریتم مرجع برای تشخیص تازگی و ناهنجاری تبدیل گشت. پارادایم یادگیری فعال — پرس‌وجوی سیستماتیک از یک اوراکل برای برچسب‌های آموزنده — در بررسی ستلز (Settles) (۲۰۰۹) رسمی شد. محققان در دهه‌های ۲۰۰۰ و ۲۰۱۰ این دو ایده را با هم ادغام کردند و استراتژی‌های پرس‌وجوی مبتنی بر عدم قطعیت و مبتنی بر حاشیه را در OCSVM در حوزه‌هایی مانند تشخیص نفوذ، تشخیص خطا، و غربالگری پزشکی، که ناهنجاری‌های برچسب‌گذاری شده ذاتاً کمیاب هستند، به کار بردند.

چه زمانی استفاده شود

زمانی استفاده کنید که ناهنجاری‌ها یا تازگی‌ها باید شناسایی شوند اما نمونه‌های برچسب‌گذاری شده گران، کمیاب یا در ابتدا در دسترس نیستند — که در تشخیص تقلب، نظارت بر خطای تجهیزات، تشخیص نفوذ امنیت سایبری، و غربالگری بیماری‌های نادر پزشکی معمول است. این روش زمانی مناسب است که عرضه معقولی از داده‌های عادی بدون برچسب در کنار یک دانه کوچک از نمونه‌های عادی تأیید شده وجود داشته باشد، و زمانی که یک اوراکل (متخصص انسانی یا آزمایش‌کننده خودکار) می‌تواند نقاط پرس‌وجو شده را برچسب‌گذاری کند. زمانی اجتناب کنید که نرخ ناهنجاری آنقدر پایین است که حتی پرس‌وجوهای فعال به ندرت به ناهنجاری‌ها برخورد می‌کنند، زمانی که فضای ویژگی بدون یک نگاشت هسته معنی‌دار بسیار پربعد است، یا زمانی که یک خط لوله کاملاً خودکار بدون دخالت انسان مورد نیاز است.

محدودیت‌ها و ملاحظات

  • عملکرد به انتخاب هسته و فراپارامتر نو (nu) حساس است؛ پیش‌فرض‌های ضعیف می‌توانند مرزی بسیار محکم یا بسیار سست ایجاد کنند.
  • مقیاس‌پذیری محدود است: هزینه آموزش OCSVM تقریباً به صورت درجه دوم با تعداد بردارهای پشتیبان رشد می‌کند، که آن را در مجموعه داده‌های بزرگ کند می‌کند.
  • اگر دانه برچسب‌گذاری شده اولیه نماینده ناحیه عادی واقعی نباشد، پرس‌وجوهای اولیه ممکن است مدل را گمراه کنند.
  • یادگیری فعال فرض می‌کند که اوراکل در دسترس و قابل اعتماد است؛ برچسب‌گذاری پر سر و صدا یا ناسازگار، مرز را تخریب می‌کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • تعداد برچسب‌های متخصص مورد نیاز برای ساخت یک آشکارساز ناهنجاری مؤثر را به شدت کاهش می‌دهد.
  • داده‌های پربعد را به خوبی از طریق نگاشت‌های هسته، به ویژه هسته RBF، مدیریت می‌کند.
  • در زمان مقداردهی اولیه نیازی به نمونه‌های ناهنجاری ندارد — تنها از داده‌های عادی بوت‌استرپ می‌کند.
  • استراتژی پرس‌وجوی فعال، تلاش حاشیه‌نویسی را بر روی مرتبط‌ترین منطقه تصمیم‌گیری فضا متمرکز می‌کند.
  • مرز OCSVM از طریق فراپارامتر نو (nu) در برابر نقاط پرت در مجموعه آموزشی مقاوم است.

کاربردها

  • تشخیص نفوذ شبکه و ناهنجاری امنیت سایبری با برچسب‌های حمله محدود.
  • نظارت بر خطای تجهیزات صنعتی با استفاده از جریان‌های حسگر با رویدادهای شکست پراکنده.
  • تشخیص تقلب در تراکنش‌های مالی که موارد تقلب تأیید شده کمیاب و برچسب‌گذاری آنها پرهزینه است.
  • غربالگری بیماری‌های نادر پزشکی یا رویدادهای نادر که زمان حاشیه‌نویسی متخصص یک محدودیت الزام‌آور است.
  • تشخیص تازگی تصویر یا متن زمانی که تنها یک مجموعه از نمونه‌های عادی در ابتدا در دسترس است.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک SVM تک‌کلاسه اولیه بر روی مجموعه کوچکی از نمونه‌های عادی برچسب‌گذاری شده موجود در ابتدا آموزش داده می‌شود. هسته (معمولاً RBF) و فراپارامتر نو (nu) — که کسر نقاط آموزشی خارج از مرز را کنترل می‌کند — قبل از شروع تکرار تنظیم می‌شوند.

2

استراتژی یادگیری فعال، هر نمونه بدون برچسب را بر اساس فاصله آن تا مرز تصمیم‌گیری OCSVM امتیازدهی می‌کند. نقاط نزدیک‌ترین به مرز مبهم‌ترین هستند؛ آنها رتبه‌بندی می‌شوند و کاندیداهای برتر به عنوان پرس‌وجو برای اوراکل انتخاب می‌شوند. استراتژی‌های رایج شامل نمونه‌برداری حاشیه و انواع وزن‌دهی شده با چگالی هستند.

3

یک متخصص دامنه (یا یک جایگزین کم‌هزینه مانند پلتفرم برون‌سپاری جمعی) یک برچسب — عادی یا ناهنجار — به هر نمونه پرس‌وجو شده اختصاص می‌دهد. این مرحله گلوگاه است، بنابراین کارایی انتخاب پرس‌وجو هزینه کلی را تعیین می‌کند.

4

نمونه‌های تازه برچسب‌گذاری شده به مجموعه آموزشی اضافه می‌شوند و SVM تک‌کلاسه مجدداً آموزش داده می‌شود. اگر برچسب‌های ناهنجاری در دسترس باشند، می‌توانند از طریق یک پالایش مرزی دوکلاسه گنجانده شوند؛ اگر فقط برچسب‌های عادی اضافه شوند، مرز در اطراف داده‌های عادی تأیید شده محکم‌تر می‌شود.

5

حلقه تا زمانی که بودجه (حداکثر تعداد پرس‌وجوها) به اتمام برسد، عملکرد بر روی مجموعه اعتبارسنجی به ثبات برسد، یا تغییر مرز بین تکرارها کمتر از یک آستانه شود، تکرار می‌شود. OCSVM نهایی برای امتیازدهی تولید مستقر می‌شود.

دام‌های رایج

  • تنظیم نو (nu) بر روی مجموعه آموزشی بدون یک مجموعه اعتبارسنجی نگهداری شده، که منجر به یک مرز بیش از حد خوش‌بینانه می‌شود.
  • انتخاب پرس‌وجوها صرفاً بر اساس حاشیه بدون در نظر گرفتن چگالی، که باعث می‌شود مدل نقاطی را در مناطق پراکنده و غیرنماینده پرس‌وجو کند.
  • در نظر گرفتن تمام داده‌های بدون برچسب به عنوان عادی در طول مقداردهی اولیه بدون بررسی آلودگی.
  • توقف حلقه پس از تعداد بسیار کمی پرس‌وجو و گزارش عملکرد بر روی یک مجموعه اعتبارسنجی کوچک به گونه‌ای که گویی پایدار است.
  • استفاده از یک هسته خطی بر روی داده‌هایی که ناحیه عادی غیرمحدب است — هسته باید با هندسه کلاس عادی مطابقت داشته باشد.

پرسش‌های متداول

تفاوت بین این روش و یک SVM تک‌کلاسه استاندارد چیست؟

یک SVM تک‌کلاسه استاندارد یک بار بر روی تمام داده‌های برچسب‌گذاری شده موجود آموزش می‌بیند. نوع یادگیری فعال تکرار می‌شود: بر روی یک دانه کوچک آموزش می‌بیند، آموزنده‌ترین نقاط بدون برچسب را پرس‌وجو می‌کند، برچسب‌ها را جمع‌آوری می‌کند و مجدداً آموزش می‌بیند. این کار مرز را با نمونه‌های برچسب‌گذاری شده بسیار کمتر دقیق‌تر می‌کند.

برای شروع به چند نمونه برچسب‌گذاری شده نیاز دارم؟

حتی تعداد کمی از نمونه‌های عادی تأیید شده (به تعداد ۱۰-۵۰) می‌توانند اولین OCSVM را راه‌اندازی کنند. سپس حلقه فعال مجموعه برچسب‌گذاری شده را به صورت استراتژیک رشد می‌دهد. شروع با تعداد بسیار کمی نمونه خطر یک مرز اولیه ناپایدار را به همراه دارد که پرس‌وجوهای اولیه را به اشتباه هدایت می‌کند.

از چه استراتژی پرس‌وجویی باید استفاده کنم؟

نمونه‌برداری حاشیه — پرس‌وجوی نمونه‌های نزدیک‌ترین به مرز تصمیم‌گیری فعلی OCSVM — رایج‌ترین انتخاب است. انواع وزن‌دهی شده با چگالی که نقاط را در مناطق متراکم فضای ورودی نیز ترجیح می‌دهند، زمانی که داده‌ها دارای ساختار خوشه‌ای هستند، تمایل دارند عملکرد بهتری نسبت به نمونه‌برداری حاشیه خالص داشته باشند.

چگونه عملکرد را زمانی که برچسب‌های ناهنجاری کمیاب هستند ارزیابی کنم؟

از مساحت زیر منحنی ROC (AUC-ROC) یا مساحت زیر منحنی دقت-بازیابی (AUC-PR) بر روی یک مجموعه اعتبارسنجی نگهداری شده که شامل ناهنجاری‌های تأیید شده است، استفاده کنید. دقت زمانی که ناهنجاری‌ها کمیاب هستند گمراه‌کننده است. اگر هیچ برچسب ناهنجاری وجود ندارد، از بازرسی بصری مرز در یک پروجکشن کم‌بعد استفاده کنید.

چه زمانی باید به یک آشکارساز ناهنجاری متفاوت تغییر دهم؟

اگر مجموعه داده بیش از چند هزار نمونه دارد، آشکارسازهای مبتنی بر Isolation Forest یا Autoencoder بهتر مقیاس‌پذیر هستند. اگر به اندازه کافی ناهنجاری برچسب‌گذاری شده برای آموزش نظارت شده دارید، یک SVM باینری استاندارد یا طبقه‌بندی‌کننده تقویت‌شده گرادیان معمولاً عملکرد بهتری نسبت به OCSVM خواهد داشت.

روش‌های مرتبط

منابع

  1. Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.

    باز کردن مرجع DOI
    کپی شد.
  2. Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    باز کردن مرجع انتشار
    کپی شد.