جنگل ایزوله نیمهنظارتشده
- معرفیشده توسط
- Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
- سال
- 2013–2020
- نوع
- Ensemble anomaly detection (semi-supervised extension)
- خانواده
- Machine learning
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
جنگل ایزوله نیمهنظارتشده (Semi-supervised Isolation Forest) آشکارساز ناهنجاری جنگل ایزوله کلاسیک را با گنجاندن مجموعهای کوچک از نمونههای ناهنجار (و احتمالاً عادی) برچسبدار در کنار مجموعه داده بزرگی بدون برچسب، گسترش میدهد. این راهنمایی برچسب، امتیازات ناهنجاری مدل را تنظیم میکند تا ناهنجاریهای شناختهشده با اطمینان بیشتری جدا شوند و شکاف بین تشخیص کاملاً بدون نظارت و کاملاً نظارتشده را پر کند.
شهود پشت روش
جنگل ایزوله استاندارد، ناهنجاریها را بر اساس سرعت جداسازی یک نقطه توسط یک درخت تصادفی امتیازدهی میکند — ناهنجاریها در انشعابات کمتری جدا میشوند. اما بدون هیچ برچسبی، مدل هیچ بازخوردی در مورد اینکه واقعاً در حوزه شما چه چیزی ناهنجار محسوب میشود، ندارد. جنگل ایزوله نیمهنظارتشده تعداد کمی مثال تأیید شده (ناهنجاریهای شناختهشده، یا عادیهای شناختهشده، یا هر دو) را معرفی میکند و از آنها برای کالیبراسیون یا وزندهی مجدد فرآیند امتیازدهی استفاده میکند. نتیجه این است که قدرت جداسازی ذاتی جنگل به سمت الگوهای ناهنجاری که واقعاً مهم هستند هدایت میشود و هشدارهای کاذب و تشخیصهای از دست رفته را بدون نیاز به مجموعه آموزشی کاملاً برچسبدار به طور قابل توجهی کاهش میدهد.
تاریخ
Isolation Forest در سال ۲۰۰۸ توسط Liu، Ting و Zhou به عنوان یک آشکارساز ناهنجاری کاملاً بدون نظارت مبتنی بر پارتیشنبندی بازگشتی تصادفی معرفی شد. با درک اینکه حتی چند برچسب میتواند تشخیص را به طور چشمگیری بهبود بخشد، محققان از حدود سال ۲۰۱۳ به بعد، افزونههای نیمهنظارتشدهای را توسعه دادند که راهنمایی برچسب را در فرآیند امتیازدهی یا وزندهی درخت ادغام میکنند. کارهای نظری مرتبط در مورد تشخیص ناهنجاری نظارتشده توسط Görnitz و همکاران (۲۰۱۳) پایهگذاری شد و انواع عملی SSIF در مقالات کاربردی که به تشخیص کلاهبرداری و نفوذ شبکه در اواخر دهه ۲۰۱۰ میپردازند، ظاهر شدند.
چه زمانی استفاده شود
هنگامی که شما یک مجموعه بزرگ از دادههای بدون برچسب دارید، هزینه برچسبگذاری کامل منع است، اما میتوانید برچسبهایی را برای حداقل مجموعهای کوچک از ناهنجاریهای تأیید شده (و به طور اختیاری برخی عادیهای تأیید شده) به دست آورید، از جنگل ایزوله نیمهنظارتشده استفاده کنید. این روش به ویژه برای تشخیص رویدادهای نادر در امنیت سایبری، کلاهبرداری، نگهداری پیشبینانه و نظارت پزشکی که در آن کارشناسان حوزه میتوانند تعداد انگشت شماری از حوادث شناختهشده را برچسبگذاری کنند، ارزشمند است. زمانی که اصلاً ناهنجاریهای برچسبدار در دسترس نیستند (جنگل ایزوله استاندارد یا One-Class SVM را ترجیح دهید)، زمانی که دادهها با ابعاد بالا و پراکنده بدون پیشپردازش هستند، یا زمانی که یک مجموعه بزرگ کاملاً برچسبدار از قبل در دسترس است (یک طبقهبند کاملاً نظارتشده بهتر از آن عمل خواهد کرد)، از آن استفاده نکنید.
محدودیتها و ملاحظات
- عملکرد در صورتی که ناهنجاریهای برچسبدار نماینده توزیع ناهنجاری در دادههای بدون برچسب نباشند، کاهش مییابد.
- مکانیزم بهینه ادغام برچسب بین پیادهسازیها متفاوت است؛ هنوز هیچ نوع غالب جهانی وجود ندارد.
- مانند iForest استاندارد، میتواند با ناهنجاریهای متمرکز در مرکز داده یا با توزیعهای چندوجهی خاص مشکل داشته باشد.
- برای جلوگیری از نشت داده در هنگام ارزیابی، نیاز به دقت دارد: مجموعه برچسبدار نباید با مجموعه آزمون همپوشانی داشته باشد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- با لنگر انداختن امتیازات به ناهنجاریهای برچسبدار واقعی، دقت و بازیابی بالاتری نسبت به iForest کاملاً بدون نظارت به دست میآورد.
- فقط به تعداد کمی برچسب نیاز دارد، که آن را در مواردی که حاشیهنویسی پرهزینه است، عملی میسازد.
- زمان آموزش زیرخطی و ردپای حافظه کم iForest را به ارث میبرد و با مجموعه دادههای بزرگ مقیاس میشود.
- دادههای جدولی با ابعاد بالا را بدون مفروضات فاصله یا چگالی مدیریت میکند.
- انتخاب آستانه دلخواه را کاهش میدهد: زیرمجموعه برچسبدار مبنای کالیبراسیون اصولی را فراهم میکند.
کاربردها
- تشخیص نفوذ شبکه با استفاده از تعداد انگشت شماری نمونه حمله تأیید شده در کنار ترافیک عادی.
- تشخیص کلاهبرداری مالی که در آن فقط مجموعهای کوچک از تراکنشهای کلاهبردارانه تأیید شده برای برچسبگذاری در دسترس است.
- نگهداری پیشبینانه: استفاده از رویدادهای خرابی تأیید شده برای کالیبراسیون امتیازات ناهنجاری بر روی جریانهای حسگر.
- نظارت پزشکی: هدایت امتیازدهی ناهنجاری با موارد پاتولوژیک تأیید شده از سوابق سلامت الکترونیکی.
- کنترل کیفیت در تولید که در آن فقط زیرمجموعهای از واحدهای معیوب به طور مستقل تأیید شدهاند.
چگونه کار میکند
چگونه کار میکند
دادههای موجود به یک زیرمجموعه کوچک برچسبدار — حاوی ناهنجاریهای تأیید شده، عادیهای تأیید شده، یا هر دو — و یک مجموعه بزرگ بدون برچسب تقسیم میشوند. زیرمجموعه برچسبدار به دلیل طراحی کوچک است؛ دستیابی به برچسبهای کامل معمولاً پرهزینه یا غیرعملی است، که دقیقاً سناریویی است که این روش هدف قرار میدهد.
مجموعهای از درختان ایزوله بر روی نمونههای تصادفی از کل مجموعه داده (برچسبدار به علاوه بدون برچسب) رشد داده میشوند، که از رویه استاندارد iForest پیروی میکنند: در هر گره داخلی، یک ویژگی تصادفی و یک مقدار انشعاب تصادفی در محدوده آن ویژگی برای تقسیم بازگشتی دادهها انتخاب میشوند تا زمانی که هر نقطه جدا شود.
هر مشاهده یک امتیاز ناهنجاری دریافت میکند که از میانگین طول مسیر آن در تمام درختان مشتق شده است. مسیرهای میانگین کوتاهتر — به معنی جداسازی آسانتر — امتیازات ناهنجاری بالاتری را به دست میآورند. امتیاز نرمالشده s(x, n) به (0, 1] نگاشت میشود، با مقادیری نزدیک به ۱ که نشاندهنده کاندیداهای قوی ناهنجاری است.
فرمول
s(x, n) = 2^{-E[h(x)] / c(n)}مثالهای برچسبدار برای تنظیم مدل استفاده میشوند: بسته به نوع، این ممکن است شامل وزندهی مجدد درختان یا انشعاباتی باشد که ناهنجاریهای شناختهشده را به درستی از عادیها جدا میکنند، افزودن یک جمله زیان نظارتشده به تجمیع امتیاز، یا استفاده از مجموعه برچسبدار برای یادگیری یک مرز تصمیمگیری بر روی امتیازات بدون نظارت. این مرحله تفاوت تعیینکننده با iForest استاندارد است.
یک آستانه به امتیازات ناهنجاری تنظیمشده اعمال میشود تا تصمیمات دودویی ناهنجار / عادی تولید شود. زیرمجموعه برچسبدار امکان انتخاب آستانه مبتنی بر داده را فراهم میکند — برای مثال، انتخاب حد قطعی که F1 را بر روی مثالهای برچسبدار به حداکثر میرساند — به جای تکیه بر یک صدک دلخواه.
دامهای رایج
- استفاده از فقط برچسبهای ناهنجار و نادیده گرفتن برچسبهای عادی در حالی که هر دو در دسترس هستند — گنجاندن عادیهای تأیید شده میتواند مرز تصمیمگیری را بیشتر تیز کند.
- ارزیابی بر روی مجموعه آزمونی که شامل مثالهای آموزشی برچسبدار است، معیارهای عملکرد را متورم میکند.
- انتخاب آستانه امتیاز ناهنجاری با یک صدک ثابت به جای استفاده از مجموعه برچسبدار برای کالیبراسیون.
- فرض اینکه روش زمانی قوی است که ناهنجاریهای برچسبدار فقط یک نوع را پوشش میدهند در حالی که مجموعه بدون برچسب شامل الگوهای ناهنجاری متنوعی است.
- نادیده گرفتن پیشپردازش ویژگیهای با ابعاد بالا یا مختلط قبل از برازش، که میتواند انتخاب انشعاب تصادفی را منحرف کند.
پرسشهای متداول
چه تعداد ناهنجاری برچسبدار نیاز دارم؟
حتی تعداد کمی — گاهی اوقات به اندازه ۱۰ تا ۵۰ ناهنجاری تأیید شده — میتواند کالیبراسیون معنیداری را فراهم کند. شرط کلیدی این است که آنها نماینده انواع ناهنجاریهای موجود در مجموعه بدون برچسب باشند. پوشش برچسب متنوعتر در انواع ناهنجاریها معمولاً سود بیشتری به همراه دارد.
این روش چه تفاوتی با جنگل ایزوله استاندارد دارد؟
جنگل ایزوله استاندارد کاملاً بدون نظارت است و ناهنجاریها را صرفاً بر اساس طول مسیر و بدون هیچ بازخورد دامنه امتیازدهی میکند. جنگل ایزوله نیمهنظارتشده مجموعهای کوچک برچسبدار را برای تنظیم امتیازات یا وزن درختان ادغام میکند، مدل را به سمت الگوهای ناهنجاری که واقعاً در دامنه شما مرتبط هستند هدایت میکند و امکان کالیبراسیون آستانه اصولی را فراهم میسازد.
آیا میتوانم مثالهای عادی برچسبدار و همچنین ناهنجار را شامل کنم؟
بله، و این به طور کلی مفید است. عادیهای برچسبدار به مدل کمک میکنند تا موارد مرزی را با وضوح بیشتری تشخیص دهد. برخی از انواع، مجموعه برچسبدار را به عنوان یک مرجع متعادل برای کالیبراسیون تابع امتیازدهی در نظر میگیرند، بنابراین گنجاندن هر دو کلاس در صورت در دسترس بودن، مرز تصمیمگیری را بهبود میبخشد.
آیا باید از اعتبارسنجی متقابل برای ارزیابی مدل استفاده کنم؟
بله، اما با دقت. زیرمجموعه برچسبدار باید از مجموعه آزمون حذف شود یا به درستی طبقهبندی شود تا از نشت داده جلوگیری شود. یک تقسیم آموزش/آزمون طبقهبندی شده بر روی بخش برچسبدار، همراه با کل مجموعه بدون برچسب برای آموزش، تنظیمات استاندارد ارزیابی است.
اگر ناهنجاریهای برچسبدار من نماینده نباشند چه؟
تنظیم هدایتشده توسط برچسب میتواند در صورتی که ناهنجاریهای برچسبدار فقط بخش کوچکی از توزیع ناهنجاری واقعی را پوشش دهند، نتیجه معکوس دهد. در این صورت، مدل ممکن است انواع ناهنجاریهای جدیدی را که هرگز به آن نشان داده نشدهاند، از دست بدهد. توصیه میشود تشخیص نیمهنظارتشده را با امتیازدهی ناهنجاری بدون نظارت تکمیل کنید و در تولید، انحراف توزیعی را نظارت کنید.
روشهای مرتبط
منابع
Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.
باز کردن مرجع انتشارکپی شد.Isolation Forest. Wikipedia.
باز کردن مرجع انتشارکپی شد.