آشکارسازی ناهنجاری با خودرمزگذار نیمهنظارتشده
- معرفیشده توسط
- Ruff, L. et al.; Zong, B. et al.
- سال
- 2018–2020
- نوع
- Semi-supervised deep anomaly detection
- خانواده
- Machine learning
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
خودرمزگذار نیمهنظارتشده برای آشکارسازی ناهنجاری، یک خودرمزگذار عصبی را عمدتاً بر روی دادههای عادی (بدون برچسب) آموزش میدهد، سپس از مجموعهای کوچک از ناهنجاریهای برچسبدار برای اصلاح مرزهای تصمیمگیری استفاده میکند و ناهنجاریها را بهعنوان نمونههایی با خطای بازسازی بالا شناسایی میکند. این روش شکاف بین خودرمزگذارهای کاملاً بدون نظارت و طبقهبندهای کاملاً نظارتشده را در مواردی که برچسبها کمیاب هستند اما برخی ناهنجاریهای شناختهشده وجود دارند، پر میکند.
شهود پشت روش
یک خودرمزگذار استاندارد یاد میگیرد که دادههای عادی را بهخوبی فشرده و بازسازی کند؛ ناهنجاریهایی که هرگز ندیده است را بهطور ضعیف بازسازی میکند، بنابراین خطای بازسازی آنها را پرچمگذاری میکند. خودرمزگذارهای کاملاً بدون نظارت هیچ لنگری برای آنچه ناهنجار محسوب میشود ندارند — آنها فقط آنچه را که عادی است میدانند. نوع نیمهنظارتشده از مجموعه کوچک ناهنجاریهای برچسبدار بهعنوان مثالهای منفی در طول تنظیم دقیق استفاده میکند و مرز تصمیمگیری مدل را به ناهنجاریهای دنیای واقعی نزدیکتر میسازد بدون اینکه به نظارت کامل نیاز داشته باشد. نتیجه یک آشکارساز است که هم از نظر داده کارآمد است و هم نسبت به هر یک از دو حالت افراطی بهتنهایی، بهتر کالیبره شده است.
تاریخ
آشکارسازی ناهنجاری با خودرمزگذار بدون نظارت پس از ظهور یادگیری عمیق در حدود سال ۲۰۱۴ رواج یافت. Zong و همکاران (ICLR 2018) خودرمزگذارها را با مدلهای ترکیبی گوسی برای امتیازدهی ناهنجاری بدون نظارت ادغام کردند. Ruff و همکاران (ICLR 2020) نوع نیمهنظارتشده را فرموله کردند و نشان دادند که حتی تعداد کمی ناهنجاری برچسبدار بهطور قابل توجهی تشخیص را نسبت به خطوط پایه کاملاً بدون نظارت بهبود میبخشد و چارچوبی را که امروزه بهطور گسترده استفاده میشود، ایجاد کرد.
چه زمانی استفاده شود
زمانی توصیه میشود که دادههای بدون برچسب فراوان و عمدتاً عادی، به همراه مجموعهای کوچک اما قابل اعتماد از ناهنجاریهای تأیید شده داشته باشید و آشکارسازهای ناهنجاری بدون نظارت آماده، مثبت کاذب زیادی تولید کنند. بهویژه برای دادههای با ابعاد بالا یا غیرخطی مانند سیگنالهای حسگر، ترافیک شبکه، یا تصاویر که در آنها روشهای سنتی (مانند one-class SVM) ضعیف عمل میکنند، مؤثر است. زمانی که اصلاً ناهنجاریهای برچسبدار در دسترس نیستند (خودرمزگذارهای بدون نظارت را ترجیح دهید) یا زمانی که برچسبهای کافی برای یک طبقهبند کاملاً نظارتشده دارید، استفاده نکنید. با مجموعه دادههای بسیار کوچک (کمتر از چند صد نمونه) که شبکه عمیق نمیتواند تعمیم دهد، اجتناب کنید.
محدودیتها و ملاحظات
- تقسیمبندی دقیق را میطلبد: اگر استخر بدون برچسب حاوی ناهنجاریهای زیادی باشد، پیشآموزش مختل میشود و عملکرد بهطور قابل توجهی کاهش مییابد.
- خودرمزگذارهای عمیق برای آموزش و تنظیم نسبت به روشهای کمعمق، از نظر محاسباتی فشرده هستند.
- تفسیرپذیری محدود است؛ سیگنال خطای بازسازی توضیح نمیدهد که کدام ویژگیها باعث ناهنجاری شدهاند.
- به انتخاب عمق معماری، بعد نهفته، و وزندهی زیان بین اهداف بدون نظارت و نظارتشده حساس است.
- انتخاب آستانه غیربدیهی است و باید بر روی دادههای برچسبدار جدا شده اعتبارسنجی شود تا از برشهای دلخواه جلوگیری شود.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- بهطور مؤثر از حجم زیادی از دادههای عادی بدون برچسب در کنار ناهنجاریهای برچسبدار کمیاب بهره میبرد و کارایی داده را به حداکثر میرساند.
- فضاهای ویژگی با ابعاد بالا و غیرخطی را بسیار بهتر از روشهای مبتنی بر هسته مانند one-class SVM مدیریت میکند.
- امتیاز ناهنجاری (خطای بازسازی) پیوسته است و امکان تنظیم دقیق آستانه را برای مطابقت با الزامات عملیاتی فراهم میکند.
- پیشآموزش بر روی دادههای عادی یک اولویت قوی ایجاد میکند و تعداد ناهنجاریهای برچسبدار مورد نیاز را در مقایسه با رویکرد کاملاً نظارتشده کاهش میدهد.
- معماری انعطافپذیر است و میتواند لایههای کانولوشنال، بازگشتی، یا ترنسفورمر را برای تصاویر، سریهای زمانی، یا متن در بر گیرد.
کاربردها
- آشکارسازی نقص و عیب صنعتی بر روی جریانهای حسگر یا تلهمتری که در آن رویدادهای معیوب نادر اما مستند هستند.
- آشکارسازی ناهنجاری در نفوذ شبکه و امنیت سایبری با امضاهای حمله شناختهشده بهعنوان بذرهای برچسبدار.
- غربالگری تصاویر پزشکی یا دادههای بالینی که در آن موارد پاتولوژیک تأیید شده کمیاب هستند.
- آشکارسازی تقلب مالی با ترکیب تراکنشهای عادی فراوان با تعداد کمی از موارد تأیید شده کلاهبرداری.
- خطوط لوله نگهداری پیشبینانه که در آن سوابق خرابی تاریخی بهعنوان مثالهای ناهنجاری برچسبدار عمل میکنند.
چگونه کار میکند
چگونه کار میکند
مجموعه آموزشی به یک استخر بزرگ از دادههای بدون برچسب (که عمدتاً عادی فرض میشوند) و یک مجموعه کوچک و گزینششده از ناهنجاریهای برچسبدار تقسیم میشود. این تقسیمبندی، کمیابی برچسبهای ناهنجاری تأیید شده در دنیای واقعی را منعکس میکند و در عین حال از هرگونه سیگنال حقیقت زمینی موجود بهره میبرد.
یک شبکه رمزگذار-رمزگشا بر روی استخر بدون برچسب پیشآموزش داده میشود تا زیان بازسازی را به حداقل برساند و یک نمایش فشرده در فضای نهفته از الگوهای عادی را یاد بگیرد. این مرحله مفهوم بنیادی از ظاهر عادی را بدون نیاز به هیچ برچسبی ایجاد میکند.
در مرحله دوم، ناهنجاریهای برچسبدار گنجانده میشوند — چه با افزودن یک سر طبقهبندی، چه با استفاده از یک زیان کنتراستیو یا هایپراسفیر (مانند افزونههای Deep SVDD)، یا با جریمه کردن خطای بازسازی پایین برای ناهنجاریهای شناختهشده. این کار مرز تصمیمگیری را از نقاط غیرعادی تأیید شده دور میکند.
در زمان استنتاج، هر نمونه از خودرمزگذار آموزشدیده عبور داده میشود. امتیاز ناهنجاری معمولاً خطای بازسازی است (میانگین مربعات خطا بین ورودی و خروجی). بهطور اختیاری، فاصله فضای نهفته از مرکز کلاس عادی نیز استفاده میشود.
فرمول
s(x) = \|x - \hat{x}\|^2یک آستانه بر روی امتیاز ناهنجاری انتخاب میشود — با استفاده از ناهنجاریهای برچسبدار، منحنی دقت-بازیابی، یا نرخ هدف مثبت کاذب — برای تولید برچسبهای دودویی عادی/ناهنجار. انتخاب آستانه مستقیماً بر تعادل دقت-بازیابی حاکم است.
دامهای رایج
- آلوده کردن استخر پیشآموزش بدون برچسب با ناهنجاریهای تشخیص داده نشده، که نمایش دادههای عادی را تضعیف میکند.
- در نظر گرفتن خطای بازسازی بهعنوان یک احتمال کالیبره شده بدون کالیبراسیون مناسب آستانه در برابر مثالهای برچسبدار.
- استفاده از یک تقسیمبندی آموزش/آزمون واحد بدون اعتبارسنجی متقابل، که منجر به تخمینهای عملکرد بیش از حد خوشبینانه در کلاسهای ناهنجاری نادر میشود.
- انتخاب بعد نهفته بدون آزمایش، چه خیلی کوچک (از دست دادن اطلاعات) و چه خیلی بزرگ (خودرمزگذار ناهنجاریها را بهخوبی دادههای عادی بازسازی میکند).
- نادیده گرفتن عدم تعادل کلاس هنگام محاسبه معیارهای ارزیابی — دقت با عدم تعادل شدید بیمعنی است؛ بهجای آن از AUROC و میانگین دقت استفاده کنید.
پرسشهای متداول
چه تعداد ناهنجاری برچسبدار مورد نیاز است؟
این روش میتواند با تنها دوازده ناهنجاری تأیید شده کار کند، اما عملکرد تا چند صد مورد بهطور قابل توجهی بهبود مییابد. نکته کلیدی این است که ناهنجاریهای برچسبدار باید انواع اصلی رفتار غیرعادی موجود در دامنه را پوشش دهند.
اگر استخر بدون برچسب من حاوی ناهنجاریهای پنهان باشد چه؟
آلودگی بدون برچسب بزرگترین حالت شکست است. قبل از تنظیم دقیق، از یک فیلتر اولیه بدون نظارت (مانند isolation forest) برای حذف نقاط پرت آشکار از استخر پیشآموزش استفاده کنید.
چگونه آستانه خطای بازسازی را انتخاب کنم؟
از مجموعه ناهنجاری برچسبدار خود و منحنی دقت-بازیابی استفاده کنید تا آستانهای را انتخاب کنید که با تحمل عملیاتی شما برای مثبتهای کاذب و منفیهای کاذب مطابقت داشته باشد. هرگز آستانه را بر روی همان دادههایی که برای آموزش مدل استفاده شدهاند، انتخاب نکنید.
آیا این بهتر از one-class SVM یا isolation forest است؟
در دادههای با ابعاد بالا یا غیرخطی با حداقل چند ناهنجاری برچسبدار، خودرمزگذارهای نیمهنظارتشده معمولاً بهتر از one-class SVM و isolation forest عمل میکنند. در دادههای جدولی با ابعاد پایین و نمونههای بسیار کم، روشهای سادهتر میتوانند عملکرد آن را با هزینه کمتر مطابقت دهند یا از آن فراتر روند.
از چه معیارهای ارزیابی باید گزارش دهم؟
AUROC و میانگین دقت (مساحت زیر منحنی دقت-بازیابی) را بر روی یک مجموعه آزمون جدا شده که شیوع واقعی ناهنجاری را حفظ میکند، گزارش دهید. دقت و F1 در یک آستانه ثابت باید معیارهای ثانویه باشند و توجیه آستانه ارائه شود.
روشهای مرتبط
منابع
Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).
باز کردن مرجع انتشارکپی شد.Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).
باز کردن مرجع انتشارکپی شد.