Skip to content
بازگشت به نتایج جست‌وجو

تشخیص ناهنجاری با اِنسمبل خودرمزگذار (Ensemble Autoencoder)

معرفی‌شده توسط
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
سال
2017
نوع
Ensemble unsupervised anomaly detection
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تشخیص ناهنجاری با اِنسمبل خودرمزگذار، چندین شبکه عصبی خودرمزگذار را بر روی داده‌های کلاس نرمال آموزش می‌دهد و خطاهای بازسازی آن‌ها را تجمیع می‌کند تا یک امتیاز ناهنجاری قوی تولید کند. با ترکیب خودرمزگذارهای متنوع به جای اتکا به یک مورد، این روش رتبه‌بندی داده‌های پرت را تثبیت کرده و حساسیت به مقداردهی اولیه تصادفی یا انتخاب معماری نامناسب را کاهش می‌دهد.

شهود پشت روش

یک خودرمزگذار منفرد یاد می‌گیرد که مشاهدات نرمال را فشرده و سپس بازسازی کند؛ ناهنجاری‌ها به خوبی فشرده نمی‌شوند و خطای بازسازی بالایی ایجاد می‌کنند. مشکل این است که امتیاز ناهنجاری یک خودرمزگذار شکننده است - به مقداردهی اولیه تصادفی خاص و معماری بستگی دارد. یک اِنسمبل، بسیاری از خودرمزگذارها را بر روی زیرمجموعه‌های تصادفی مختلف از ویژگی‌ها یا داده‌ها آموزش می‌دهد، سپس خطاهای بازسازی آن‌ها را میانگین‌گیری می‌کند. ویژگی‌های منحصر به فرد هر شبکه حذف می‌شوند و یک سیگنال ناهنجاری پایدارتر و مطمئن‌تر تولید می‌کنند که فریب دادن آن دشوارتر و آستانه‌گذاری آن آسان‌تر است.

تاریخ

تشخیص ناهنجاری مبتنی بر خودرمزگذار پس از کار Hinton و Salakhutdinov در سال 2006 در مورد خودرمزگذارهای عمیق محبوب شد، که در آن خطای بازسازی بالا به عنوان یک سیگنال طبیعی داده پرت ظهور کرد. گسترش اِنسمبل توسط Chen، Sathe، Aggarwal و Turaga در کنفرانس SIAM Data Mining سال 2017 رسمی شد، که نشان دادند تنوع بخشیدن به خودرمزگذارها از طریق کیسه‌بندی ویژگی (feature bagging) به طور قابل اعتمادی از هر مدل منفرد بهتر عمل می‌کند. این رویکرد اکنون به طور معمول در خطوط لوله تشخیص ناهنجاری صنعتی برای نفوذ شبکه، نگهداری پیش‌بینانه و نظارت پزشکی ظاهر می‌شود.

چه زمانی استفاده شود

زمانی استفاده کنید که عمدتاً داده‌های بدون برچسب دارید و می‌خواهید ناهنجاری‌های نادر را در ویژگی‌های پیوسته با ابعاد بالا تشخیص دهید - به عنوان مثال، جریان‌های سنسور، گزارش‌های تراکنش، یا سیگنال‌های پزشکی - و یک خودرمزگذار منفرد در طول اجراها ناپایداری نشان داده است. همچنین زمانی مؤثر است که هیچ برچسب ناهنجاری در دسترس نباشد و شما به یک خط پایه بدون نظارت با پایداری بهتر از یک شبکه منفرد نیاز دارید. زمانی که مجموعه داده بسیار کوچک است (کمتر از چند صد مشاهده نرمال به ازای هر ویژگی)، از آن اجتناب کنید، زیرا خودرمزگذارها یک منیفولد معنی‌دار یاد نخواهند گرفت. برای داده‌های دسته‌ای یا متنی پراکنده بدون پیش‌پردازش تعبیه‌سازی مناسب استفاده نکنید، و زمانی که یک جنگل ایزوله‌سازی (isolation forest) یا ماشین بردار تک‌کاره (one-class SVM) به خوبی تنظیم شده کافی است، از آن استفاده نکنید، زیرا اِنسمبل‌ها زمان آموزش و پیچیدگی را افزایش می‌دهند.

محدودیت‌ها و ملاحظات

  • آموزش K خودرمزگذار، نیازمندی‌های محاسباتی و حافظه را ضرب می‌کند؛ اِنسمبل‌های بزرگ بر روی شبکه‌های عمیق پرهزینه هستند.
  • فرض می‌کند که ناهنجاری‌ها با خطای بازسازی بالا مشخص می‌شوند - ناهنجاری‌های خصمانه یا ساختاریافته که بر روی منیفولد آموخته شده قرار دارند ممکن است از دست بروند.
  • به نسبت ناهنجاری‌ها در داده‌های آموزشی حساس است؛ آلودگی شدید منیفولد نرمال آموخته شده را تخریب می‌کند.
  • انتخاب ابرپارامترها (تعداد مدل‌ها، معماری، تابع تجمیع) نیاز به داده‌های اعتبارسنجی یا دانش دامنه دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • کاهش واریانس در امتیازات ناهنجاری در مقایسه با یک خودرمزگذار منفرد، رتبه‌بندی پایدارتری را در بین بذرهای تصادفی ارائه می‌دهد.
  • تجمیع آشکارسازهای متنوع جنبه‌های مختلف نرمال بودن را ثبت می‌کند و بازیابی انواع ناهنجاری‌های ناهمگن را بهبود می‌بخشد.
  • کاملاً بدون نظارت - نیازی به برچسب ناهنجاری نیست، فقط داده‌های نرمال یا مخلوط بدون برچسب لازم است.
  • به داده‌های پیوسته با ابعاد بالا که در آن‌ها روش‌های مبتنی بر فاصله مانند تشخیص ناهنجاری k-نزدیک‌ترین همسایه (k-NN) افت می‌کنند، مقیاس‌پذیر است.
  • سازگار با طیف گسترده‌ای از معماری‌های خودرمزگذار (ساده، متغیر، کانولوشنال) برای مطابقت با ساختار داده.
  • امتیاز اِنسمبل راحت‌تر از امتیاز یک شبکه منفرد قابل آستانه‌گذاری قابل اعتماد است و تلاش برای کالیبراسیون را کاهش می‌دهد.

کاربردها

  • تشخیص نفوذ شبکه از ویژگی‌های بسته یا جریان با ابعاد بالا.
  • امتیازدهی ناهنجاری نگهداری پیش‌بینانه بر روی سری‌های زمانی سنسور چند متغیره.
  • تشخیص تقلب در تراکنش‌های مالی در جریان‌های بدون برچسب یا با برچسب ضعیف.
  • نظارت بر سیگنال‌های زیستی پزشکی (ECG، EEG) برای الگوهای پاتولوژیک نادر.
  • کنترل کیفیت در تولید که در آن نمونه‌های نقص کمیاب هستند.
  • امتیازدهی خط پایه بدون نظارت داده‌های پرت قبل از کمپین‌های برچسب‌گذاری یادگیری فعال.

چگونه کار می‌کند

چگونه کار می‌کند

1

تعداد K خودرمزگذار به طور مستقل بر روی داده‌های آموزشی (فرض شده) نرمال آموزش داده می‌شوند، هر کدام با یک مقداردهی اولیه تصادفی متفاوت و به صورت اختیاری با زیرمجموعه‌های ویژگی ورودی یا معماری‌های شبکه متفاوت. آموزش، هر شبکه را تشویق می‌کند تا زیان بازسازی را بر روی نمونه‌های نرمال به حداقل برساند، بنابراین منیفولد رفتار نرمال را یاد می‌گیرد.

2

برای هر مشاهده آزمایشی، هر خودرمزگذار آن را به یک نمایش نهفته کدگذاری کرده و دوباره رمزگشایی می‌کند. فاصله L2 مربعی بین ورودی اصلی و بازسازی، امتیاز ناهنجاری هر شبکه است: خطای بالا نشان می‌دهد که مشاهده از منیفولد نرمال آموخته شده دور شده است.

فرمول
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2
3

K امتیاز منفرد در یک امتیاز ناهنجاری واحد برای هر مشاهده تجمیع می‌شوند - معمولاً با میانگین‌گیری، گرفتن حداکثر، یا اعمال ترکیبی نرمال‌شده بر اساس رتبه. میانگین‌گیری واریانس را کاهش می‌دهد؛ حداکثر به یک آشکارساز که ناهنجاری را تشخیص می‌دهد، حساس‌تر است.

فرمول
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})
4

یک آستانه بر روی امتیاز تجمیع‌شده اعمال می‌شود تا مشاهدات به عنوان ناهنجار برچسب‌گذاری شوند. آستانه معمولاً با یک نرخ مثبت کاذب هدف بر روی داده‌های نرمال نگهداری شده انتخاب می‌شود، یا با در نظر گرفتن p درصد بالای مقادیر امتیاز به عنوان ناهنجاری در زمانی که برچسب‌های حقیقت زمینی در دسترس نیستند.

دام‌های رایج

  • گنجاندن ناهنجاری‌ها در مجموعه آموزشی بدون آگاهی - این امر منیفولد نرمال آموخته شده را فاسد کرده و امتیازات ناهنجاری را برای آلودگی سرکوب می‌کند.
  • ارزیابی فقط بر روی مجموعه آموزشی بدون نمونه نرمال نگهداری شده برای کالیبره کردن آستانه، منجر به برچسب‌های ناهنجاری بیش از حد مطمئن می‌شود.
  • استفاده از خطای بازسازی به تنهایی بدون بررسی سهم هر بُعد، ویژگی‌هایی را که امتیاز ناهنجاری را هدایت می‌کنند، پنهان می‌کند.
  • رفتار اِنسمبل به عنوان نیازمند عدم تنظیم - تعداد خودرمزگذارها، عمق آن‌ها، و تابع تجمیع همگی بر عملکرد تأثیر می‌گذارند و باید اعتبارسنجی شوند.
  • اعمال روش بر روی مجموعه داده‌هایی با مشاهدات بسیار کم نسبت به تعداد ویژگی‌ها، که در آن خودرمزگذارها نمی‌توانند تعمیم یابند و هر نقطه ناهنجار به نظر می‌رسد.

پرسش‌های متداول

اِنسمبل باید شامل چند خودرمزگذار باشد؟

تحقیقات نشان می‌دهد که بازده نزولی پس از حدود 10 تا 20 شبکه متنوع. با 10 شروع کنید و نظارت کنید که آیا امتیاز تجمیع‌شده در طول اجراها پایدار می‌ماند؛ اگر هنوز متغیر است، تعداد بیشتری اضافه کنید یا تنوع را از طریق زیرنمونه‌گیری ویژگی افزایش دهید.

چگونه تنوع را بین خودرمزگذارها معرفی کنم؟

استراتژی‌های رایج شامل مقداردهی اولیه تصادفی، زیرمجموعه‌های تصادفی از ویژگی‌های ورودی (کیسه‌بندی ویژگی)، اندازه‌های مختلف بُعد نهفته، نرخ‌های دراپ‌اوت، یا معماری‌های مختلف (کم‌عمق در مقابل عمیق) است. کیسه‌بندی ویژگی ساده‌ترین و مؤثرترین روش برای داده‌های جدولی است.

آیا داده‌های آموزشی باید عاری از ناهنجاری باشند؟

در حالت ایده‌آل بله، اما آلودگی متوسط (کمتر از حدود 5٪) قابل تحمل است. اگر نسبت ناهنجاری‌ها بیشتر باشد، خودرمزگذار یاد می‌گیرد که آن‌ها را به خوبی بازسازی کند و امتیازات ناهنجاری کاهش می‌یابد. پیش‌فیلتر کردن با یک آشکارساز ساده‌تر (جنگل ایزوله‌سازی) قبل از آموزش خودرمزگذارها می‌تواند کمک کند.

چگونه باید آستانه ناهنجاری را تنظیم کنم؟

اگر نرخ مثبت کاذب هدف (مثلاً 1٪) دارید، آستانه را در صدک مربوطه توزیع امتیاز بر روی داده‌های نرمال نگهداری شده قرار دهید. بدون هیچ برچسبی، p درصد بالای امتیازات را به عنوان ناهنجاری در نظر بگیرید و با کارشناسان دامنه یا معیارهای ارزیابی پایین‌دستی اعتبارسنجی کنید.

چه زمانی یک خودرمزگذار منفرد بهتر از یک اِنسمبل است؟

زمانی که محاسبات به شدت محدود است، مجموعه داده کوچک است، یا یک خودرمزگذار به خوبی تنظیم شده در حال حاضر عملکرد پایداری را در بین بذرها نشان می‌دهد. اِنسمبل‌ها عمدتاً زمانی ارزش افزوده دارند که واریانس مدل منفرد بالا باشد یا انتظار تنوع ناهنجاری وجود داشته باشد.

روش‌های مرتبط

منابع

  1. Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.

    باز کردن مرجع انتشار
    کپی شد.
  2. Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.

    شابک: 978-3-319-47578-3
    کپی شد.