Skip to content
بازگشت به نتایج جست‌وجو

تشخیص ناهنجاری با خودرمزگذار بیزی

معرفی‌شده توسط
Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
سال
2014–2015
نوع
Probabilistic generative model for unsupervised anomaly detection
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تشخیص ناهنجاری با خودرمزگذار بیزی از یک خودرمزگذار متغیر (Variational Autoencoder) - یک مدل مولد احتمالی که بر روی داده‌های عادی آموزش دیده است - برای علامت‌گذاری ناهنجاری‌ها بر اساس خطای بازسازی بالا یا احتمال پایین تحت توزیع آموخته شده استفاده می‌کند. با در نظر گرفتن فضای نهان به عنوان یک توزیع احتمال به جای یک نقطه ثابت، تخمین‌های عدم قطعیت اصولی را در کنار هر امتیاز ناهنجاری ارائه می‌دهد و آن را به ویژه در وظایف تشخیص پرخطر ارزشمند می‌سازد.

شهود پشت روش

یک خودرمزگذار استاندارد یاد می‌گیرد که داده‌های آموزشی خود را فشرده و بازسازی کند؛ اشیایی که با مجموعه آموزشی متفاوت هستند، ضعیف بازسازی می‌شوند و بنابراین به عنوان ناهنجار امتیاز می‌گیرند. نسخه بیزی، که معمولاً به عنوان یک خودرمزگذار متغیر پیاده‌سازی می‌شود، فراتر می‌رود: به جای رمزگذاری هر ورودی به یک نقطه واحد در فضای نهان، آن را به یک توزیع احتمال رمزگذاری می‌کند. این بدان معناست که مدل نه تنها می‌داند چه چیزی عادی است، بلکه از میزان اطمینان خود به آن ارزیابی نیز آگاه است. امتیازات ناهنجاری به عنوان میانگین احتمالات بازسازی بر روی پسین نهان محاسبه می‌شوند، بنابراین آنها عدم قطعیت ذاتی را حمل می‌کنند به جای اینکه تخمین‌های نقطه‌ای شکننده باشند.

تاریخ

خودرمزگذار متغیر توسط Kingma و Welling در سال 2014 به عنوان یک چارچوب اصولی برای مدل‌سازی مولد عمیق معرفی شد، که انعطاف‌پذیری شبکه عصبی را با استنتاج متغیر نهان بیزی از طریق ترفند بازپارامترسازی ترکیب می‌کند. کاربرد آن در تشخیص ناهنجاری توسط An و Cho در سال 2015 رسمی شد، که نشان دادند احتمال بازسازی - به جای خطای بازسازی - امتیاز ناهنجاری قابل اطمینان‌تری را فراهم می‌کند. از آن زمان، خودرمزگذارهای بیزی به ابزاری استاندارد در تحقیقات تشخیص ناهنجاری بدون نظارت تبدیل شده‌اند، با بسط‌هایی برای سری‌های زمانی، داده‌های گراف، و تنظیمات فدرال.

چه زمانی استفاده شود

هنگامی که داده‌های عادی بدون برچسب فراوان اما برچسب‌های ناهنجاری تأیید شده کم یا بدون تأیید دارید، فضای ورودی با ابعاد بالا است (مانند تصاویر، آرایه‌های حسگر، سری‌های زمانی چند کاناله، یا داده‌های جدولی گسترده)، و شما به تخمین‌های عدم قطعیت در کنار امتیازات ناهنجاری برای تصمیم‌گیری‌های پایین‌دستی (مانند تصویربرداری پزشکی، تشخیص تقلب، کنترل کیفیت صنعتی) نیاز دارید، از تشخیص ناهنجاری با خودرمزگذار بیزی استفاده کنید. این روش زمانی که پیچیدگی و غیرخطی بودن منیفولد داده‌های عادی زیاد است، بهتر از روش‌های ساده‌تر مانند Isolation Forest یا One-Class SVM عمل می‌کند. زمانی که مجموعه داده شما کوچک است (کمتر از چند صد نمونه)، ورودی شما ابعاد کم با ساختار خطی دارد (روش‌های آماری کلاسیک ساده‌تر و قابل تفسیرتر هستند)، شما به توان عملیاتی بلادرنگ سخت بدون شتاب‌دهنده GPU نیاز دارید، یا زمانی که یک کلاس ناهنجاری صریح در دسترس است و طبقه‌بندی نظارت شده امکان‌پذیر است، از آن استفاده نکنید.

محدودیت‌ها و ملاحظات

  • نیاز به داده‌های آموزشی قابل توجهی از نمونه‌های عادی دارد؛ داده‌های کلاس عادی کمیاب یا ناهمگن، عملکرد را کاهش می‌دهند.
  • آموزش از نظر محاسباتی پرهزینه است - شتاب‌دهنده GPU معمولاً برای اندازه‌های ورودی غیربدیهی مورد نیاز است.
  • انتخاب ابرپارامترها (بعد نهان، عمق معماری، وزن‌دهی بتا از جمله KL) به شدت بر نتایج تأثیر می‌گذارد و نیاز به تنظیم دقیق دارد.
  • سقوط پسین (Posterior collapse) - یک پدیده رایج VAE که در آن رمزگذار ورودی را نادیده می‌گیرد - می‌تواند امتیازات ناهنجاری را به طور خاموش تخریب کند.
  • تفسیر اینکه چرا یک نمونه خاص به عنوان ناهنجار علامت‌گذاری شده است، بدون تجزیه و تحلیل پس از وقوع اضافی دشوار باقی می‌ماند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • ارائه تخمین‌های عدم قطعیت کالیبره شده برای هر امتیاز ناهنجاری، که از تصمیم‌گیری آگاهانه از ریسک پشتیبانی می‌کند.
  • توزیع‌های داده‌ای با ابعاد بالا و غیرخطی را که روش‌های خطی یا هسته‌ای را شکست می‌دهند، مدیریت می‌کند.
  • کاملاً بدون نظارت: هیچ برچسب ناهنجاری برای آموزش لازم نیست.
  • فضای نهان آموخته شده می‌تواند برای درک اینکه مدل چه الگوهایی را عادی در نظر می‌گیرد، بصری‌سازی و تفسیر شود.
  • معماری انعطاف‌پذیر امکان ادغام پیشین‌های خاص دامنه و فضاهای نهان ساختاریافته را فراهم می‌کند.
  • احتمال بازسازی اصولی‌تر از خطای میانگین مربعات خام است و حساسیت به مقیاس‌بندی دلخواه را کاهش می‌دهد.

کاربردها

  • تشخیص نقص صنعتی در تولید با استفاده از داده‌های بازرسی بصری.
  • تشخیص ناهنجاری در تصویربرداری پزشکی (به عنوان مثال، تشخیص ضایعات در اسکن MRI که فقط بر روی افراد سالم آموزش دیده‌اند).
  • تشخیص نفوذ شبکه که در آن الگوهای ترافیک عادی فراوان هستند اما حملات نادر و متنوع هستند.
  • تشخیص تقلب مالی زمانی که موارد تقلب برچسب‌دار در دسترس نیستند یا به سرعت منسوخ می‌شوند.
  • نگهداری پیش‌بینانه از طریق تشخیص ناهنجاری آرایه حسگر بر روی ماشین‌آلات صنعتی.
  • کنترل کیفیت داده‌های علمی، علامت‌گذاری مشاهدات غیرمعمول در مجموعه داده‌های تجربی.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک شبکه عصبی رمزگذار، هر ورودی x را به پارامترهای (میانگین و واریانس) یک توزیع پسین گاوسی بر روی متغیر نهان z نگاشت می‌کند و عدم قطعیت مدل را در مورد نمایش فشرده ثبت می‌کند به جای اینکه به یک کد واحد متعهد شود.

فرمول
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))
2

کدهای نهان با استفاده از ترفند بازپارامترسازی (reparameterisation trick) - افزودن نویز مقیاس‌بندی شده به میانگین پسین - کشیده می‌شوند و گام نمونه‌برداری را قابل افتراق می‌سازند تا کل شبکه بتواند با پس‌انتشار (backpropagation) آموزش ببیند.

فرمول
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)
3

یک شبکه رمزگشا، کدهای نهان نمونه‌برداری شده را به توزیع‌های بازسازی بر روی فضای ورودی نگاشت می‌کند و فرآیند مولد داده‌های عادی را یاد می‌گیرد.

فرمول
p_{\theta}(x|z)
4

آموزش، حد پایین شواهد (Evidence Lower BOund - ELBO) را حداکثر می‌کند: لگاریتم احتمال بازسازی مورد انتظار منهای واگرایی KL که پسین را نزدیک به یک توزیع پیشین گاوسی استاندارد نگه می‌دارد. فقط داده‌های عادی (درون توزیعی) در طول آموزش استفاده می‌شوند.

فرمول
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))
5

در زمان استنتاج، یک امتیاز ناهنجاری به عنوان لگاریتم احتمال منفی مورد انتظار ورودی تحت رمزگشا، میانگین‌گیری شده بر روی چندین نمونه پسین، محاسبه می‌شود. امتیازات بالا نشان‌دهنده ورودی‌هایی است که مدل نمی‌تواند به خوبی تحت توزیع داده‌های عادی آموخته شده خود بازسازی کند.

فرمول
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]

دام‌های رایج

  • آموزش بر روی یک مجموعه داده آلوده که شامل ناهنجاری‌ها در کلاس 'عادی' است، باعث می‌شود مدل الگوهای ناهنجار را به عنوان عادی یاد بگیرد.
  • انتخاب آستانه امتیاز ناهنجاری به طور دلخواه به جای استفاده از مجموعه اعتبارسنجی نگهداری شده از نمونه‌های عادی شناخته شده.
  • نادیده گرفتن سقوط پسین در طول آموزش، که می‌تواند خطای بازسازی را به طور یکنواخت غیرمفید کند.
  • مقایسه خطاهای بازسازی خام در مجموعه داده‌های مختلف با مقیاس‌های ورودی متفاوت بدون نرمال‌سازی.
  • ارزیابی صرفاً با دقت در مجموعه داده‌های آزمایشی بسیار نامتعادل به جای استفاده از AUROC یا میانگین دقت.

پرسش‌های متداول

این روش چگونه با یک خودرمزگذار استاندارد (قطعی) برای تشخیص ناهنجاری متفاوت است؟

یک خودرمزگذار استاندارد ورودی‌ها را به کدهای نهان ثابت نگاشت می‌کند و ناهنجاری‌ها را با خطای بازسازی امتیازدهی می‌کند. یک خودرمزگذار بیزی (متغیر) ورودی‌ها را به توزیع‌های نهان نگاشت می‌کند و ناهنجاری‌ها را با احتمال بازسازی میانگین‌گیری شده بر روی نمونه‌های پسین امتیازدهی می‌کند. فرمول‌بندی احتمالی امتیازات قابل اطمینان‌تر و عدم قطعیت صریح را با هزینه پیچیدگی آموزش بیشتر ارائه می‌دهد.

کدام بعد نهان را باید انتخاب کنم؟

بعد نهان باید به اندازه‌ای بزرگ باشد که ساختار داده‌های عادی را ثبت کند اما به اندازه‌ای کوچک باشد که از حفظ کردن نمونه‌های منفرد توسط مدل جلوگیری کند. با بعدی تقریباً 5 تا 20 درصد بعد ورودی شروع کنید و از طریق کیفیت بازسازی بر روی یک مجموعه عادی نگهداری شده تنظیم کنید.

آیا برای اجرای این روش به سخت‌افزار GPU نیاز دارم؟

برای داده‌های جدولی با عرض متوسط (کمتر از چند صد ویژگی) CPU امکان‌پذیر است، اما آموزش کند خواهد بود. برای داده‌های تصویری یا با ابعاد بالا، GPU به شدت توصیه می‌شود. استنتاج (امتیازدهی) معمولاً بسیار سریع‌تر از آموزش است.

چگونه آستانه ناهنجاری را تنظیم کنم؟

آستانه در طول آموزش یاد گرفته نمی‌شود. از یک مجموعه نگهداری شده از نمونه‌های عادی تأیید شده استفاده کنید و صدک امتیاز (مثلاً 95 یا 99) را انتخاب کنید که نرخ کاذب مثبت قابل قبولی را در دامنه شما ایجاد کند. از انتخاب آستانه بر روی همان داده‌هایی که برای ارزیابی عملکرد نهایی استفاده می‌شوند، خودداری کنید.

آیا این روش زمانی که برخی ناهنجاری‌ها در مجموعه آموزشی ظاهر می‌شوند، می‌تواند کار کند؟

آلودگی جزئی (چند درصد) اغلب تحمل می‌شود زیرا مدل بر روی کلاس اکثریت بهینه می‌شود. با این حال، آلودگی سنگین آنچه را که مدل به عنوان 'عادی' یاد می‌گیرد تغییر می‌دهد و باید تا حد امکان با پاکسازی داده‌های آموزشی به حداقل برسد.

روش‌های مرتبط

منابع

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).

    باز کردن مرجع انتشار
    کپی شد.
  2. An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.

    باز کردن مرجع انتشار
    کپی شد.