Skip to content
بازگشت به نتایج جست‌وجو

شناسایی ناهنجاری با یادگیری فعال و رمزگذار خودکار

معرفی‌شده توسط
Multiple (Guo et al.; Pimentel et al.)
سال
2014–2018
نوع
Active learning + unsupervised deep anomaly detection hybrid
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

شناسایی ناهنجاری با یادگیری فعال و رمزگذار خودکار، امتیازدهی خطای بازسازی بدون نظارت یک رمزگذار خودکار را با یک حلقه پرس‌وجوی یادگیری فعال ترکیب می‌کند. مدل نمونه‌های با خطای بالا را به عنوان ناهنجاری‌های کاندید علامت‌گذاری می‌کند، به صورت انتخابی از یک اوراکل انسانی می‌خواهد که آموزنده‌ترین آن‌ها را برچسب‌گذاری کند، و به صورت تکراری بازآموزی می‌کند — و به این ترتیب با بودجه برچسب‌گذاری اندک به شناسایی ناهنجاری قوی دست می‌یابد.

شهود پشت روش

یک رمزگذار خودکار ساده یاد می‌گیرد که داده‌های عادی را بازسازی کند و خطای بازسازی بالا را به عنوان ناهنجاری علامت‌گذاری می‌کند، اما هیچ بازخوردی در مورد صحت این علامت‌گذاری‌ها ندارد. یادگیری فعال یک گام پرس‌وجوی هوشمند اضافه می‌کند: پس از امتیازدهی به تمام نمونه‌های بدون برچسب، سیستم نامطمئن‌ترین یا پرخطاترین کاندیداها را انتخاب می‌کند و از یک متخصص می‌خواهد که فقط آن‌ها را برچسب‌گذاری کند. هر نمونه برچسب‌گذاری شده بلافاصله درک مدل را از آنچه به عنوان یک ناهنجاری واقعی در مقابل یک داده پرت نویزی محسوب می‌شود، بهبود می‌بخشد، بنابراین مرز شناسایی با حداقل تلاش برای حاشیه‌نویسی دقیق‌تر می‌شود.

تاریخ

شناسایی ناهنجاری مبتنی بر رمزگذار خودکار از ادبیات شناسایی تازگی در دهه ۲۰۱۰ پدید آمد که به طور جامع توسط پی‌منتِل و همکاران (Pimentel et al., 2014) بررسی شده است. ادغام با یادگیری فعال توسط محدودیت‌های برچسب‌گذاری عملی در حوزه‌هایی مانند نفوذ شبکه و نظارت پزشکی هدایت شد. تا اواخر دهه ۲۰۱۰، مقالاتی از گو، گورنیتز و دیگران، استراتژی‌های پرس‌وجو متناسب با چشم‌اندازهای خطای بازسازی را رسمی کردند و این رویکرد ترکیبی را به عنوان یک روش شناخته شده در ادبیات شناسایی ناهنجاری عمیق تثبیت کردند.

چه زمانی استفاده شود

از این روش زمانی استفاده کنید که مجموعه بزرگی از داده‌های بدون برچسب با ناهنجاری‌های نادر دارید، برچسب‌گذاری گران است یا نیاز به قضاوت متخصص دارد، و فقط می‌توانید بودجه حاشیه‌نویسی کمی را تامین کنید. این روش برای شناسایی عیب صنعتی، غربالگری ناهنجاری پزشکی، شناسایی تقلب، و شناسایی نفوذ که در آن ناهنجاری‌ها هم نادر و هم ناهمگن هستند، بسیار مناسب است. از آن زمانی اجتناب کنید که داده‌های برچسب‌گذاری شده فراوان دارید — روش‌های نظارت‌شده عملکرد بهتری خواهند داشت — یا زمانی که اوراکل در دسترس نیست یا غیرقابل اعتماد است. همچنین زمانی که مفهوم ناهنجاری به سرعت تغییر می‌کند به طوری که بازآموزی تکراری نمی‌تواند همگام شود، نامناسب است.

محدودیت‌ها و ملاحظات

  • حلقه پرس‌وجو تأخیر انسان در حلقه را ایجاد می‌کند؛ اوراکل باید در طول آموزش در دسترس باشد.
  • عملکرد به کیفیت استراتژی پرس‌وجو بستگی دارد — یک تابع اکتساب ضعیف می‌تواند بودجه برچسب‌گذاری را بر روی نمونه‌های اضافی هدر دهد.
  • رمزگذارهای خودکار ممکن است در شناسایی ناهنجاری‌هایی که به خوبی بازسازی می‌شوند (مانند داده‌های پرت خصمانه یا درون توزیع) شکست بخورند.
  • بازآموزی تکراری شبکه‌های عمیق می‌تواند از نظر محاسباتی گران باشد، به ویژه برای مدل‌های بزرگ یا داده‌های جریانی.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • با بودجه برچسب‌گذاری شده اندک، عملکرد شناسایی قوی را به دست می‌آورد و هزینه حاشیه‌نویسی متخصص را مقرون به صرفه می‌کند.
  • مرحله رمزگذار خودکار برای آموزش اولیه به هیچ برچسبی نیاز ندارد و امکان شروع سرد مفید را قبل از هر پرس‌وجویی فراهم می‌کند.
  • پرس‌وجوی فعال، تلاش حاشیه‌نویسی را بر روی آموزنده‌ترین موارد مرزی متمرکز می‌کند و کالیبراسیون آستانه ناهنجاری را بهبود می‌بخشد.
  • معماری انعطاف‌پذیر: ستون فقرات رمزگذار خودکار را می‌توان با انواع کانولوشنال، بازگشتی یا واریانس‌دار برای مطابقت با حالت‌های مختلف داده جایگزین کرد.
  • قدرت نمایش یادگیری عمیق را با کارایی برچسب یادگیری فعال ترکیب می‌کند.

کاربردها

  • شناسایی عیب و نقص صنعتی که در آن نمونه‌های عیب برچسب‌گذاری شده نادر و گران‌قیمت هستند.
  • غربالگری ناهنجاری تصویربرداری پزشکی با حاشیه‌نویسی تکراری رادیولوژیست.
  • شناسایی نفوذ شبکه با برچسب‌گذاری ترافیک مشکوک توسط تحلیلگر امنیتی.
  • شناسایی تقلب در تراکنش‌های مالی که در آن الگوهای تقلب تکامل می‌یابند و موارد تقلب برچسب‌گذاری شده کمیاب هستند.
  • نگهداری پیش‌بینانه برای داده‌های حسگر سری زمانی با حداقل رویدادهای خرابی برچسب‌گذاری شده توسط مهندس.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک رمزگذار خودکار ابتدا بر روی داده‌های بدون برچسب موجود آموزش داده می‌شود — در حالت ایده‌آل عمدتاً نمونه‌های عادی. رمزگذار هر ورودی را به یک نمایش نهفته فشرده می‌کند و رمزگشا آن را بازسازی می‌کند. شبکه با به حداقل رساندن خطای بازسازی در مجموعه آموزشی، منیفولد الگوهای عادی را یاد می‌گیرد.

2

پس از آموزش، هر نمونه بدون برچسب یک امتیاز ناهنجاری برابر با خطای بازسازی خود (میانگین مربع خطا یا میانگین مطلق خطا) دریافت می‌کند. نمونه‌هایی که رمزگذار خودکار نمی‌تواند به خوبی بازسازی کند، از منیفولد عادی آموخته شده منحرف می‌شوند و بالاترین امتیاز را کسب می‌کنند.

فرمول
s_i = \|x_i - \hat{x}_i\|^2
3

یک تابع اکتساب یادگیری فعال — مانند بالاترین خطای بازسازی، نمونه‌برداری حاشیه، یا عدم قطعیت از یک طبقه‌بندی‌کننده پایین‌دستی — آموزنده‌ترین نمونه‌های بدون برچسب را انتخاب کرده و آن‌ها را برای برچسب‌گذاری به یک اوراکل انسانی ارائه می‌دهد. تنها بودجه کمی از پرس‌وجوها در هر تکرار صرف می‌شود.

4

نمونه‌های تازه برچسب‌گذاری شده در مجموعه آموزشی گنجانده می‌شوند. رمزگذار خودکار (و هر سر نظارت‌شده‌ای که بر روی جفت‌های ناهنجاری/عادی برچسب‌گذاری شده آموزش دیده است) بازآموزی یا تنظیم دقیق می‌شود. امتیازات ناهنجاری دوباره محاسبه می‌شوند و حلقه پرس‌وجو-برچسب‌گذاری-بازآموزی تا زمانی که بودجه حاشیه‌نویسی تمام شود، تکرار می‌شود.

5

یک آستانه تصمیم‌گیری بر روی خطای بازسازی انتخاب می‌شود — اغلب از طریق اعتبارسنجی بر روی زیرمجموعه برچسب‌گذاری شده — و تمام نمونه‌های بدون برچسب بالاتر از آن به عنوان ناهنجاری طبقه‌بندی می‌شوند. بازخورد برچسب‌گذاری شده از یادگیری فعال، این انتخاب آستانه را اصولی‌تر از تکیه بر یک کوانتیل دلخواه می‌کند.

دام‌های رایج

  • آموزش رمزگذار خودکار بر روی مجموعه داده‌ای که از قبل حاوی ناهنجاری‌های زیادی است، خط پایه بازسازی را مخدوش کرده و امتیازدهی را کاهش می‌دهد.
  • استفاده از خطای بازسازی به تنهایی به عنوان تابع پرس‌وجو بدون در نظر گرفتن تنوع، منجر به پرس‌وجوهای اضافی در مناطق عادی متراکم می‌شود.
  • نادیده گرفتن عدم تعادل کلاس هنگام تنظیم دقیق بر روی داده‌های برچسب‌گذاری شده؛ برچسب‌های ناهنجاری نادر نیاز به وزن‌دهی بالا یا نمونه‌برداری بیش از حد دارند.
  • تنظیم آستانه ناهنجاری بر روی داده‌های بدون برچسب بدون استفاده از برچسب‌های ارائه شده توسط اوراکل، هدف یادگیری فعال را از بین می‌برد.
  • توقف زودهنگام حلقه پرس‌وجو قبل از تثبیت مرز تصمیم‌گیری، و در نظر گرفتن امتیازات بازسازی اولیه به عنوان نهایی.

پرسش‌های متداول

معمولاً به چند پرس‌وجوی برچسب‌گذاری شده نیاز است؟

نتایج بسته به مجموعه داده و ندرت ناهنجاری متفاوت است، اما مطالعات معمولاً با تنها ۲۰ تا ۱۰۰ پرس‌وجوی برچسب‌گذاری شده، دستاوردهای معنی‌داری را نشان می‌دهند. نکته کلیدی این است که استراتژی یادگیری فعال این پرس‌وجوها را بر روی نامطمئن‌ترین نمونه‌های مرز تصمیم‌گیری متمرکز می‌کند تا نمونه‌های تصادفی.

از چه استراتژی پرس‌وجویی باید استفاده کنم؟

بالاترین خطای بازسازی ساده‌ترین نقطه شروع است و اغلب رقابتی است. گزینه‌های پیچیده‌تر شامل نمونه‌برداری عدم قطعیت از یک طبقه‌بندی‌کننده باینری پایین‌دستی است که بر روی زیرمجموعه برچسب‌گذاری شده آموزش دیده است، یا استراتژی‌های ترکیبی که آموزندگی را با تنوع متعادل می‌کنند تا از پرس‌وجوهای اضافی در خوشه‌های متراکم جلوگیری شود.

آیا به جای یک رمزگذار خودکار ساده به یک رمزگذار خودکار واریانس‌دار (VAE) نیاز دارم؟

یک رمزگذار خودکار استاندارد برای اکثر وظایف جدولی و ترتیبی کار می‌کند. VAEها یک فضای نهفته احتمالی را فراهم می‌کنند که می‌تواند تخمین‌های عدم قطعیت بهتری را برای انتخاب پرس‌وجو ارائه دهد، و آن‌ها را برای داده‌های تصویری یا زمانی که امتیازات عدم قطعیت کالیبره شده مهم هستند، ارجح می‌سازد.

چگونه عملکرد را زمانی که بیشتر داده‌ها بدون برچسب هستند ارزیابی کنم؟

از زیرمجموعه برچسب‌گذاری شده توسط اوراکل به عنوان یک مجموعه اعتبارسنجی نگه داشته شده برای محاسبه دقت، فراخوانی و AUC-ROC استفاده کنید. برای مجموعه بدون برچسب، توزیع خطای بازسازی را قبل و بعد از تکرارهای یادگیری فعال گزارش دهید تا تأیید کنید که مدل در حال بهبود است.

آیا می‌توانم از این در یک محیط جریانی یا آنلاین استفاده کنم؟

بله، اما حلقه پرس‌وجو باید با یک پنجره کشویی یا رژیم مینی‌بچ تطبیق داده شود. رمزگذار خودکار باید به صورت افزایشی به‌روزرسانی شود، و مدیریت بودجه باید تغییر مفهوم را در نظر بگیرد — ناهنجاری‌هایی که در ابتدا دیده می‌شوند ممکن است با آن‌هایی که بعداً ظاهر می‌شوند متفاوت باشند.

روش‌های مرتبط

منابع

  1. Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.

    باز کردن مرجع DOI
    کپی شد.
  2. Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)

    باز کردن مرجع انتشار
    کپی شد.