الانتقال إلى المحتوى
العودة إلى نتائج البحث

اكتشاف الشذوذ باستخدام المشفر التلقائي والتعلم النشط

قدّمه
Multiple (Guo et al.; Pimentel et al.)
السنة
2014–2018
النوع
Active learning + unsupervised deep anomaly detection hybrid
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يجمع المشفر التلقائي للتعلم النشط لاكتشاف الشذوذ بين تقييم خطأ إعادة البناء غير الخاضع للإشراف للمشفر التلقائي وحلقة استعلام التعلم النشط. يقوم النموذج بتمييز الحالات ذات الخطأ المرتفع كشذوذ مرشح، ويطلب بشكل انتقائي من خبير بشري تسمية الأكثر إفادة، ويعيد التدريب بشكل تكراري - مما يحقق اكتشافًا قويًا للشذوذ بميزانية تسمية صغيرة فقط.

الفكرة الحدسية وراء الطريقة

يتعلم المشفر التلقائي العادي إعادة بناء البيانات العادية ويميز خطأ إعادة البناء المرتفع على أنه شاذ، ولكنه لا يتلقى أي ملاحظات حول ما إذا كانت هذه العلامات صحيحة. يضيف التعلم النشط خطوة استعلام ذكية: بعد تقييم جميع العينات غير المسماة، يختار النظام المرشحين الأكثر غموضًا أو الأعلى خطأً ويطلب من خبير تسمية تلك العينات فقط. كل عينة مسماة تحسن على الفور فهم النموذج لما يعتبر شذوذًا حقيقيًا مقابل شذوذ ضوضائي، لذلك يصبح حد الاكتشاف أكثر وضوحًا بأقل جهد في التعليق.

التاريخ

نشأ اكتشاف الشذوذ القائم على المشفر التلقائي من أدبيات اكتشاف الحداثة في العقد الأول من القرن الحادي والعشرين، وتمت مراجعته بشكل شامل بواسطة Pimentel وآخرون (2014). كان التكامل مع التعلم النشط مدفوعًا بقيود التسمية العملية في مجالات مثل التسلل الشبكي والمراقبة الطبية. بحلول أواخر العقد الأول من القرن الحادي والعشرين، قامت أوراق بحثية من Guo و Görnitz وآخرين بتشكيل استراتيجيات استعلام مصممة خصيصًا لمناظر خطأ إعادة البناء، مما أسس النهج الهجين كنهج معترف به في أدبيات اكتشاف الشذوذ العميق.

متى تُستخدم

استخدم هذه الطريقة عندما يكون لديك مجموعة كبيرة من البيانات غير المسماة مع شذوذ نادر، وتكون التسمية مكلفة أو تتطلب حكمًا خبيرًا، ولا يمكنك تحمل سوى ميزانية تعليق صغيرة. وهي مناسبة تمامًا للكشف عن الأعطال الصناعية، وفحص الشذوذ الطبي، والكشف عن الاحتيال، والكشف عن التسلل حيث تكون الشذوذات نادرة وغير متجانسة. تجنبها عندما يكون لديك بيانات مسماة وفيرة - ستتفوق عليها الطرق الخاضعة للإشراف - أو عندما يكون الخبير غير متاح أو غير موثوق به. وهي غير مناسبة أيضًا عندما يتغير مفهوم الشذوذ بسرعة كبيرة بحيث لا يمكن لإعادة التدريب التكراري مواكبة ذلك.

الحدود والاعتبارات

  • حلقة الاستعلام تُدخل تأخيرًا في حلقة التفاعل البشري؛ يجب أن يكون الخبير متاحًا طوال فترة التدريب.
  • يعتمد الأداء على جودة استراتيجية الاستعلام - يمكن لدالة اكتساب سيئة إهدار ميزانية التسمية على عينات مكررة.
  • يمكن أن تفشل المشفرات التلقائية في اكتشاف الشذوذات التي يتم إعادة بنائها بشكل جيد (على سبيل المثال، الشذوذات العدائية أو الشذوذات داخل التوزيع).
  • يمكن أن تكون إعادة التدريب التكراري للشبكات العميقة مكلفة حسابيًا، خاصة بالنسبة للنماذج الكبيرة أو البيانات المتدفقة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يحقق أداء اكتشاف قوي بميزانية مسماة صغيرة فقط، مما يجعل التعليق الخبير فعالاً من حيث التكلفة.
  • تتطلب مرحلة المشفر التلقائي عدم وجود تسميات على الإطلاق للتدريب الأولي، مما يتيح بداية باردة مفيدة قبل أي استعلامات.
  • تركز الاستعلامات النشطة جهد التعليق على حالات الحدود الأكثر إفادة، مما يحسن معايرة حد الشذوذ.
  • بنية مرنة: يمكن استبدال العمود الفقري للمشفر التلقائي بنظائر التفافية أو تكرارية أو تباينية لتناسب وسائط البيانات المختلفة.
  • يجمع بين قوة تمثيل التعلم العميق وكفاءة تسمية التعلم النشط.

التطبيقات

  • الكشف عن الأعطال والعيوب الصناعية حيث تكون أمثلة الأعطال المسماة نادرة ومكلفة للحصول عليها.
  • فحص الشذوذ في التصوير الطبي مع تعليق أخصائي الأشعة التكراري.
  • الكشف عن التسلل الشبكي مع تسمية محلل الأمن لحركة المرور المشبوهة.
  • الكشف عن الاحتيال في المعاملات المالية حيث تتطور أنماط الاحتيال وتندر حالات الاحتيال المسماة.
  • الصيانة التنبؤية لبيانات المستشعرات المتسلسلة زمنيًا مع الحد الأدنى من أحداث الفشل المسماة من قبل المهندس.

كيف يعمل

كيف يعمل

1

يتم تدريب المشفر التلقائي أولاً على البيانات المتاحة غير المسماة - ويفضل أن تكون عينات عادية في الغالب. يقوم المشفر بضغط كل مدخل في تمثيل كامن، ويعيد المرمز فك ضغطه. تتعلم الشبكة تنوع الأنماط العادية عن طريق تقليل خطأ إعادة البناء عبر مجموعة التدريب.

2

بعد التدريب، تتلقى كل عينة غير مسماة درجة شذوذ تساوي خطأ إعادة البنائها (متوسط الخطأ التربيعي أو متوسط الخطأ المطلق). العينات التي لا يستطيع المشفر التلقائي إعادة بنائها بشكل جيد تنحرف عن التنوع العادي المتعلم وتحصل على أعلى الدرجات.

الصيغة
s_i = \|x_i - \hat{x}_i\|^2
3

تقوم دالة اكتساب التعلم النشط - مثل خطأ إعادة البناء الأعلى، أو أخذ عينات الهامش، أو عدم اليقين من مصنف لاحق - بتحديد العينات غير المسماة الأكثر إفادة وتقديمها إلى خبير بشري للتسمية. يتم إنفاق ميزانية صغيرة فقط من الاستعلامات في كل تكرار.

4

يتم دمج العينات المسماة حديثًا في مجموعة التدريب. يتم إعادة تدريب المشفر التلقائي (وأي رأس إشرافي مدرب على أزواج شاذة/عادية مسماة) أو ضبطه بدقة. يتم إعادة حساب درجات الشذوذ، وتتكرر حلقة الاستعلام-التسمية-إعادة التدريب حتى تنفد ميزانية التعليق.

5

يتم اختيار حد قرار على خطأ إعادة البناء - غالبًا عبر التحقق من الصحة على المجموعة الفرعية المسماة - ويتم تصنيف جميع العينات غير المسماة فوقه على أنها شذوذ. تجعل الملاحظات المسماة من التعلم النشط هذا الاختيار للحد أكثر مبدأً من الاعتماد على كمية اعتباطية.

الأخطاء الشائعة

  • تدريب المشفر التلقائي على مجموعة بيانات تحتوي بالفعل على العديد من الشذوذات يشوه خط الأساس لإعادة البناء ويقلل من التقييم.
  • استخدام خطأ إعادة البناء وحده كوظيفة استعلام دون مراعاة التنوع يؤدي إلى استعلامات مكررة في مناطق عادية كثيفة.
  • تجاهل عدم توازن الفئات عند الضبط الدقيق على البيانات المسماة؛ تحتاج تسميات الشذوذ النادرة إلى زيادة الوزن أو أخذ عينات زائدة.
  • تعيين حد الشذوذ على البيانات غير المسماة دون استخدام التسميات المقدمة من الخبير يُفقد الغرض من التعلم النشط.
  • إيقاف حلقة الاستعلام مبكرًا جدًا قبل استقرار حد القرار، ومعاملة درجات إعادة البناء الأولية على أنها نهائية.

الأسئلة الشائعة

كم عدد الاستعلامات المسماة المطلوبة عادة؟

تختلف النتائج حسب مجموعة البيانات وندرة الشذوذ، ولكن الدراسات تظهر عادةً مكاسب ذات مغزى مع 20-100 استعلام مسماة فقط. المفتاح هو أن استراتيجية التعلم النشط تركز هذه الاستعلامات على عينات حدود القرار الأكثر غموضًا بدلاً من العينات العشوائية.

ما استراتيجية الاستعلام التي يجب أن أستخدمها؟

يُعد خطأ إعادة البناء الأعلى نقطة انطلاق بسيطة وغالبًا ما يكون تنافسيًا. تشمل الخيارات الأكثر تطوراً أخذ عينات عدم اليقين من مصنف ثنائي لاحق مدرب على المجموعة الفرعية المسماة، أو الاستراتيجيات الهجينة التي توازن بين الإفادة والتنوع لتجنب الاستعلام عن مجموعات مكررة.

هل أحتاج إلى مشفر تلقائي تبايني (VAE) بدلاً من مشفر تلقائي عادي؟

يعمل المشفر التلقائي القياسي لمعظم المهام الجدولية والمتسلسلة. توفر VAEs مساحة كامنة احتمالية يمكن أن تنتج تقديرات أفضل لعدم اليقين لاختيار الاستعلام، مما يجعلها مفضلة لبيانات الصور أو عندما تكون درجات عدم اليقين المعايرة مهمة.

كيف أقوم بتقييم الأداء عندما تكون معظم البيانات غير مسماة؟

استخدم المجموعة الفرعية المسماة من قبل الخبير كمجموعة تحقق معزولة لحساب الدقة، والاستدعاء، ومنحنى ROC-AUC. بالنسبة لمجموعة البيانات غير المسماة، قم بالإبلاغ عن توزيعات خطأ إعادة البناء قبل وبعد تكرارات التعلم النشط للتحقق من أن النموذج يتحسن.

هل يمكنني استخدام هذا في بيئة متدفقة أو عبر الإنترنت؟

نعم، ولكن يجب تكييف حلقة الاستعلام مع نافذة منزلقة أو نظام دفعات صغيرة. يجب تحديث المشفر التلقائي تدريجيًا، ويجب أن تأخذ إدارة الميزانية في الاعتبار انحراف المفهوم - قد تختلف الشذوذات التي تم رؤيتها في وقت مبكر عن تلك التي تظهر لاحقًا.

طرق ذات صلة

المصادر

  1. Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.

    افتح مرجع DOI
    تم النسخ.
  2. Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)

    افتح مرجع المنشور
    تم النسخ.