الانتقال إلى المحتوى
العودة إلى نتائج البحث

كشف الشذوذ باستخدام التشفير التلقائي شبه المُشرف عليه

قدّمه
Ruff, L. et al.; Zong, B. et al.
السنة
2018–2020
النوع
Semi-supervised deep anomaly detection
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يقوم كشف الشذوذ باستخدام التشفير التلقائي شبه المُشرف عليه بتدريب مشفّر تلقائي عصبي بشكل أساسي على بيانات طبيعية (غير مُصنفة)، ثم يستخدم مجموعة صغيرة من الشذوذ المُصنفة لتحسين حدود القرار، ويكشف عن الشذوذ كعينات ذات خطأ إعادة بناء مرتفع. إنه يسد الفجوة بين المشفّرات التلقائية غير المُشرفة بالكامل والمصنفات المُشرفة بالكامل عندما تكون التصنيفات نادرة ولكن توجد بعض الشذوذات المعروفة.

الفكرة الحدسية وراء الطريقة

يتعلم المشفّر التلقائي القياسي ضغط وإعادة بناء البيانات الطبيعية بشكل جيد؛ الشذوذات التي لم يرها من قبل يعاد بناؤها بشكل سيء، لذا فإن خطأ إعادة البناء يميزها. المشفّرات التلقائية غير المُشرفة بالكامل ليس لديها مرساة لما يُعتبر شاذًا - فهي تعرف فقط ما هو طبيعي. يستخدم المتغير شبه المُشرف عليه المجموعة الصغيرة من الشذوذات المُصنفة كأمثلة سلبية أثناء الضبط الدقيق، مما يقرب حد قرار النموذج من الشذوذات الواقعية دون الحاجة إلى إشراف كامل. النتيجة هي كاشف يتسم بالكفاءة في استخدام البيانات ومعايرة أفضل من أي من الطرفين وحده.

التاريخ

اكتسب كشف الشذوذ باستخدام المشفّر التلقائي غير المُشرف زخمًا بعد صعود التعلم العميق حوالي عام 2014. قام Zong وآخرون (ICLR 2018) بدمج المشفّرات التلقائية مع نماذج الخليط الغاوسي لتسجيل الشذوذ غير المُشرف. قام Ruff وآخرون (ICLR 2020) بصياغة المتغير شبه المُشرف، موضحين أن حتى عدد قليل من الشذوذات المُصنفة يحسن الكشف بشكل كبير مقارنة بالخطوط الأساسية غير المُشرفة بالكامل، مما أسس الإطار المستخدم على نطاق واسع اليوم.

متى تُستخدم

يُوصى به عندما يكون لديك بيانات غير مُصنفة وفيرة تكون طبيعية في الغالب، بالإضافة إلى مجموعة صغيرة ولكن موثوقة من الشذوذات المؤكدة، وتنتج كاشفات الشذوذ غير المُشرفة الجاهزة عددًا كبيرًا جدًا من الإيجابيات الخاطئة. فعال بشكل خاص للبيانات عالية الأبعاد أو غير الخطية مثل إشارات المستشعرات، أو حركة مرور الشبكة، أو الصور حيث تكون الطرق التقليدية (مثل، one-class SVM) ضعيفة في التوسع. لا تستخدمه عندما لا تكون الشذوذات المُصنفة متاحة على الإطلاق (فضل المشفّرات التلقائية غير المُشرفة) أو عندما يكون لديك ما يكفي من التصنيفات لمصنف مُشرف بالكامل. تجنب استخدامه مع مجموعات البيانات الصغيرة جدًا (أقل من بضع مئات من العينات) حيث لا يمكن للشبكة العميقة التعميم.

الحدود والاعتبارات

  • يتطلب تقسيمًا دقيقًا: إذا كانت المجموعة غير المُصنفة تحتوي على العديد من الشذوذات، يتم إفساد التدريب المسبق ويتدهور الأداء بشكل كبير.
  • المشفّرات التلقائية العميقة كثيفة الحساب للتدريب والضبط مقارنة بالطرق الضحلة.
  • قابلية التفسير محدودة؛ إشارة خطأ إعادة البناء لا تفسر الميزات التي سببت الشذوذ.
  • حساس لاختيار عمق البنية، والبعد الكامن، ووزن الخسارة بين الأهداف غير المُشرفة والمُشرفة.
  • اختيار العتبة ليس أمرًا بسيطًا ويجب التحقق منه على بيانات مُصنفة تم فصلها لتجنب القطع التعسفي.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يستفيد بفعالية من كميات كبيرة من البيانات الطبيعية غير المُصنفة جنبًا إلى جنب مع الشذوذات المُصنفة النادرة، مما يزيد من كفاءة استخدام البيانات.
  • يتعامل مع مساحات الميزات عالية الأبعاد وغير الخطية بشكل أفضل بكثير من الطرق القائمة على النواة مثل one-class SVM.
  • درجة الشذوذ (خطأ إعادة البناء) مستمرة، مما يتيح ضبطًا دقيقًا للعتبة لمطابقة المتطلبات التشغيلية.
  • يوفر التدريب المسبق على البيانات الطبيعية أولوية قوية، مما يقلل من عدد الشذوذات المُصنفة المطلوبة مقارنة بالنهج المُشرف بالكامل.
  • بنية مرنة ويمكن أن تتضمن طبقات التفافية، أو تكرارية، أو محوّلات للصور، أو سلاسل زمنية، أو نصوص.

التطبيقات

  • كشف أعطال وعيوب صناعية على تدفقات المستشعرات أو القياس عن بعد حيث تكون أحداث الأعطال نادرة ولكنها موثقة.
  • كشف الشذوذ في اختراق الشبكات والأمن السيبراني باستخدام توقيعات الهجوم المعروفة كبذور مُصنفة.
  • فحص الصور الطبية أو البيانات السريرية حيث تكون الحالات المرضية المؤكدة نادرة.
  • كشف الاحتيال المالي الذي يجمع بين المعاملات الطبيعية الوفيرة ومجموعة صغيرة من المعاملات الاحتيالية المؤكدة.
  • خطوط أنابيب الصيانة التنبؤية حيث تعمل سجلات الفشل التاريخية كأمثلة شذوذ مُصنفة.

كيف يعمل

كيف يعمل

1

تنقسم مجموعة التدريب إلى مجموعة كبيرة من البيانات غير المُصنفة (يُفترض أنها طبيعية في الغالب) ومجموعة صغيرة ومنتقاة من الشذوذات المُصنفة. يعكس هذا التقسيم ندرة الملصقات المؤكدة للشذوذ في العالم الحقيقي مع الاستفادة من أي إشارة حقيقة متاحة.

2

يتم تدريب شبكة مشفّر-مفكّك مسبقًا على المجموعة غير المُصنفة لتقليل خسارة إعادة البناء، وتعلم تمثيل كامن مضغوط للأنماط الطبيعية. تبني هذه المرحلة المفهوم الأساسي لما تبدو عليه الطبيعية دون الحاجة إلى أي تصنيفات.

3

في المرحلة الثانية، يتم دمج الشذوذات المُصنفة - إما عن طريق إضافة رأس تصنيف، أو باستخدام خسارة تباينية أو خسارة الكرة الفائقة (كما في امتدادات Deep SVDD)، أو عن طريق معاقبة خطأ إعادة البناء المنخفض للشذوذات المعروفة. هذا يبعد حد القرار عن النقاط الشاذة المؤكدة.

4

عند الاستدلال، يتم تمرير كل عينة عبر المشفّر التلقائي المُدرّب. درجة الشذوذ هي عادةً خطأ إعادة البناء (متوسط ​​مربع الخطأ بين المدخلات والمخرجات). اختياريًا، يتم أيضًا استخدام المسافة في الفضاء الكامن من مركز الفئة الطبيعية.

الصيغة
s(x) = \|x - \hat{x}\|^2
5

يتم اختيار عتبة على درجة الشذوذ - باستخدام الشذوذات المُصنفة، أو منحنى الدقة-الاستدعاء، أو معدل إيجابي خاطئ مستهدف - لإنتاج تسميات ثنائية طبيعية/شاذة. اختيار العتبة يحكم مباشرةً المفاضلة بين الدقة والاستدعاء.

الأخطاء الشائعة

  • تلوث مجموعة التدريب المسبق غير المُصنفة بالشذوذات غير المكتشفة، مما يقوض تمثيل البيانات الطبيعية.
  • معاملة خطأ إعادة البناء كاحتمال مُعاير دون معايرة عتبة مناسبة مقابل الأمثلة المُصنفة.
  • استخدام تقسيم تدريب/اختبار واحد بدون التحقق المتقاطع، مما ينتج عنه تقديرات أداء متفائلة بشكل مفرط لفئات الشذوذ النادرة.
  • اختيار البعد الكامن دون تجريب، إما صغير جدًا (فقدان المعلومات) أو كبير جدًا (يعيد المشفّر التلقائي بناء الشذوذات بنفس جودة البيانات الطبيعية).
  • تجاهل اختلال توازن الفئات عند حساب مقاييس التقييم - الدقة لا معنى لها مع الاختلال الشديد؛ استخدم AUROC ومتوسط الدقة بدلاً من ذلك.

الأسئلة الشائعة

ما هو عدد الشذوذات المُصنفة المطلوبة؟

يمكن للطريقة أن تعمل مع ما لا يقل عن اثني عشر شذوذًا مؤكدًا، ولكن الأداء يتحسن بشكل كبير حتى بضع مئات. المفتاح هو أن الشذوذات المُصنفة يجب أن تغطي الأنواع الرئيسية للسلوك غير الطبيعي الموجود في المجال.

ماذا لو كانت مجموعتي غير المُصنفة تحتوي على شذوذات مخفية؟

تلوث البيانات غير المُصنفة هو أكبر وضع فشل. قم بتطبيق مرشح غير مُشرف أولي (مثل، isolation forest) لإزالة القيم المتطرفة الواضحة من مجموعة التدريب المسبق قبل الضبط الدقيق.

كيف أختار عتبة خطأ إعادة البناء؟

استخدم مجموعة الشذوذات المُصنفة ومنحنى الدقة-الاستدعاء لاختيار عتبة تتناسب مع تحملك التشغيلي للإيجابيات الخاطئة والسلبيات الخاطئة. لا تختر العتبة أبدًا على نفس البيانات المستخدمة لتدريب النموذج.

هل هذا أفضل من one-class SVM أو isolation forest؟

على البيانات عالية الأبعاد أو غير الخطية مع وجود بعض الشذوذات المُصنفة على الأقل، تتفوق المشفّرات التلقائية شبه المُشرفة عادةً على one-class SVM و isolation forest. على البيانات الجدولية منخفضة الأبعاد مع عينات صغيرة جدًا، يمكن للطرق الأبسط أن تتطابق أو تتجاوز أداءها بتكلفة أقل.

ما هي مقاييس التقييم التي يجب أن أبلغ عنها؟

أبلغ عن AUROC ومتوسط الدقة (المساحة تحت منحنى الدقة-الاستدعاء) على مجموعة اختبار تم فصلها تحافظ على الانتشار الحقيقي للشذوذ. يجب أن تكون الدقة و F1 عند عتبة ثابتة مقاييس ثانوية، مع تقديم تبرير للعتبة.

طرق ذات صلة

المصادر

  1. Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).

    افتح مرجع المنشور
    تم النسخ.
  2. Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).

    افتح مرجع المنشور
    تم النسخ.