الانتقال إلى المحتوى
العودة إلى نتائج البحث

اكتشاف الشذوذ باستخدام التشفير التلقائي

قدّمه
Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
السنة
2006–2014
النوع
Unsupervised deep learning (reconstruction-based)
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يقوم اكتشاف الشذوذ بالتشفير التلقائي بتدريب شبكة عصبية لضغط البيانات العادية ثم إعادة بنائها. نظرًا لأن النموذج لم يتعلم سوى ما تبدو عليه الحالة الطبيعية، فإن المدخلات الشاذة تنتج أخطاء إعادة بناء أعلى بشكل ملحوظ - وتصبح هذه الأخطاء هي درجة الشذوذ. تتطلب هذه الطريقة عدم وجود شذوذ مُصنّف وتتوسع بشكل طبيعي للبيانات عالية الأبعاد مثل تدفقات المستشعرات والصور وسجلات السجلات.

الفكرة الحدسية وراء الطريقة

يُجبر التشفير التلقائي على وصف البيانات بأرقام أقل مما بدأت به، ثم إعادة بناء الأصل. عند تدريبه حصريًا على أمثلة عادية، يصبح جيدًا جدًا في إعادة بناء الأنماط العادية وضعيفًا في إعادة بناء أي شيء غير عادي. وبالتالي، فإن خطأ إعادة البناء يعمل كإنذار طبيعي: الخطأ المنخفض يعني أن المدخل يبدو مألوفًا؛ الخطأ المرتفع يشير إلى شيء لم يره النموذج من قبل وبالتالي لا يمكنه إعادة إنتاجه بأمانة. عن طريق وضع حد لهذا الخطأ، يمكنك تحويل درجة مستمرة إلى علامة شذوذ ثنائية.

التاريخ

تم تعميم التشفيرات التلقائية كأدوات لتقليل الأبعاد بواسطة ورقة Hinton و Salakhutdinov العلمية لعام 2006 حول شبكات الاعتقاد العميقة. نما تطبيقها على اكتشاف الشذوذ خلال العقد الأول من القرن الحادي والعشرين مع نضوج التعلم العميق؛ قدم Vincent وآخرون (2010) التشفيرات التلقائية المزيلة للضوضاء، وبحلول منتصف العقد الأول من القرن الحادي والعشرين، كانت التشفيرات التلقائية خط أساس قياسي لاكتشاف الشذوذ غير المُشرف عليه في المجالات الصناعية ومجالات الأمن السيبراني. قام مسح Chalapathy و Chawla لعام 2019 بتوحيد أفضل الممارسات في هذا المجال.

متى تُستخدم

استخدم اكتشاف الشذوذ بالتشفير التلقائي عندما تكون أمثلة الشذوذ المُصنّفة نادرة أو غائبة، وعندما تكون الفئة العادية ممثلة جيدًا، وعندما يكون بُعد البيانات مرتفعًا جدًا بالنسبة للطرق الكلاسيكية مثل آلة المتجهات الداعمة أحادية الفئة. يتفوق في سلاسل زمنية للمستشعرات، وسجلات حركة الشبكة، والتصوير الطبي، ومراقبة جودة التصنيع. تجنبه عندما يكون توزيع البيانات العادية متنوعًا للغاية أو متعدد الأنماط (قد لا يجد التشفير التلقائي تمثيلًا مدمجًا)، وعندما يكون لديك مجموعة بيانات صغيرة جدًا (تحتاج الشبكات العميقة إلى بيانات كافية للتعميم)، أو عندما يكون حد بسيط وقابل للتفسير قائم على القواعد كافيًا. لا تطبقه عندما تكون بيانات الشذوذ المُصنّفة متاحة بالفعل - فإن المصنفات المُشرف عليها أو شبه المُشرف عليها ستتفوق عليها دائمًا في هذا الإعداد.

الحدود والاعتبارات

  • يتطلب عينة كبيرة وممثلة بما فيه الكفاية من البيانات العادية؛ قد يتم إعادة بناء الأنماط العادية النادرة بشكل سيء حتى بدون أن تكون شاذة.
  • اختيار الحد هو طريقة تجريبية وحساسة: حد tau المُختار بشكل سيء يؤدي إلى إيجابيات خاطئة مفرطة أو شذوذات مفقودة.
  • قابلية التفسير منخفضة - خطأ إعادة البناء يكشف عن وجود شذوذ ولكن ليس الميزات التي دفعته دون تحليل إضافي (مثل، تفكيك الخطأ لكل ميزة).
  • يتطلب تدريب الشبكات العميقة ضبط البنية، ومعدل التعلم، والتنظيم؛ الطريقة ليست جاهزة للاستخدام مثل شجرة العزلة أو آلة المتجهات الداعمة أحادية الفئة.
  • إذا تلوثت الشذوذات بمجموعة التدريب، فإن النموذج يتعلم جزئيًا إعادة بنائها، مما يقلل من حساسية الكشف.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • لا يتطلب أمثلة شذوذ مُصنّفة - البيانات العادية فقط هي المطلوبة للتدريب.
  • يتوسع بشكل طبيعي للمدخلات عالية الأبعاد مثل الصور، والسلاسل الزمنية، وتدفقات المستشعرات المتعددة.
  • ينتج درجة شذوذ مستمرة، مما يتيح التنبيه المُرتّب بدلاً من علامة ثنائية.
  • يمكنه التقاط أنماط عادية معقدة وغير خطية لا تستطيع الطرق الخطية مثل تحليل المكونات الرئيسية تمثيلها.
  • البنية مرنة: طبقات التفافية للصور، وطبقات LSTM للتسلسلات، وطبقات التغذية الأمامية للبيانات الجدولية.

التطبيقات

  • الصيانة التنبؤية الصناعية: اكتشاف أعطال الآلات من تدفقات مستشعرات الاهتزاز ودرجة الحرارة.
  • الأمن السيبراني: تحديد حركة مرور الشبكة الشاذة أو محاولات الاختراق من سجلات مستوى الحزم.
  • التصوير الطبي: تمييز المناطق المرضية في صور الرنين المغناطيسي أو الأشعة المقطعية عندما تكون بيانات الآفات المُعلّمة نادرة.
  • اكتشاف الاحتيال المالي: اكتشاف أنماط المعاملات غير العادية في بيانات بطاقات الائتمان أو البيانات المصرفية.
  • مراقبة جودة التصنيع: اكتشاف المنتجات المعيبة من صور الكاميرا على خط التجميع.
  • عمليات تكنولوجيا المعلومات: اكتشاف مقاييس الخادم أو التطبيق الشاذة في خطوط أنابيب AIOps.

كيف يعمل

كيف يعمل

1

يتم تدريب شبكة التشفير التلقائي حصريًا على البيانات التي تمثل ظروف التشغيل العادية. الهدف هو تقليل خسارة إعادة البناء (عادةً متوسط الخطأ التربيعي) على مجموعة التدريب العادية فقط، بحيث تتعلم الشبكة تمثيلات داخلية مدمجة لما تبدو عليه الحالة الطبيعية. لا حاجة لتصنيفات الشذوذ.

2

عند الاستدلال، يتم تمرير كل مدخل x عبر مشفر يضغطه إلى متجه كامن منخفض الأبعاد، ثم عبر مفك تشفير يعيد بناء المدخل إلى الفضاء الأصلي. يتم تمثيل زوج المشفر-مفكك التشفير بأوزان مُتعلمة ويلتقط هندسة تباين البيانات العادية.

الصيغة
\hat{x} = f_{\theta}(g_{\phi}(x))
3

يتم حساب خطأ إعادة البناء e(x) - الفرق التربيعي (أو المطلق) بين المدخل وإعادة بنائه - لكل ملاحظة. نظرًا لأن التشفير التلقائي قد تعلم فقط تباين البيانات العادية، فإن المدخلات الشاذة تقع بعيدًا عن هذا التباين، مما ينتج عنه أخطاء عالية.

الصيغة
e(x) = \|x - \hat{x}\|^2
4

يتم اختيار حد قرار tau، عادةً من توزيع أخطاء إعادة البناء على مجموعة تحقق عادية منفصلة (على سبيل المثال، المئين 95 أو 99). يحول هذا الحد درجة الخطأ المستمرة إلى حدود قرار ثنائية. يوازن اختيار tau بين الإيجابيات الخاطئة والشذوذات المفقودة.

5

يتم تمييز أي ملاحظة يتجاوز خطأ إعادة بنائها tau على أنها شذوذ. يمكن أن يكون مقدار الزيادة أيضًا بمثابة درجة ثقة، مما يتيح تحديد أولويات التنبيهات بترتيب تنازلي بدلاً من قرار ثنائي صارم.

الصيغة
\text{anomaly if } e(x) > \tau

الأخطاء الشائعة

  • التدريب على مجموعة بيانات تتضمن شذوذات دون تنظيفها أولاً، بحيث يتعلم النموذج إعادة بناء الأنماط نفسها التي يجب أن يميزها.
  • وضع الحد على مجموعة التدريب نفسها بدلاً من مجموعة تحقق منفصلة، مما ينتج حدًا متفائلًا يفشل في النشر.
  • مقارنة أخطاء إعادة البناء عبر مقاييس ميزات مختلفة دون تطبيع المدخلات، مما يجعل الخطأ يهيمن عليه الميزات ذات التباين العالي.
  • استخدام عنق زجاجة كبير جدًا، مما يسمح للتشفير التلقائي بتعلم تعيين هوية قريب يعيد بناء كل شيء - بما في ذلك الشذوذات - بأمانة.
  • الإبلاغ عن مقاييس التصنيف الثنائي فقط (الدقة) بدلاً من الدقة-الاستدعاء ومنحنى ROC تحت المنحنى، وهي أكثر إفادة بكثير لمهام اكتشاف الشذوذ غير المتوازنة.

الأسئلة الشائعة

كيف أختار حجم عنق الزجاجة؟

يجب أن يكون عنق الزجاجة صغيرًا بما يكفي لفرض ضغط الأنماط العادية ولكنه كبير بما يكفي لعدم فقدان الهيكل الأساسي. الممارسة الشائعة هي البدء بحوالي 10-30٪ من بُعد الإدخال وضبطه عن طريق فحص جودة إعادة البناء على بيانات عادية منفصلة.

ماذا لو كانت بياناتي العادية تحتوي على أنماط متعددة (مثل، حالات تشغيل مختلفة للآلة)؟

قد لا يتعلم التشفير التلقائي الواحد جميع الأنماط بشكل متساوٍ، مما ينتج عنه إنذارات خاطئة في الحالات الممثلة تمثيلاً ناقصًا ولكنها عادية. تشمل الخيارات تدريب تشفير تلقائي منفصل لكل نمط، أو استخدام نهج خليط من التشفيرات التلقائية، أو التكييف بناءً على تسمية نمط معروف إذا كانت متاحة.

كيف يجب أن أحدد حد الشذوذ؟

احسب أخطاء إعادة البناء على مجموعة تحقق نظيفة منفصلة من البيانات العادية وضع tau عند مئين مرتفع (95 أو 99، اعتمادًا على معدل الإيجابيات الخاطئة المقبول). إذا كانت هناك بعض الشذوذات المُصنّفة، اضبط tau لزيادة F1 أو التوازن المطلوب بين الدقة والاستدعاء.

كيف يقارن هذا بشجرة العزلة أو آلة المتجهات الداعمة أحادية الفئة؟

تعتبر شجرة العزلة وآلة المتجهات الداعمة أحادية الفئة بشكل عام أسهل في الضبط وأكثر قابلية للتفسير على البيانات الجدولية منخفضة إلى متوسطة الأبعاد. تصبح التشفيرات التلقائية مفيدة عندما يكون البعد مرتفعًا جدًا، أو عندما يكون الهيكل الزمني أو المكاني مهمًا، أو عندما تكون البكسلات الخام أو الموجات الصوتية هي المدخلات.

هل يمكنني استخدام تشفير تلقائي متغير (VAE) بدلاً من ذلك؟

نعم. تتعلم VAEs مساحة كامنة احتمالية وتسمح بتسجيل الشذوذ عبر احتمالية إعادة البناء بدلاً من متوسط الخطأ التربيعي الخام، مما يحسن المعايرة غالبًا. إنها امتداد طبيعي عندما يكون التوزيع العادي معقدًا أو عندما تريد تقديرات عدم يقين مُعايرة جيدًا.

طرق ذات صلة

المصادر

  1. Chalapathy, R. & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.

    افتح مرجع المنشور
    تم النسخ.
  2. Hinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.

    افتح مرجع DOI
    تم النسخ.