الانتقال إلى المحتوى
العودة إلى نتائج البحث

اكتشاف الشذوذ باستخدام التشفير التلقائي البايزي

قدّمه
Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
السنة
2014–2015
النوع
Probabilistic generative model for unsupervised anomaly detection
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يستخدم التشفير التلقائي البايزي التشفير التلقائي المتغير (Variational Autoencoder) - وهو نموذج توليدي احتمالي مدرب على البيانات العادية - للإبلاغ عن الحالات الشاذة من خلال خطأ إعادة البناء العالي أو الاحتمالية المنخفضة ضمن التوزيع المتعلم. من خلال معاملة الفضاء الكامن كتوزيع احتمالي بدلاً من نقطة ثابتة، فإنه يوفر تقديرات عدم اليقين المبدئية إلى جانب كل درجة شذوذ، مما يجعله ذا قيمة خاصة في مهام الكشف عالية المخاطر.

الفكرة الحدسية وراء الطريقة

يقوم التشفير التلقائي القياسي بضغط وإعادة بناء بيانات التدريب الخاصة به؛ الأشياء التي تختلف عن مجموعة التدريب يعاد بناؤها بشكل سيء وبالتالي تسجل كحالات شاذة. النسخة البايزية، التي يتم تنفيذها عادةً كتشفير تلقائي متغير، تذهب إلى أبعد من ذلك: بدلاً من تشفير كل مدخل إلى نقطة واحدة في الفضاء الكامن، فإنها تشفره إلى توزيع احتمالي. هذا يعني أن النموذج يعرف ليس فقط ما هو طبيعي محتمل، ولكن أيضًا مدى ثقته في هذا التقييم. يتم حساب درجات الشذوذ كاحتمالات إعادة البناء في المتوسط على الاحتمالية الخلفية الكامنة، لذلك تحمل عدم اليقين المتأصل بدلاً من كونها تقديرات نقطية هشة.

التاريخ

تم تقديم التشفير التلقائي المتغير بواسطة Kingma و Welling في عام 2014 كإطار مبدئي للنمذجة التوليدية العميقة، يجمع بين مرونة الشبكة العصبية والاستدلال البايزي للمتغيرات الكامنة عبر خدعة إعادة المعايرة. تم إضفاء الطابع الرسمي على تطبيقه لاكتشاف الشذوذ بواسطة An و Cho في عام 2015، اللذين أظهرا أن احتمالية إعادة البناء - بدلاً من خطأ إعادة البناء - توفر درجة شذوذ أكثر موثوقية. منذ ذلك الحين، أصبحت التشفيرات التلقائية البايزية أداة قياسية في أبحاث اكتشاف الشذوذ غير الخاضع للإشراف، مع امتدادات للسلاسل الزمنية، وبيانات الرسم البياني، والإعدادات الموزعة.

متى تُستخدم

استخدم اكتشاف الشذوذ بالتشفير التلقائي البايزي عندما يكون لديك بيانات عادية وفيرة غير مصنفة ولكن لديك القليل من تسميات الحالات الشاذة أو لا توجد تسميات مؤكدة، ويكون فضاء المدخلات عالي الأبعاد (مثل الصور، مصفوفات المستشعرات، السلاسل الزمنية متعددة القنوات، أو البيانات الجدولية الواسعة)، وتحتاج إلى تقديرات عدم اليقين إلى جانب درجات الشذوذ لاتخاذ القرارات اللاحقة (مثل التصوير الطبي، اكتشاف الاحتيال، مراقبة الجودة الصناعية). يتفوق على الطرق الأبسط مثل Isolation Forest أو One-Class SVM عندما يكون تنوع البيانات العادية معقدًا وغير خطي. لا تستخدمه عندما تكون مجموعة البيانات الخاصة بك صغيرة (أقل من بضع مئات من العينات)، ويكون مدخلك منخفض الأبعاد مع بنية خطية (الطرق الإحصائية الكلاسيكية أبسط وأكثر قابلية للتفسير)، وتحتاج إلى إنتاجية صارمة في الوقت الفعلي بدون تسريع GPU، أو عندما يكون هناك فئة شاذة صريحة متاحة والتصنيف المراقب ممكن.

الحدود والاعتبارات

  • يتطلب بيانات تدريب كبيرة من الأمثلة العادية؛ البيانات العادية الشحيحة أو غير المتجانسة تقلل من الأداء.
  • التدريب مكلف حسابيًا - عادة ما يكون تسريع GPU مطلوبًا لأحجام المدخلات غير التافهة.
  • خيارات المعلمات الفائقة (البعد الكامن، عمق البنية، وزن بيتا لحد KL) تؤثر بشدة على النتائج وتتطلب ضبطًا دقيقًا.
  • الانهيار الخلفي - وهو مرض شائع في VAE حيث يتجاهل المشفر المدخل - يمكن أن يقلل درجات الشذوذ بصمت.
  • لا يزال تفسير سبب تمييز عينة معينة كحالة شاذة صعبًا بدون تحليل لاحق إضافي.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يوفر تقديرات عدم يقين معايرة لكل درجة شذوذ، ويدعم اتخاذ القرارات الواعية بالمخاطر.
  • يتعامل مع توزيعات البيانات عالية الأبعاد وغير الخطية التي تتغلب على الطرق الخطية أو القائمة على النواة.
  • غير خاضع للإشراف تمامًا: لا توجد تسميات شاذة مطلوبة للتدريب.
  • يمكن تصور الفضاء الكامن المتعلم وتفسيره لفهم الأنماط التي يعتبرها النموذج طبيعية.
  • تسمح البنية المرنة بدمج التوزيعات المسبقة الخاصة بالمجال والفضاءات الكامنة المنظمة.
  • احتمالية إعادة البناء أكثر مبدئية من متوسط الخطأ التربيعي الخام، مما يقلل الحساسية للقياس التعسفي.

التطبيقات

  • اكتشاف العيوب الصناعية في التصنيع باستخدام بيانات الفحص البصري.
  • اكتشاف الشذوذ في التصوير الطبي (مثل اكتشاف الآفات في مسح الرنين المغناطيسي المدرب على أفراد أصحاء فقط).
  • اكتشاف اختراق الشبكة حيث تكون أنماط حركة المرور العادية وفيرة ولكن الهجمات نادرة ومتنوعة.
  • اكتشاف الاحتيال المالي عندما تكون حالات الاحتيال المصنفة غير متاحة أو قديمة بسرعة.
  • الصيانة التنبؤية عبر اكتشاف الشذوذ في مصفوفات المستشعرات على الآلات الصناعية.
  • مراقبة جودة البيانات العلمية، والإبلاغ عن الملاحظات غير العادية في مجموعات البيانات التجريبية.

كيف يعمل

كيف يعمل

1

تقوم شبكة التشفير العصبية برسم كل مدخل x إلى معلمات (المتوسط والتباين) لتوزيع احتمالي خلفي غاوسي على المتغير الكامن z، مما يلتقط عدم يقين النموذج حول التمثيل المضغوط بدلاً من الالتزام برمز واحد.

الصيغة
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))
2

يتم سحب الرموز الكامنة عن طريق خدعة إعادة المعايرة - إضافة ضوضاء مُقاسة إلى متوسط الاحتمالية الخلفية - مما يجعل خطوة العينة قابلة للتفاضل بحيث يمكن تدريب الشبكة بأكملها عن طريق الانتشار الخلفي.

الصيغة
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)
3

تقوم شبكة فك التشفير برسم الرموز الكامنة المسحوبة مرة أخرى إلى توزيعات إعادة البناء على مساحة المدخلات، وتعلم العملية التوليدية للبيانات العادية.

الصيغة
p_{\theta}(x|z)
4

يزيد التدريب من الحد الأدنى لدليل الاحتمالية (ELBO): الاحتمالية اللوغاريتمية المتوقعة لإعادة البناء ناقص تباعد KL الذي يحافظ على الاحتمالية الخلفية قريبة من توزيع احتمالي غاوسي قياسي مسبق. يتم استخدام البيانات العادية فقط (ضمن التوزيع) أثناء التدريب.

الصيغة
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))
5

عند الاستدلال، يتم حساب درجة الشذوذ كاحتمالية لوغاريتمية متوقعة سلبية للمدخل تحت فك التشفير، في المتوسط على عينات خلفية متعددة. تشير الدرجات العالية إلى المدخلات التي لا يستطيع النموذج إعادة بنائها جيدًا ضمن توزيع البيانات العادية المتعلم.

الصيغة
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]

الأخطاء الشائعة

  • التدريب على مجموعة بيانات ملوثة تتضمن حالات شاذة في الفئة 'العادية'، مما يتسبب في تعلم النموذج للأنماط الشاذة كأنماط عادية.
  • اختيار عتبة درجة الشذوذ بشكل تعسفي بدلاً من استخدام مجموعة تحقق من البيانات العادية المعروفة.
  • تجاهل الانهيار الخلفي أثناء التدريب، مما قد يجعل خطأ إعادة البناء غير مفيد بشكل موحد.
  • مقارنة أخطاء إعادة البناء الخام عبر مجموعات بيانات ذات مقاييس مدخلات مختلفة بدون تطبيع.
  • التقييم بالدقة وحدها على مجموعات اختبار غير متوازنة للغاية بدلاً من استخدام AUROC أو متوسط الدقة.

الأسئلة الشائعة

كيف يختلف هذا عن التشفير التلقائي القياسي (الحتمي) لاكتشاف الشذوذ؟

يقوم التشفير التلقائي القياسي برسم المدخلات إلى رموز كامنة ثابتة ويقيم الحالات الشاذة بخطأ إعادة البناء. يقوم التشفير التلقائي البايزي (المتغير) برسم المدخلات إلى توزيعات كامنة ويقيم الحالات الشاذة باحتمالية إعادة البناء في المتوسط على عينات الاحتمالية الخلفية. الصيغة الاحتمالية تعطي درجات أكثر موثوقية وعدم يقين صريح، بتكلفة تعقيد تدريب أكبر.

ما البعد الكامن الذي يجب أن أختاره؟

يجب أن يكون البعد الكامن كبيرًا بما يكفي لالتقاط بنية البيانات العادية ولكنه صغير بما يكفي لمنع النموذج من حفظ العينات الفردية. ابدأ ببعد يمثل حوالي 5-20٪ من بعد المدخلات وقم بالضبط عبر جودة إعادة البناء على مجموعة عادية تم التحقق منها.

هل أحتاج إلى أجهزة GPU لتشغيل هذه الطريقة؟

بالنسبة للبيانات الجدولية ذات العرض المعتدل (أقل من بضع مئات من الميزات) يمكن استخدام وحدة المعالجة المركزية (CPU)، ولكن التدريب سيكون بطيئًا. بالنسبة لبيانات الصور أو المستشعرات عالية الأبعاد، يوصى بشدة باستخدام GPU. الاستدلال (التسجيل) عادة ما يكون أسرع بكثير من التدريب.

كيف أضبط عتبة الشذوذ؟

لا يتم تعلم العتبة أثناء التدريب. استخدم مجموعة تحقق من العينات العادية المؤكدة وحدد النسبة المئوية للدرجات (مثل 95 أو 99) التي تعطي معدل خطأ إيجابي كاذب مقبول في مجالك. تجنب اختيار العتبة على نفس البيانات المستخدمة لتقييم الأداء النهائي.

هل يمكن لهذه الطريقة أن تعمل عندما تظهر بعض الحالات الشاذة في مجموعة التدريب؟

يتم تحمل التلوث الطفيف (بضعة بالمائة) غالبًا لأن النموذج يتم تحسينه على الفئة الأغلبية. ومع ذلك، فإن التلوث الشديد يغير ما يتعلمه النموذج على أنه 'عادي' ويجب تقليله عن طريق تنظيف بيانات التدريب بأكبر قدر ممكن.

طرق ذات صلة

المصادر

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).

    افتح مرجع المنشور
    تم النسخ.
  2. An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.

    افتح مرجع المنشور
    تم النسخ.