اكتشاف الشذوذ باستخدام تجميع المشفرات التلقائية
- قدّمه
- Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
- السنة
- 2017
- النوع
- Ensemble unsupervised anomaly detection
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يقوم اكتشاف الشذوذ باستخدام تجميع المشفرات التلقائية بتدريب شبكات مشفرات تلقائية متعددة على بيانات الفئة العادية وتجميع أخطاء إعادة البناء الخاصة بها لإنتاج درجة شذوذ قوية. من خلال الجمع بين مشفرات تلقائية متنوعة بدلاً من الاعتماد على واحدة، تعمل الطريقة على استقرار تصنيفات القيم المتطرفة وتقليل الحساسية للتهيئة العشوائية أو اختيارات البنية دون المستوى الأمثل.
الفكرة الحدسية وراء الطريقة
يتعلم المشفر التلقائي الواحد ضغط ثم إعادة بناء الملاحظات العادية؛ القيم الشاذة تضغط بشكل سيء وتنتج خطأ إعادة بناء مرتفعًا. المشكلة هي أن درجة الشذوذ لمشفر تلقائي واحد هشة - فهي تعتمد على تهيئة عشوائية وبنية محددة. يقوم التجميع بتدريب العديد من المشفرات التلقائية على مجموعات فرعية عشوائية مختلفة من الميزات أو البيانات، ثم يحسب متوسط أخطاء إعادة البناء الخاصة بها. تتلاشى العيوب الفردية لكل شبكة، مما ينتج إشارة شذوذ أكثر استقرارًا وثقة يصعب خداعها وأسهل في تحديد عتبتها.
التاريخ
شاع اكتشاف الشذوذ القائم على المشفر التلقائي بعد عمل Hinton و Salakhutdinov في عام 2006 حول المشفرات التلقائية العميقة، حيث ظهر خطأ إعادة البناء المرتفع كإشارة خروج طبيعية. تم إضفاء الطابع الرسمي على امتداد التجميع بواسطة Chen و Sathe و Aggarwal و Turaga في مؤتمر SIAM Data Mining لعام 2017، حيث أظهروا أن تنويع المشفرات التلقائية من خلال أخذ عينات من الميزات يتفوق بشكل موثوق على أي نموذج فردي. يظهر النهج الآن بشكل روتيني في خطوط أنابيب اكتشاف الشذوذ الصناعية لاقتحام الشبكة، والصيانة التنبؤية، والمراقبة الطبية.
متى تُستخدم
استخدم عندما يكون لديك بيانات غير مصنفة في الغالب وتريد اكتشاف الشذوذ النادر في ميزات مستمرة عالية الأبعاد - على سبيل المثال، تدفقات المستشعرات، سجلات المعاملات، أو الإشارات الطبية - وقد أظهر مشفر تلقائي واحد عدم استقرار عبر التشغيلات. فعال أيضًا عندما لا تتوفر تسميات الشذوذ وتحتاج إلى خط أساس غير خاضع للإشراف مع استقرار أفضل من شبكة واحدة. تجنب عندما تكون مجموعة البيانات صغيرة جدًا (أقل من بضع مئات من الملاحظات العادية لكل ميزة)، حيث لن تتعلم المشفرات التلقائية تشعبًا ذا معنى. لا تستخدم للبيانات النصية الفئوية أو المتفرقة دون معالجة تضمين مناسبة، ولا تستخدم عندما يكون غابة العزل جيدة الضبط أو SVM أحادي الفئة كافية، حيث تضيف التجميعات وقت تدريب وتعقيدًا.
الحدود والاعتبارات
- تدريب K مشفر تلقائي يضاعف متطلبات الحوسبة والذاكرة؛ التجميعات الكبيرة على الشبكات العميقة مكلفة.
- يفترض أن الشذوذ يتميز بخطأ إعادة بناء مرتفع - قد يتم تفويت الشذوذ العدائي أو المنظم الذي يقع على التشعب المتعلم.
- حساس لنسبة الشذوذ في بيانات التدريب؛ التلوث الثقيل يفسد التشعب العادي المتعلم ويقمع درجات الشذوذ للتلوث.
- تتطلب اختيارات المعلمات الفائقة (عدد النماذج، البنية، دالة التجميع) بيانات تحقق أو معرفة بالمجال.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يقلل من التباين في درجات الشذوذ مقارنة بالمشفر التلقائي الواحد، مما يعطي تصنيفات أكثر استقرارًا عبر البذور العشوائية.
- يلتقط تجميع الكاشفات المتنوعة جوانب مختلفة من العادية، مما يحسن الاستدعاء على أنواع الشذوذ غير المتجانسة.
- غير خاضع للإشراف بالكامل - لا يتطلب تسميات شذوذ، فقط بيانات عادية أو مختلطة غير مصنفة.
- يتوسع للبيانات المستمرة عالية الأبعاد حيث تتدهور الطرق القائمة على المسافة مثل اكتشاف شذوذ k-NN.
- متوافق مع مجموعة واسعة من هياكل المشفرات التلقائية (عادية، متغيرة، تلافيفية) لمطابقة بنية البيانات.
- درجة التجميع أسهل في تحديد عتبتها بشكل موثوق من درجة شبكة واحدة، مما يقلل من جهد المعايرة.
التطبيقات
- اكتشاف اقتحام الشبكة من ميزات الحزم أو التدفقات عالية الأبعاد.
- تسجيل الشذوذ للصيانة التنبؤية على سلاسل زمنية متعددة المتغيرات للمستشعرات.
- اكتشاف الاحتيال في المعاملات المالية في تدفقات غير مصنفة أو مصنفة بشكل ضعيف.
- مراقبة الإشارات الحيوية الطبية (ECG، EEG) للأنماط المرضية النادرة.
- مراقبة الجودة في التصنيع حيث تكون أمثلة العيوب نادرة.
- خط أساس غير خاضع للإشراف لتسجيل القيم المتطرفة قبل حملات التسمية بالتعلم النشط.
كيف يعمل
كيف يعمل
يتم تدريب K مشفر تلقائي بشكل مستقل على بيانات التدريب العادية (المفترضة)، كل منها بتهيئة عشوائية مختلفة واختياريًا مجموعات ميزات إدخال أو هياكل شبكة مختلفة. يشجع التدريب كل شبكة على تقليل خسارة إعادة البناء على العينات العادية، لذا فهي تتعلم تشعب السلوك العادي.
لكل ملاحظة اختبار، يقوم كل مشفر تلقائي بترميزها إلى تمثيل كامن وفك ترميزها مرة أخرى. المسافة التربيعية L2 بين الإدخال الأصلي وإعادة البناء هي درجة الشذوذ لكل شبكة: الخطأ المرتفع يشير إلى أن الملاحظة تبتعد عن التشعب المتعلم العادي.
الصيغة
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2يتم تجميع درجات K الفردية في درجة شذوذ واحدة لكل ملاحظة - غالبًا عن طريق حساب المتوسط، أو أخذ الحد الأقصى، أو تطبيق مزيج معياري مرتب. يقلل المتوسط من التباين؛ الحد الأقصى أكثر حساسية لواحد على الأقل من الكاشفات التي تلتقط شذوذًا.
الصيغة
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})يتم تطبيق عتبة على الدرجة المجمعة لتصنيف الملاحظات على أنها شاذة. عادةً ما يتم اختيار العتبة بواسطة معدل إيجابي خاطئ مستهدف على بيانات عادية تم الاحتفاظ بها، أو عن طريق معالجة أعلى p بالمائة من قيم الدرجات على أنها شاذة عندما تكون تسميات الحقيقة الأساسية غائبة.
الأخطاء الشائعة
- تضمين الشذوذ في مجموعة التدريب دون وعي - هذا يفسد التشعب العادي المتعلم ويقمع درجات الشذوذ للتلوث.
- التقييم فقط على مجموعة التدريب دون عينة عادية محتجزة لمعايرة العتبة، مما يؤدي إلى تسميات شذوذ مفرطة الثقة.
- استخدام خطأ إعادة البناء وحده دون التحقق من المساهمات لكل بعد، مما يخفي الميزات التي تدفع درجة الشذوذ.
- معاملة التجميع على أنه لا يتطلب أي ضبط - يؤثر عدد المشفرات التلقائية، وعمقها، ودالة التجميع جميعها على الأداء ويجب التحقق منها.
- تطبيق الطريقة على مجموعات بيانات تحتوي على عدد قليل جدًا من الملاحظات بالنسبة لعدد الميزات، حيث لا يمكن للمشفرات التلقائية التعميم ويبدو كل نقطة شاذة.
الأسئلة الشائعة
كم عدد المشفرات التلقائية التي يجب أن يحتوي عليها التجميع؟
تشير الأبحاث إلى تناقص العوائد بعد حوالي 10-20 شبكة متنوعة. ابدأ بـ 10 وراقب ما إذا كانت الدرجة المجمعة تستقر عبر التشغيلات؛ إذا كانت لا تزال تختلف، أضف المزيد أو زد التنوع عبر أخذ عينات فرعية من الميزات.
كيف أقدم التنوع بين المشفرات التلقائية؟
تشمل الاستراتيجيات الشائعة التهيئة العشوائية، والمجموعات الفرعية العشوائية من ميزات الإدخال (أخذ عينات من الميزات)، وأحجام الأبعاد الكامنة المختلفة، ومعدلات التسرب، أو الهياكل المختلفة (سطحية مقابل عميقة). أخذ عينات من الميزات هو الأبسط والأكثر فعالية للبيانات الجدولية.
هل تحتاج بيانات التدريب إلى أن تكون خالية من الشذوذ؟
نظريًا نعم، ولكن التلوث المعتدل (أقل من حوالي 5٪) يمكن تحمله. إذا كانت نسبة الشذوذ أعلى، فإن المشفر التلقائي يتعلم إعادة بنائها جيدًا وتتقلص درجات الشذوذ. يمكن أن يساعد التصفية المسبقة بكاشف أبسط (غابة العزل) قبل تدريب المشفرات التلقائية.
كيف يجب أن أحدد عتبة الشذوذ؟
إذا كان لديك معدل إيجابي خاطئ مستهدف (على سبيل المثال، 1٪)، فقم بتعيين العتبة عند النسبة المئوية المقابلة لتوزيع الدرجات على بيانات عادية محتجزة. بدون أي تسميات، اعتبر أعلى p٪ من الدرجات شاذة وتحقق من الخبراء في المجال أو مقاييس التقييم اللاحقة.
متى يكون المشفر التلقائي الواحد أفضل من التجميع؟
عندما تكون الحوسبة مقيدة بشدة، أو تكون مجموعة البيانات صغيرة، أو يظهر مشفر تلقائي واحد جيد الضبط بالفعل أداءً مستقرًا عبر البذور. تضيف التجميعات قيمة بشكل أساسي عندما يكون تباين النموذج الفردي مرتفعًا أو يُتوقع تنوع الشذوذ.
طرق ذات صلة
المصادر
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.
افتح مرجع المنشورتم النسخ.Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.
ردمك: 978-3-319-47578-3تم النسخ.