الانتقال إلى المحتوى
العودة إلى نتائج البحث

الغابة العازلة شبه المُشرف عليها

قدّمه
Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
السنة
2013–2020
النوع
Ensemble anomaly detection (semi-supervised extension)
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تُوسّع الغابة العازلة شبه المُشرف عليها (Semi-supervised Isolation Forest) كاشف الشذوذ الكلاسيكي (Isolation Forest) عن طريق دمج مجموعة صغيرة من الأمثلة المصنفة للشذوذ (وربما للحالات الطبيعية) إلى جانب مجموعة بيانات كبيرة غير مُصنفة. يُعدّل هذا التوجيه المُصنّف درجات الشذوذ الخاصة بالنموذج بحيث تُفصل الحالات الشاذة المعروفة بشكل أكثر موثوقية، مما يسد الفجوة بين الكشف غير المُشرف عليه بالكامل والكشف المُشرف عليه بالكامل.

الفكرة الحدسية وراء الطريقة

تقوم الغابة العازلة القياسية بتسجيل الحالات الشاذة بناءً على مدى سرعة عزل شجرة عشوائية لنقطة ما - حيث تُعزل الحالات الشاذة في عدد أقل من الانقسامات. ولكن بدون أي تصنيفات، لا يتلقى النموذج أي تغذية راجعة حول ما يُعتبر شاذًا بالفعل في مجالك. تُقدم الغابة العازلة شبه المُشرف عليها عددًا صغيرًا من الأمثلة المؤكدة (الحالات الشاذة المعروفة، أو الحالات الطبيعية المعروفة، أو كليهما) وتستخدمها لمعايرة أو إعادة ترجيح عملية التسجيل. والنتيجة هي أن قوة الفصل المتأصلة في الغابة تُوجّه نحو أنماط الشذوذ التي تهم فعليًا، مما يقلل بشكل كبير من الإنذارات الكاذبة والاكتشافات الفائتة دون الحاجة إلى مجموعة تدريب مُصنفة بالكامل.

التاريخ

قدمت Liu و Ting و Zhou الغابة العازلة (Isolation Forest) في عام 2008 ككاشف شذوذ غير مُشرف عليه بالكامل يعتمد على التقسيم العشوائي المتكرر. إدراكًا بأن بضع تصنيفات فقط يمكن أن تحسن الكشف بشكل كبير، طور باحثون من حوالي عام 2013 فصاعدًا امتدادات شبه مُشرف عليها تدمج التوجيه المُصنّف في عملية التسجيل أو ترجيح الشجرة. تم وضع أسس نظرية ذات صلة بالكشف عن الشذوذ المُشرف عليه بواسطة Görnitz وآخرون (2013)، وظهرت متغيرات SSIF العملية في أماكن تطبيقية تعالج اكتشاف الاحتيال واختراق الشبكة خلال أواخر العقد الأول من القرن الحادي والعشرين.

متى تُستخدم

استخدم الغابة العازلة شبه المُشرف عليها عندما يكون لديك مجموعة كبيرة من البيانات غير المُصنفة، وتكون تكلفة التصنيف الكامل باهظة، ولكن يمكنك الحصول على تصنيفات لمجموعة صغيرة على الأقل من الحالات الشاذة المؤكدة (وباختيار بعض الحالات الطبيعية المؤكدة). إنها قيّمة بشكل خاص للكشف عن الأحداث النادرة في الأمن السيبراني، والاحتيال، والصيانة التنبؤية، والمراقبة الطبية حيث يمكن لخبراء المجال تصنيف عدد قليل من الحوادث المعروفة. لا تستخدمها عندما لا تتوفر أي حالات شاذة مُصنفة على الإطلاق (فضل الغابة العازلة القياسية أو SVM أحادي الفئة)، أو عندما تكون البيانات عالية الأبعاد ومتفرقة بدون معالجة مسبقة، أو عندما تتوفر بالفعل مجموعة كبيرة مُصنفة بالكامل (سيُفوقها مصنف مُشرف عليه بالكامل).

الحدود والاعتبارات

  • يتدهور الأداء إذا لم تكن الحالات الشاذة المُصنفة ممثلة لتوزيع الشذوذ في البيانات غير المُصنفة.
  • تختلف آلية دمج التصنيف المثلى عبر التطبيقات؛ لا يوجد متغير واحد سائد عالميًا حتى الآن.
  • مثل iForest القياسي، يمكن أن تواجه صعوبة مع الحالات الشاذة المتجمعة بالقرب من مركز البيانات أو مع توزيعات متعددة الوسائط معينة.
  • تتطلب عناية لتجنب تسرب التصنيف عند التقييم: يجب ألا تتداخل المجموعة المُصنفة مع مجموعة الاختبار.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • تحقق دقة واستدعاء أعلى من iForest غير المُشرف عليه بالكامل عن طريق ربط الدرجات بالحالات الشاذة المُصنفة الحقيقية.
  • تتطلب عددًا صغيرًا فقط من التصنيفات، مما يجعلها عملية عندما يكون التعليق التوضيحي مكلفًا.
  • ترث وقت تدريب iForest الفرعي وخفة بصمة الذاكرة المنخفضة، وتتوسع إلى مجموعات بيانات كبيرة.
  • تتعامل مع البيانات الجدولية عالية الأبعاد دون افتراضات المسافة أو الكثافة.
  • تقلل من اختيار الحد الاعتباطي: توفر المجموعة الفرعية المُصنفة أساسًا معايرة مبدئيًا.

التطبيقات

  • اكتشاف اختراق الشبكة باستخدام عدد قليل من عينات الهجوم المؤكدة إلى جانب حركة المرور العادية.
  • اكتشاف الاحتيال المالي حيث تتوفر فقط مجموعة صغيرة من المعاملات الاحتيالية المؤكدة للتصنيف.
  • الصيانة التنبؤية: استخدام أحداث الفشل المؤكدة لمعايرة درجات الشذوذ على تدفقات المستشعرات.
  • المراقبة الطبية: توجيه تسجيل الشذوذ بحالات مرضية مؤكدة من السجلات الصحية الإلكترونية.
  • مراقبة الجودة في التصنيع حيث تم التحقق بشكل مستقل من مجموعة فرعية فقط من الوحدات المعيبة.

كيف يعمل

كيف يعمل

1

تُقسم البيانات المتاحة إلى مجموعة فرعية مُصنفة صغيرة - تحتوي على حالات شاذة مؤكدة، أو حالات طبيعية مؤكدة، أو كليهما - ومجموعة كبيرة غير مُصنفة. المجموعة الفرعية المُصنفة صغيرة بحكم التصميم؛ غالبًا ما يكون الحصول على تصنيفات كاملة مكلفًا أو غير عملي، وهذا هو السيناريو الذي تستهدفه هذه الطريقة بالضبط.

2

تُنمّى مجموعة من أشجار العزل على عينات فرعية عشوائية من مجموعة البيانات الكاملة (المُصنفة وغير المُصنفة)، باتباع إجراء iForest القياسي: عند كل عقدة داخلية، تُختار ميزة عشوائية وقيمة انقسام عشوائية ضمن نطاق تلك الميزة لتقسيم البيانات بشكل متكرر حتى تُعزل كل نقطة.

3

يحصل كل ملاحظة على درجة شذوذ مشتقة من متوسط طول المسار عبر جميع الأشجار. المسارات المتوسطة الأقصر - مما يعني سهولة العزل - تُنتج درجات شذوذ أعلى. الدرجة المُقيسة s(x, n) تُعيّن إلى (0, 1]، مع قيم قريبة من 1 تشير إلى مرشحين أقوياء للشذوذ.

الصيغة
s(x, n) = 2^{-E[h(x)] / c(n)}
4

تُستخدم الأمثلة المُصنفة لتعديل النموذج: اعتمادًا على المتغير، قد يتضمن ذلك إعادة ترجيح الأشجار أو الانقسامات التي تفصل بشكل صحيح الحالات الشاذة المعروفة عن الحالات الطبيعية، أو إضافة حد خسارة مُشرف عليه إلى تجميع الدرجات، أو استخدام المجموعة المُصنفة لتعلم حد قرار فوق الدرجات غير المُشرف عليها. هذه الخطوة هي الفرق المحدد عن iForest القياسي.

5

يُطبق حد على درجات الشذوذ المُعدلة لإنتاج قرارات ثنائية للشذوذ / الطبيعي. تُمكّن المجموعة الفرعية المُصنفة من اختيار الحد المستند إلى البيانات - على سبيل المثال، اختيار القطع الذي يزيد من F1 على الأمثلة المُصنفة - بدلاً من الاعتماد على نسبة مئوية اعتباطية.

الأخطاء الشائعة

  • استخدام تصنيفات الحالات الشاذة فقط وتجاهل التصنيفات الطبيعية عندما يكون كلاهما متاحًا - يمكن أن يؤدي دمج الحالات الطبيعية المؤكدة إلى زيادة حد القرار حدة.
  • التقييم على مجموعة اختبار تتضمن أمثلة التدريب المُصنفة، مما يؤدي إلى تضخيم مقاييس الأداء.
  • اختيار حد درجة الشذوذ بنسبة مئوية ثابتة بدلاً من استخدام المجموعة المُصنفة للمعايرة.
  • افتراض أن الطريقة قوية عندما تغطي الحالات الشاذة المُصنفة نوعًا واحدًا فقط بينما تحتوي المجموعة غير المُصنفة على أنماط شذوذ متنوعة.
  • إهمال المعالجة المسبقة للميزات عالية الأبعاد أو المختلطة قبل التناسب، مما قد يحرف اختيار الانقسام العشوائي.

الأسئلة الشائعة

ما هو عدد الحالات الشاذة المُصنفة التي أحتاجها؟

حتى عدد قليل - أحيانًا ما يصل إلى 10-50 حالة شاذة مؤكدة - يمكن أن يوفر معايرة ذات معنى. الشرط الأساسي هو أنها تمثل أنواع الشذوذ الموجودة في المجموعة غير المُصنفة. تغطية التصنيف الأكثر تنوعًا عبر الأنواع الفرعية للشذوذ تنتج عمومًا مكاسب أكبر.

ما الفرق بينها وبين الغابة العازلة القياسية؟

الغابة العازلة القياسية غير مُشرف عليها بالكامل وتسجل الحالات الشاذة فقط عن طريق طول المسار دون أي تغذية راجعة من المجال. الغابة العازلة شبه المُشرف عليها تدمج مجموعة مُصنفة صغيرة لتعديل الدرجات أو ترجيحات الأشجار، وتوجيه النموذج نحو أنماط الشذوذ ذات الصلة فعليًا في مجالك وتمكين معايرة الحد المبدئية.

هل يمكنني تضمين أمثلة طبيعية مُصنفة بالإضافة إلى الحالات الشاذة؟

نعم، وهو مفيد بشكل عام. تساعد الحالات الطبيعية المُصنفة النموذج على تمييز الحالات الحدودية بشكل أكثر حدة. تعالج بعض المتغيرات المجموعة المُصنفة كمرجع متوازن لمعايرة دالة التسجيل، لذا فإن تضمين كلا الفئتين عند توفرهما يحسن حد القرار.

هل يجب علي استخدام التحقق المتقاطع لتقييم النموذج؟

نعم، ولكن بحذر. يجب استبعاد المجموعة الفرعية المُصنفة من مجموعة الاختبار أو تقسيمها بشكل صحيح لتجنب تسرب البيانات. يعد التقسيم الطبقي للتدريب/الاختبار على الجزء المُصنف، جنبًا إلى جنب مع مجموعة البيانات غير المُصنفة الكاملة للتدريب، هو إعداد التقييم القياسي.

ماذا لو لم تكن الحالات الشاذة المُصنفة لدي ممثلة؟

يمكن أن يؤدي التعديل الموجه بالتصنيف إلى نتائج عكسية إذا غطت الحالات الشاذة المُصنفة شريحة ضيقة فقط من توزيع الشذوذ الحقيقي. في هذه الحالة، قد يفوّت النموذج أنواعًا شاذة جديدة لم يتم عرضه عليها أبدًا. يُنصح بتكملة الكشف شبه المُشرف عليه بتسجيل الشذوذ غير المُشرف عليه ومراقبة الانجراف التوزيعي في الإنتاج.

طرق ذات صلة

المصادر

  1. Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.

    افتح مرجع المنشور
    تم النسخ.
  2. Isolation Forest. Wikipedia.

    افتح مرجع المنشور
    تم النسخ.