الانتقال إلى المحتوى
العودة إلى نتائج البحث

غابة العزل

قدّمه
Liu, F.T., Ting, K.M. & Zhou, Z.-H.
السنة
2008
النوع
Unsupervised ensemble (random partitioning trees)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

غابة العزل هي طريقة تعلم آلة غير خاضعة للإشراف للكشف عن الشذوذ والنقاط الشاذة، قدمها ليو وتينغ وتشو في عام 2008، والتي تعزل الشذوذ من خلال التقسيم العشوائي للبيانات. إنها تعمل دون أي بيانات شاذة مصنفة وتتوسع لتشمل مجموعات البيانات عالية الأبعاد.

الفكرة الحدسية وراء الطريقة

الفكرة الأساسية بسيطة: الشذوذ قليل ومختلف، لذا يسهل فصله عن بقية البيانات. إذا واصلت تقسيم البيانات بشكل عشوائي، فإن النقطة العادية تقع في منطقة كثيفة وتتطلب العديد من القطع لعزلها، بينما تقع النقطة الشاذة منفصلة ويتم عزلها بعد بضع تقسيمات فقط. عد عدد القطع التي تستغرقها لعزل كل نقطة يحول هذه الحدس إلى درجة شذوذ.

التاريخ

اقترحت غابة العزل من قبل فيي توني ليو، وكاي مينغ تينغ، وزهي هوا تشو في عام 2008 في المؤتمر الدولي IEEE لتعدين البيانات. قدمت فلسفة مختلفة للكشف عن النقاط الشاذة: بدلاً من نمذجة البيانات العادية وقياس الانحراف، فإنها تعزل الشذوذ مباشرة من خلال التقسيم العشوائي، مستغلة أن الشذوذ قليل ومختلف. أصبح النهج أداة قابلة للتطوير ومستخدمة على نطاق واسع للكشف عن الشذوذ غير الخاضع للإشراف على البيانات عالية الأبعاد.

متى تُستخدم

استخدم غابة العزل للكشف عن الشذوذ أو النقاط الشاذة في البيانات المستمرة، وربما عالية الأبعاد، والمقطعية أو السلاسل الزمنية مع حوالي 50 ملاحظة على الأقل، خاصة عندما لا يكون لديك شذوذ مصنف للتعلم منه. إنها لا تحتاج إلى بيانات شاذة مصنفة وتتوسع بشكل جيد مع نمو عدد الميزات؛ أنت توفر معلمة تلوث تعبر عن معدل الشذوذ المتوقع. مع أقل من حوالي 50 ملاحظة، يصبح الحد الفاصل بين النقاط العادية والشاذة غير موثوق به وتكون طرق النقاط الشاذة الإحصائية أو تحليل المكونات الرئيسية (PCA) أكثر أمانًا.

الحدود والاعتبارات

  • في العينات الصغيرة (أقل من حوالي 50) يكون الحد الفاصل بين النقاط العادية والشاذة غير واضح ومعدل الإيجابيات الخاطئة مرتفعًا.
  • بدون شذوذ حقيقي كافٍ، تصبح معلمة التلوث بلا معنى، وتفضل طرق النقاط الشاذة الإحصائية.
  • تعيد درجات الشذوذ بدلاً من المعاملات القابلة للتفسير أو القواعد الصريحة.
  • تعتمد النتائج على قيمة التلوث المختارة، والتي يجب تعيينها من خلال معرفة المجال.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • غير خاضعة للإشراف: لا تتطلب بيانات شاذة مصنفة لتحديد النقاط الشاذة.
  • تتوسع بشكل جيد مع البيانات عالية الأبعاد.
  • تعزل الشذوذ مباشرة بدلاً من نمذجة التوزيع الطبيعي بأكمله، مما يحافظ على كفاءتها.
  • تعبر معلمة تلوث واحدة عن معدل الشذوذ المتوقع وتحدد عتبة التمييز.

التطبيقات

  • الكشف غير الخاضع للإشراف عن النقاط الشاذة والشذوذ في البيانات المستمرة.
  • فحص مجموعات البيانات عالية الأبعاد حيث لا توجد شذوذات مصنفة.
  • تمييز الملاحظات غير العادية في البيانات المقطعية أو السلاسل الزمنية قبل النمذجة.
  • فحوصات جودة البيانات والكشف الاستكشافي للسجلات غير المنتظمة.

كيف يعمل

كيف يعمل

1

تعكس غابة العزل المنطق المعتاد للكشف عن النقاط الشاذة. بدلاً من بناء ملف تعريف للنقاط العادية وتحديد ما ينحرف عنه، فإنها تستغل مباشرة حقيقة أن الشذوذ قليل ومختلف وبالتالي أسرع في العزل. نظرًا لأنها لا تحتاج إلى شذوذ مصنف، فهي غير خاضعة للإشراف بالكامل، وتتوسع بشكل جيد مع البيانات عالية الأبعاد.

2

تبني الطريقة العديد من أشجار التقسيم العشوائي. في كل شجرة، يتم تقسيم البيانات بشكل متكرر عن طريق اختيار ميزة عشوائية وقيمة تقسيم عشوائية، وتقسيم المساحة إلى مناطق أصغر فأصغر حتى تستقر كل نقطة بمفردها. عزل نقطة عادية - مدفونة في منطقة مزدحمة - يتطلب العديد من هذه التقسيمات، بينما يتم فصل الشذوذ المنفرد بعد بضع تقسيمات فقط.

3

يتم حساب متوسط طول مسار كل نقطة - عدد التقسيمات المطلوبة لعزلها - عبر الغابة وتحويله إلى درجة شذوذ: المسارات المتوسطة القصيرة تعني شذوذًا محتملاً، والمسارات الطويلة تعني نقاطًا عادية محتملة. تحدد معلمة التلوث، وهي النسبة المتوقعة للشذوذ، العتبة التي تقرر أي النقاط يتم تمييزها في النهاية على أنها نقاط شاذة.

الصيغة
s(x) = 2^{-\frac{E(h(x))}{c(n)}}

الأخطاء الشائعة

  • تشغيلها على أقل من حوالي 50 ملاحظة والثقة في الشذوذ المحدد.
  • تعيين معلمة التلوث دون وجود شذوذ فعلي كافٍ في البيانات لدعمها.
  • معاملة درجات الشذوذ على أنها احتمالات دقيقة بدلاً من ترتيب نسبي.
  • تجاهل قياس الميزات وتأثير الميزات غير ذات الصلة على التقسيمات العشوائية.

الأسئلة الشائعة

هل أحتاج إلى شذوذات مصنفة لاستخدام غابة العزل؟

لا. إنها طريقة غير خاضعة للإشراف تعزل الشذوذ من خلال التقسيم العشوائي، لذا فهي لا تحتاج إلى بيانات شاذة مصنفة للعمل.

ماذا تفعل معلمة التلوث؟

إنها تعبر عن النسبة المتوقعة للشذوذ في البيانات وتحدد العتبة التي تقرر أي النقاط يتم تمييزها في النهاية على أنها نقاط شاذة. بدون شذوذ حقيقي كافٍ في البيانات، تصبح هذه المعلمة بلا معنى.

لماذا تعاني في العينات الصغيرة؟

مع أقل من حوالي 50 ملاحظة، يكون الحد الفاصل بين النقاط العادية والشاذة غير واضح ومعدل الإيجابيات الخاطئة مرتفعًا. في هذه الحالة، تكون طرق النقاط الشاذة الإحصائية أو تحليل المكونات الرئيسية (PCA) بدائل أكثر أمانًا.

كيف يتم تسجيل الشذوذ؟

يتم تحويل متوسط طول مسار كل نقطة عبر الأشجار العشوائية - عدد التقسيمات التي استغرقتها لعزلها - إلى درجة شذوذ. المسارات المتوسطة القصيرة تشير إلى شذوذات محتملة؛ المسارات الطويلة تشير إلى نقاط عادية محتملة.

طرق ذات صلة

المصادر

  1. Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.

    افتح مرجع DOI
    تم النسخ.