عزل الغابة النشط للتعلم
- قدّمه
- Das, S. et al. (active anomaly discovery framework); Liu, F. T. et al. (Isolation Forest base)
- السنة
- 2008–2019
- النوع
- Active learning wrapper over isolation forest anomaly detector
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يجمع عزل الغابة النشط للتعلم بين قوة تسجيل الشذوذ غير الخاضع للإشراف لعزل الغابة واستراتيجية استعلام تكرارية تطلب من خبير بشري تسمية الحالات الأكثر إفادة. والنتيجة هي كاشف يقوم بتحسين حدود الشذوذ الخاصة به باستخدام ميزانية تسمية دنيا، مما يحسن بشكل كبير الدقة على الشذوذ النادر والدقيق مقارنة بخط أساس غير خاضع للإشراف بالكامل.
الفكرة الحدسية وراء الطريقة
تقوم عزل الغابة بتسجيل الشذوذ بناءً على مدى سرعة عزلها في الأشجار العشوائية، ولكنها لا تستطيع التمييز بين الشذوذ الخطير حقًا والحالات الشاذة غير الضارة دون معرفة بالمجال. يضيف التعلم النشط إنسانًا في الحلقة: بعد أن تقوم الغابة بتسجيل جميع الحالات، فإنها تحدد الحالات الأكثر غموضًا أو الأعلى درجة وتطلب من خبير تأكيد أو رفض كل تسمية شذوذ. مع كل تسمية مؤكدة، يمكن للنموذج إعادة ترجيح أو إعادة ترتيب الدرجات المستقبلية. على مدار عدة جولات تغذية راجعة، حتى عدد صغير من الأمثلة المسماة يوجه الكاشف بعيدًا عن الإنذارات الكاذبة ونحو الشذوذ الحقيقي محل الاهتمام.
التاريخ
تم تقديم عزل الغابة بواسطة Liu و Ting و Zhou في ICDM 2008 ككاشف شذوذ سريع وقابل للتوسع وخفيف الافتراضات يعزل الشذوذ بدلاً من نمذجة السلوك الطبيعي. تم تطبيق التعلم النشط على اكتشاف الشذوذ بشكل منهجي من منتصف العقد الأول من القرن الحادي والعشرين فصاعدًا. قام Das وزملاؤه (ICDM 2019) بتشكيل إطار عمل لاكتشاف الشذوذ النشط يجمع صراحة بين مصنفي المجموعات - بما في ذلك عزل الغابة - مع تغذية راجعة خبير متكررة، مما يدل على أن عددًا قليلاً من التسميات يمكن أن ينافس المصنفات الخاضعة للإشراف بالكامل المدربة على مئات الأمثلة. تم تطبيق النهج منذ ذلك الحين في الاحتيال، واكتشاف التسلل، وتحليلات المستشعرات.
متى تُستخدم
استخدم عزل الغابة النشط للتعلم عندما تواجه مهمة اكتشاف الشذوذ على بيانات جدولية غير مسماة أو شبه غير مسماة ويمكنك تحمل عدد قليل من تسميات الخبراء - عادةً 10-100 استعلام عبر عدة جولات. وهي مناسبة بشكل خاص للأمن السيبراني، واكتشاف الاحتيال، والصيانة التنبؤية، وتحديد الحالات الشاذة السريرية، حيث تكون الإيجابيات الكاذبة مكلفة ويمكن لخبير المجال الحكم بشكل موثوق على حالة معروضة. لا تستخدمه عندما لا يتوفر أوراكل موثوق به، أو عندما يكون مفهوم الشذوذ غير مستقر عبر الزمن، أو عندما تكون تكلفة التسمية لكل حالة مرتفعة جدًا بحيث حتى 10 استعلامات غير عملية. يجب تفضيل مصنف خاضع للإشراف بالكامل بمجرد وجود مجموعة بيانات مسماة تضم مئات الشذوذ.
الحدود والاعتبارات
- يتطلب أوراكل موثوقًا ومتاحًا؛ إذا كانت تسميات الخبراء صاخبة أو غير متسقة، يمكن للتغذية الراجعة أن تدهور النموذج.
- تفترض استراتيجيات الاستعلام أن تسجيل المجمع بالكامل في كل جولة ممكن، وهو ما يمكن أن يكون مكلفًا لمجموعات البيانات الكبيرة جدًا.
- النهج أصعب في إعادة الإنتاج والتدقيق من عزل الغابة البسيط لأن النموذج النهائي يعتمد على الاستعلامات المحددة التي تم اختيارها والتسميات المقدمة.
- الانجراف المفاهيمي - عندما يتغير طبيعة الشذوذ بمرور الوقت - لا تتم معالجته تلقائيًا وقد يتطلب إعادة تهيئة حلقة النشاط.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يستفيد من قابلية التوسع وقابلية التفسير لعزل الغابة مع حقن معرفة الخبراء بأقل جهد تسمية.
- يحسن بشكل كبير الدقة مقارنة بخط أساس غير خاضع للإشراف بالكامل، مما يقلل من الإيجابيات الكاذبة المكلفة في المجالات عالية المخاطر.
- يمكن تكييف استراتيجيات الاستعلام المستقلة عن النموذج (عدم اليقين، أعلى k، التنوع) مع أي مصنف شذوذ، وليس فقط عزل الغابة.
- يعمل بشكل جيد في الإعدادات غير المتوازنة للفئات حيث تكون الشذوذ نادرة للغاية ويتطلب التعلم الخاضع للإشراف مجموعات بيانات مسماة كبيرة.
- توفر كل جولة استعلام تحسينًا فوريًا وقابلًا للقياس في ترتيب الشذوذ، مما يجعل التقدم شفافًا لأصحاب المصلحة.
التطبيقات
- فرز تنبيهات اختراق الشبكة والأمن السيبراني، حيث يقوم المحللون بتسمية مجموعة صغيرة من الاتصالات المشبوهة لكل وردية.
- اكتشاف الاحتيال في بطاقات الائتمان مع مراجعة دورية للمحللين للمعاملات المميزة.
- الصيانة التنبؤية في التصنيع، وتحديد أعطال الآلات النادرة من تدفقات المستشعرات مع سجلات فشل محدودة.
- تحديد الحالات الشاذة السريرية في السجلات الصحية الإلكترونية حيث يؤكد الأطباء الملفات الشخصية غير العادية للمرضى.
- مراقبة جودة البيانات العلمية، وتمييز أخطاء الأجهزة في مجموعات البيانات التجريبية التي يراجعها العلماء المتخصصون.
كيف يعمل
كيف يعمل
يتم تدريب عزل الغابة أولاً على جميع البيانات غير المسماة المتاحة. تتلقى كل حالة درجة شذوذ بناءً على مدى سرعة التقسيم العشوائي المتكرر لعزلها: الحالات في المناطق المتفرقة سهلة العزل تتلقى درجات عالية. هذه المرور غير الخاضع للإشراف يغذي حلقة التعلم النشط بترتيب أولي ذي معنى.
يتم ترتيب جميع حالات المجمع غير المسماة حسب درجات الشذوذ الخاصة بها. تحدد استراتيجية الاستعلام - مثل اختيار أعلى k حالة ذات أعلى درجة، أو تلك التي تقع درجاتها في منطقة حدود غير مؤكدة - الحالات التي ستكون فيها تسمية الأوراكل الأكثر إفادة.
يتم تقديم الحالات المحددة إلى خبير مجال (أو أوراكل محاكى في التجارب) الذي يسمي كل حالة على أنها شذوذ أو طبيعية. هناك حاجة إلى عدد قليل فقط من الاستعلامات لكل جولة، مما يجعل النهج عمليًا عندما تكون التسمية مكلفة أو تتطلب حكمًا خبيرًا.
يتم دمج الحالات المسماة الجديدة في النموذج. يمكن أن يعني هذا إعادة ترجيح أعضاء المجموعة التي تتفق مساراتها مع الشذوذ المؤكد، أو ضبط عتبات طول المسار، أو إعادة التدريب مع إضافة المجموعة المسماة كقيود إشرافية. يتم إعادة حساب ترتيب الدرجات للمجمع المتبقي.
تتكرر دورة الاستعلام-التسمية-التحديث لعدد ثابت من الجولات أو حتى يتم استنفاد ميزانية التسمية. يعكس الكاشف النهائي كلاً من الهيكل الواسع الذي تلتقطه الغابة الأصلية غير الخاضعة للإشراف ومعرفة الخبير المشفرة من خلال التغذية الراجعة المسماة، مما ينتج عنه مصنف شذوذ عالي الدقة مصمم خصيصًا للمجال.
الأخطاء الشائعة
- الاستعلام عن الحالات ذات أعلى درجات الشذوذ حصريًا يمكن أن يخلق تحيزًا تأكيديًا، مما يتسبب في أن يفقد النموذج أنواع الشذوذ الجديدة التي تبدو طبيعية في البداية.
- الإبلاغ عن الأداء فقط على الحالات المستعلم عنها بدلاً من مجموعة اختبار منفصلة، مما يضخم تقديرات الدقة.
- معاملة تسميات الأوراكل كحقيقة أساسية دون حساب عدم الاتفاق بين المقيمين، خاصة في السياقات الطبية أو الأمنية.
- نسيان إعادة تقييم الغابة غير الخاضعة للإشراف بالكامل بعد التغذية الراجعة؛ يمكن للدرجات القديمة أن تجعل جولات الاستعلام اللاحقة غير فعالة.
الأسئلة الشائعة
ما هو عدد الحالات المسماة المطلوبة عادةً لتحسين ذي مغزى؟
تشير الأبحاث إلى أن 10 إلى 50 تسمية خبير، موزعة على 3 إلى 5 جولات تغذية راجعة، غالبًا ما تكون كافية للتفوق بشكل كبير على عزل الغابة غير الخاضع للإشراف بالكامل في الدقة، بشرط أن تكون تسميات الأوراكل موثوقة.
هل تحتاج عزل الغابة الأساسية إلى إعادة تدريب من الصفر بعد كل جولة؟
ليس بالضرورة. العديد من التطبيقات تعيد ترجيح أو تعيد ترتيب مسارات الأشجار الحالية دون إعادة تدريب كاملة، وهو أمر فعال من حيث الحوسبة. إعادة التدريب الكامل مع قيود التسمية هو خيار عندما تصبح المجموعة المسماة كبيرة بما يكفي لتبريرها.
ما هي استراتيجية الاستعلام الأفضل لاكتشاف الشذوذ؟
تسجيل أعلى k (اختيار الحالات غير المسماة ذات أعلى درجة) بسيط وفعال عندما تكون الشذوذ نادرة. تساعد استراتيجيات عدم اليقين أو الهامش عندما يكون حد الشذوذ غامضًا. تقلل استراتيجيات الوعي بالتنوع من التكرار بين الاستعلامات.
هل يمكن لهذا النهج التعامل مع البيانات المتدفقة أو عبر الإنترنت؟
عزل الغابة القياسي هو طريقة دفعية، لذا تميل امتدادات التعلم النشط أيضًا إلى أن تكون دفعية. بالنسبة لإعدادات التدفق، هناك حاجة إلى متغيرات عبر الإنترنت أو نوافذ منزلقة لعزل الغابة قبل تطبيق التغذية الراجعة النشطة.
كيف أقوم بتقييم النموذج بشكل عادل نظرًا لأنه تم تسمية عدد قليل فقط من الحالات؟
احتفظ بمجموعة اختبار مسماة منفصلة لا يتم استخدامها أبدًا للاستعلام. قم بتقييم الدقة، والاستدعاء، و AUCROC على هذه المجموعة في كل جولة لتتبع التحسين الحقيقي بدلاً من الإفراط في التكيف مع التسميات المستعلم عنها.
طرق ذات صلة
المصادر
Das, S., Wong, W. K., Fern, A., Dietterich, T. G., & Amran Siddiqui, M. (2019). Incorporating Expert Feedback into Active Anomaly Discovery. In Proceedings of the 2019 IEEE International Conference on Data Mining (ICDM), pp. 1009–1014.
افتح مرجع المنشورتم النسخ.Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). Isolation Forest. In Proceedings of the 8th IEEE International Conference on Data Mining (ICDM), pp. 413–422.
افتح مرجع DOIتم النسخ.