الانتقال إلى المحتوى
العودة إلى نتائج البحث

نموذج الخليط الغاوسي للتعلم النشط

قدّمه
Settles, B. (active learning framework); Dempster, Laird & Rubin (GMM via EM, 1977)
السنة
2000s (combination)
النوع
Active learning for probabilistic clustering / density estimation
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يجمع نموذج الخليط الغاوسي للتعلم النشط بين استراتيجية استعلام تكرارية ونموذج خليط غاوسي. يختار الخوارزمية النقاط غير المسماة الأكثر إفادة - عادةً تلك التي تتمتع بأعلى عدم يقين تنبؤي - ويعرضها على خبير للتسمية، ويعيد ضبط نموذج الخليط الغاوسي باستخدام خوارزمية EM على المجموعة المتنامية من البيانات المسماة. النتيجة هي نموذج كثافة يطابق جودة البيانات الكاملة مع الحاجة إلى عدد أقل بكثير من الأمثلة المسماة.

الفكرة الحدسية وراء الطريقة

تسمية البيانات مكلفة. يعمل نموذج الخليط الغاوسي العادي المدرب على جميع البيانات بشكل جيد ولكنه يتطلب العديد من الأمثلة المسماة. يحل التعلم النشط هذه المشكلة من خلال السؤال: أي نقطة غير مسماة، إذا تم تسميتها الآن، ستقلل من عدم اليقين لدي بشأن مكونات الخليط؟ النقاط القريبة من حدود القرار بين المكونات أو في المناطق ذات العينات المتفرقة هي الأكثر إفادة. من خلال الاستعلام عن تلك النقاط ذات القيمة العالية فقط وإعادة ضبط نموذج الخليط الغاوسي بعد وصول كل تسمية، يصل النموذج إلى أداء جيد بجزء صغير من ميزانية التسمية. هذا يجعله جذابًا لمهام مثل التصوير الطبي أو اكتشاف الأحداث النادرة حيث يكون التعليق الخبير مكلفًا.

التاريخ

تمت صياغة نماذج الخليط الغاوسي عبر خوارزمية التوقع-التعظيم (EM) بواسطة ديمبستر وليرد وروبين في عام 1977. تم توضيح إطار عمل التعلم النشط بشكل منهجي بواسطة سيتلز في العقد الأول من القرن الحادي والعشرين، وبلغ ذروته في محاضرة التوليف لعام 2012 التي تم الاستشهاد بها على نطاق واسع. ظهر الجمع بين الاستعلام النشط ونماذج الخليط الغاوسي في أدبيات التعلم الآلي في العقدين الأول والثاني من القرن الحادي والعشرين، مدفوعًا بتطبيقات تقدير الكثافة والتجميع شبه الخاضع للإشراف حيث تكون ميزانيات التعليق محدودة.

متى تُستخدم

استخدم نموذج الخليط الغاوسي للتعلم النشط عندما يكون لديك بيانات مستمرة غير مسماة وفيرة ولكن التسمية مكلفة أو بطيئة، وتريد نموذج كثافة احتمالي أو نموذج تجميع. يناسب المهام ذات العضوية الناعمة للمجموعات، والفئات المتداخلة، والحاجة إلى قياس عدم اليقين - مثل اكتشاف الشذوذ، أو التشخيص الطبي، أو التصنيف العلمي. لا تستخدمه عندما تكون التسميات وفيرة ورخيصة بالفعل، وعندما يكون عدد المكونات K غير مؤكد للغاية ولا يمكن التحقق منه خارجيًا، وعندما تكون البيانات عالية الأبعاد بدون تقليل الأبعاد (تقدير تغاير نموذج الخليط الغاوسي يتدهور)، أو عندما تكون حاجتك الأساسية هي التمييز بدلاً من تقدير الكثافة.

الحدود والاعتبارات

  • يتطلب اختيار عدد المكونات K معرفة بالمجال أو معايير اختيار النموذج مثل BIC/AIC.
  • يتدهور تقدير تغاير نموذج الخليط الغاوسي في مساحات الميزات عالية الأبعاد بدون تقليل الأبعاد المسبق.
  • تتضاءل مكاسب التعلم النشط إذا كانت بذرة البيانات المسماة الأولية صغيرة جدًا لإنشاء نموذج ذي معنى.
  • ينشئ الاستعلام المتسلسل حلقة تغذية راجعة يمكن أن تحيز مجموعة البيانات المسماة إذا كان النموذج الأولي خاطئًا بشكل كبير.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يقلل بشكل كبير من تكلفة التسمية عن طريق استهداف الأمثلة الأكثر غموضًا فقط.
  • يوفر تعيينات مجموعات احتمالية ناعمة ونموذج كثافة كامل، وليس مجرد تسميات صلبة.
  • تقديرات عدم اليقين من الاحتمال اللاحق لنموذج الخليط الغاوسي تعمل مباشرة كمعيار للاستعلام، مما يحافظ على اتساق خط الأنابيب.
  • البدء الدافئ لخوارزمية EM يجعل إعادة التدريب لكل جولة سريعة حتى لمجموعات البيانات الكبيرة المعتدلة.
  • يعمل بشكل جيد مع البيانات المستمرة متوسطة الأبعاد ويتعامل بشكل طبيعي مع المجموعات المتداخلة.

التطبيقات

  • تجزئة الصور الطبية حيث يكون التعليق الخبير لمناطق الأنسجة مكلفًا.
  • اكتشاف الأحداث النادرة في تدفقات المستشعرات باستخدام التسمية الموجهة بالشك.
  • تجميع البيانات العلمية (مثل، شكل المجرة، عائلات البروتينات) مع تسميات محدودة للحقيقة الأساسية.
  • تسجيل الشذوذ في مراقبة جودة التصنيع مع ردود فعل خبير متكررة.
  • نمذجة الكلام والصوت حيث يكون التعليق على مستوى الصوت المكاني مستهلكًا للوقت.

كيف يعمل

كيف يعمل

1

يتم تدريب نموذج خليط غاوسي أولي بعدد مختار من المكونات K على البيانات المسماة المتاحة، أو يتم تهيئته من مجموعة بذرة عشوائية صغيرة. تنتج خوارزمية EM أوزان الخليط، ومتوسطات المكونات، ومصفوفات التغاير التي تحدد تقدير الكثافة الأولي.

2

لكل نقطة غير مسماة، تحسب الخوارزمية درجة إفادة - عادةً إنتروبيا التنبؤ H(y|x,theta) عبر المكونات K، أو الهامش بين أعلى مكونين احتماليين. يتم اختيار النقطة ذات الدرجة الأعلى كاستعلام تالٍ.

الصيغة
x^* = \arg\max_{x \in U}\, H(y \mid x, \theta)
3

يتم تقديم النقطة المختارة إلى خبير بشري أو خبير آلي يقدم تسمية مجموعة أو فئة. تتم إضافة هذه التسمية إلى مجموعة البيانات المسماة، مما يؤدي إلى إزالة النقطة من مجموعة البيانات غير المسماة.

4

يتم إعادة تدريب نموذج الخليط الغاوسي باستخدام خوارزمية EM على مجموعة البيانات المسماة المحدثة. نظرًا لأنه يتم إضافة نقطة واحدة أو دفعة صغيرة من النقاط فقط في كل جولة، فإن البدء الدافئ من المعلمات السابقة يحافظ على كفاءة إعادة التدريب.

5

يستمر الاستعلام حتى يتم استنفاد ميزانية التعليق، أو تنخفض درجات عدم اليقين إلى ما دون حد معين، أو يتوقف أداء النموذج على البيانات المحجوزة عن التحسن. يُستخدم نموذج الخليط الغاوسي النهائي بعد ذلك لتقدير الكثافة، أو التجميع، أو التصنيف.

الأخطاء الشائعة

  • معاملة مجموعة البيانات المسماة المختارة بنشاط كعينة مستقلة ومتطابقة التوزيع للاستدلال القياسي - إنها عينة متحيزة بحكم التصميم.
  • يؤدي تثبيت K مبكرًا دون التحقق من BIC أو الاحتمالية اللوغاريتمية المتقاطعة إلى مكونات خاطئة.
  • الاستعلام في دفعات كبيرة جدًا لكل جولة، مما يلغي الفائدة التكيفية للاختيار النشط.
  • تجاهل تنظيم التغاير (على سبيل المثال، إضافة حد قطري صغير) في مجموعات البيانات المسماة الصغيرة، مما يتسبب في تحديثات EM منحرفة.
  • تقييم البيانات على مجموعة البيانات المسماة فقط بدلاً من مجموعة بيانات غير مسماة محجوزة، مما يؤدي إلى تضخيم الأداء الظاهري.

الأسئلة الشائعة

كيف أختار عدد مكونات غاوس K؟

قم بتدريب نماذج الخليط الغاوسي مع قيم K مختلفة على البيانات المسماة المتاحة وقارن درجات BIC أو AIC. الاحتمالية اللوغاريتمية المتقاطعة على مجموعة فرعية غير مسماة محجوزة أكثر موثوقية عندما تكون البيانات المسماة نادرة. معرفة المجال بالعدد المتوقع للمجموعات أو الفئات هي الدليل الأكثر موثوقية.

هل يمكنني الاستعلام عن أكثر من نقطة واحدة في الجولة؟

نعم - يختار التعلم النشط في وضع الدُفعات أفضل B نقطة غموضًا في كل جولة. تسمح الدُفعات الأكبر بالتعليق المتوازي ولكنها تقلل من الفائدة التكيفية للتحديث بالاستعلام الفردي. أحجام الدُفعات من 5 إلى 20 شائعة في الممارسة العملية.

ماذا لو كانت بياناتي غير المسماة عالية الأبعاد؟

قم بتطبيق تحليل المكونات الرئيسية (PCA) أو مشفر تلقائي لتقليل الأبعاد قبل تدريب نموذج الخليط الغاوسي. يتدهور تقدير التغاير في نماذج الخليط الغاوسي بسرعة مع زيادة عدد الميزات بالنسبة لعدد الملاحظات المسماة، وتصبح مصفوفات التغاير الكاملة قريبة من الانفرادية.

كيف يختلف هذا عن نموذج الخليط الغاوسي شبه الخاضع للإشراف؟

يستخدم نموذج الخليط الغاوسي شبه الخاضع للإشراف البيانات المسماة وغير المسماة في كل خطوة من خطوات EM، مستفيدًا من هيكل كثافة البيانات غير المسماة. يركز نموذج الخليط الغاوسي للتعلم النشط على أي النقاط غير المسماة يجب تسميتها بعد ذلك، وعادةً ما يحتفظ بها في مجموعة البيانات المسماة فقط. يمكن دمج النهجين: استخدم EM شبه الخاضع للإشراف للتدريب والاستعلام النشط لتحديد ما يجب تسميته.

هل التعلم النشط مع نموذج الخليط الغاوسي مناسب لاكتشاف الشذوذ؟

نعم، ولكن بحذر. يمكن لنموذج الخليط الغاوسي الأولي المدرب على بيانات طبيعية في الغالب أن يشير إلى النقاط ذات الاحتمالية المنخفضة على أنها شذوذ. يسمح الاستعلام النشط لتلك النقاط للخبير بتأكيد أو رفض الشذوذ، مما يحسن تدريجيًا الحد الفاصل بين مناطق الكثافة الطبيعية والشاذة.

طرق ذات صلة

المصادر

  1. Zhu, X., Ghahramani, Z., & Lafferty, J. (2003). Semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the 20th International Conference on Machine Learning (ICML), 912–919.

    افتح مرجع المنشور
    تم النسخ.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool Publishers.

    افتح مرجع DOI
    تم النسخ.