عملية غاوس النشطة
- قدّمه
- MacKay, D. J. C.
- السنة
- 1992
- النوع
- Bayesian active learning
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تجمع عملية غاوس النشطة (GP-AL) بين نموذج احتمالي لعملية غاوس واستراتيجية استعلام التعلم النشط، باستخدام عدم اليقين اللاحق لعملية غاوس لاختيار الأمثلة غير المسماة الأكثر إفادة للتسمية. يقلل هذا النهج التكراري من جهد التسمية مع زيادة دقة التنبؤ إلى أقصى حد، مما يجعله مثاليًا عندما تكون البيانات المسماة نادرة أو باهظة الثمن للحصول عليها.
الفكرة الحدسية وراء الطريقة
لا تتنبأ عملية غاوس بالقيمة فحسب، بل تتنبأ أيضًا بمدى ثقتها. يستغل التعلم النشط هذا: بدلاً من تسمية البيانات بشكل عشوائي، يفحص الخوارزمية جميع النقاط غير المسماة ويطلب من الإنسان (أو المصدر الموثوق) تسمية النقطة التي تكون فيها عملية غاوس الأكثر عدم يقينًا. بعد التسمية، تقوم عملية غاوس بتحديث معتقداتها وتتكرر الدورة. يكتسب هذا النهج المستهدف تسميات مفيدة بكفاءة أكبر بكثير من العينات العشوائية أو السلبية، وغالبًا ما يحقق أداءً قويًا للنموذج بجزء صغير من البيانات المسماة.
التاريخ
تمت صياغة فكرة استخدام معايير المعلومات النظرية لاختيار نقاط التدريب لنموذج احتمالي بواسطة MacKay (1992)، الذي أظهر أن زيادة كسب المعلومات من مصدر موثوق يعادل اختيار نقاط ذات تباين عالٍ ضمن نموذج بايزي. أصبحت عمليات غاوس مناسبة بشكل طبيعي لأنها تنتج توزيعات احتمالية لاحقة دقيقة. نضج المجال خلال العقد الأول من القرن الحادي والعشرين من خلال عمل Lawrence و Settles (2012)، ومجتمع التحسين البايزي، الذي يعيد استخدام نفس إطار عمل عملية غاوس بالإضافة إلى دالة الاكتساب للبحث عن المعلمات الفائقة.
متى تُستخدم
استخدم GP-AL عندما تكون البيانات المسماة نادرة أو باهظة الثمن للحصول عليها - في التجارب العلمية، أو الدراسات الطبية، أو الاختبارات الصناعية - وعندما تحتاج إلى تقديرات عدم يقين معايرة جنبًا إلى جنب مع التنبؤات. تتفوق في مساحات المدخلات المستمرة ذات الأبعاد المنخفضة إلى المتوسطة مع دوال سلسة أو غير خطية بشكل معتدل، وفي الإعدادات ذات مجموعات البيانات الصغيرة إلى المتوسطة (حتى بضعة آلاف من النقاط). لا تستخدمها عندما تكون مساحة المدخلات ذات أبعاد عالية جدًا (نوى عملية غاوس تتوسع بشكل سيء)، أو عندما تكون مجموعة البيانات كبيرة بالفعل (استدلال عملية غاوس هو O(n^3))، أو عندما تكون تكلفة تسمية المصدر الموثوق لا تذكر ويكفي أخذ العينات العشوائية.
الحدود والاعتبارات
- التعقيد الحسابي المكعب O(n^3) في عدد النقاط المسماة يجعل التوسع إلى آلاف الملاحظات مكلفًا بدون تقريبات النقاط المتفرقة أو المحفزة.
- يتدهور الأداء في مساحات المدخلات عالية الأبعاد لأن نوى عملية غاوس تكافح لالتقاط البنية بكفاءة.
- يفترض أن المصدر الموثوق متاح دائمًا ويمكنه تسمية أي نقطة مستعلم عنها دون خطأ أو تأخير.
- اختيار النواة ليس أمرًا بسيطًا؛ يمكن أن يؤدي سوء تحديد النواة إلى عدم يقين غير معاير واستعلامات غير مثالية.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- قياس عدم اليقين المبدئي: الاحتمال اللاحق لعملية غاوس يوجه استراتيجية الاستعلام مباشرة دون استخدام طرق تقريبية.
- كفاءة تسمية دراماتيكية - تحقق دقة مماثلة للنماذج المدربة بشكل سلبي مع عدد أقل بكثير من الأمثلة المسماة.
- اختيار النواة المرن يسمح للممارسين بتشفير المعرفة بالمجال حول سلاسة الدالة.
- يوفر فترات ثقة معايرة جنبًا إلى جنب مع التنبؤات، ويدعم اتخاذ القرارات اللاحقة.
- يتعامل مع مجموعات البيانات الصغيرة إلى المتوسطة بشكل جيد، حيث تميل أساليب التعلم العميق إلى الأداء بشكل ضعيف.
- حلقة التعلم النشط قابلة للتفسير: يتم تبرير كل استعلام بدرجة عدم يقين قابلة للقياس.
التطبيقات
- اكتشاف الأدوية وعلوم المواد، حيث تكون كل تجربة مكلفة وسطح المدخلات والمخرجات غير معروف.
- تعليق الصور الطبية، واختيار المسح الأكثر غموضًا لمراجعة أخصائي الأشعة.
- الروبوتات والأنظمة المستقلة لتعلم سياسات التحكم بكفاءة من ردود فعل المستشعرات المتفرقة.
- المراقبة البيئية، توجيه المستشعرات إلى المواقع ذات عدم اليقين المكاني الأقصى.
- تحسين المعلمات الفائقة (التحسين البايزي)، حيث تقوم عملية غاوس بنمذجة سطح الخسارة ويختار الاستعلام النشط التكوين التالي للتقييم.
كيف يعمل
كيف يعمل
ابدأ بمجموعة بيانات مسماة أولية صغيرة وحدد نواة عملية غاوس (مثل، الأسية المربعة، ماتيرن) ونموذج الضوضاء. تشفر النواة الافتراضات المسبقة حول سلاسة وطول مقياس الدالة التي يتم تعلمها.
قم بتكييف عملية غاوس مع المجموعة المسماة الحالية. تُرجع عملية غاوس توزيعًا تنبؤيًا لاحقًا عبر مساحة المخرجات - متوسط تنبؤ وتباين (عدم يقين) لكل نقطة، بما في ذلك جميع المرشحين غير المسماة.
الصيغة
p(f^* | X, y, x^*) = \mathcal{N}(\mu^*, \sigma^{*2})طبق دالة اكتساب - الأكثر شيوعًا هو الحد الأقصى لتباين التنبؤ، ولكن أيضًا الإنتروبيا أو التحسين المتوقع - لترتيب النقاط غير المسماة. يتم اختيار النقطة ذات أعلى درجة للتسمية لأنها تحمل أكبر قدر من المعلومات لتقليل عدم يقين النموذج.
الصيغة
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)قدم النقطة المحددة إلى مصدر موثوق (مُعلِّق بشري، تجربة، أو مستشعر آلي) للتسمية. يتم الحصول على التسمية الحقيقية وإلحاقها بمجموعة البيانات المسماة المتنامية.
قم بإعادة تكييف عملية غاوس مع تضمين النقطة المسماة حديثًا. نظرًا لأن عمليات غاوس تدعم تحديثات بايزية دقيقة، فإن الاحتمال اللاحق يتحول ليعكس الملاحظة الجديدة، مما يقلل عدم اليقين بالقرب من تلك النقطة ويحتمل أن يعيد تشكيله في مكان آخر.
كرر دورة الاكتساب-الاستعلام-التحديث حتى يتم استيفاء الميزانية (عدد التسميات، وقت الحوسبة، أو حد دقة مستهدف). عند الإنهاء، تُستخدم عملية غاوس النهائية للتنبؤ بالبيانات الاختبارية الجديدة.
الأخطاء الشائعة
- استخدام نواة RBF الافتراضية دون التحقق مما إذا كانت الدالة سلسة بالفعل - افتراضات السلاسة غير الصحيحة تشوه تقديرات عدم اليقين واختيار الاستعلام.
- تجاهل استراتيجية التهيئة: مجموعة بيانات مسماة أولية سيئة (على سبيل المثال، كلها من منطقة ضيقة) تحيز النموذج وتؤخر الاستكشاف.
- نسيان تطبيع المدخلات والمخرجات؛ عمليات غاوس حساسة للمقياس، ويمكن أن تسبب البيانات غير المطبعة عدم استقرار عددي في مصفوفة التغاير.
- معاملة درجة الاكتساب كمقياس مطلق للأهمية بدلاً من ترتيب نسبي داخل مجموعة النقاط غير المسماة الحالية.
- تطبيق GP-AL على مجموعات بيانات تحتوي على آلاف الأمثلة دون تقريب عملية غاوس متفرقة، مما يؤدي إلى أوقات تشغيل باهظة.
الأسئلة الشائعة
كيف تختلف GP-AL عن انحدار عملية غاوس القياسي؟
انحدار عملية غاوس القياسي يقوم بتكييف البيانات المسماة المقدمة بشكل سلبي. تضيف GP-AL حلقة خارجية تختار بنشاط أي نقاط غير مسماة سيتم تسميتها بعد ذلك، مسترشدة بعدم يقين عملية غاوس، بحيث يتعلم النموذج المزيد لكل تسمية مكتسبة.
ما هي دالة الاكتساب التي يجب أن أستخدمها؟
الحد الأقصى لتباين التنبؤ هو أبسط وأكثر الخيارات شيوعًا ويعمل بشكل جيد للاستكشاف البحت. يمكن أن تكون معايير التحسين المتوقع أو المستندة إلى الإنتروبيا مفضلة عند وجود قيمة مستهدفة محددة أو حدود تصنيف لتحديدها.
كم عدد النقاط المسماة الأولية التي أحتاجها للبدء؟
حفنة - غالبًا من 5 إلى 20 - تم اختيارها لتغطية مساحة المدخلات (على سبيل المثال، عبر تصميم مكعب لاتيني أو تصميم يملأ المساحة) كافية لتهيئة عملية غاوس وإنتاج تقديرات عدم يقين ذات مغزى لجولة الاستعلام الأولى.
هل تعمل الطريقة لمهام التصنيف؟
نعم، باستخدام تصنيف عملية غاوس (مع دالة ربط احتمالية أو لوجستية). يتطلب قياس عدم اليقين استدلالًا تقريبيًا (على سبيل المثال، تقريب لابلاس أو توقع الاحتمالات)، مما يجعله أكثر تعقيدًا قليلاً من حالة الانحدار.
متى يجب أن أفضل الغابات العشوائية أو الشبكات العصبية على GP-AL؟
عندما تكون مجموعة البيانات كبيرة (آلاف الأمثلة المسماة أو أكثر) أو عالية الأبعاد (العديد من ميزات المدخلات)، لأن تكلفة عملية غاوس وتعبيرية النواة تصبح محدودة. يمكن أن تعمل الشبكات العصبية مع تسرب مونت كارلو كبدائل قابلة للتطوير للتعلم النشط في تلك الأنظمة.
طرق ذات صلة
المصادر
MacKay, D. J. C. (1992). Information-based objective functions for active data selection. Neural Computation, 4(4), 590–604.
افتح مرجع DOIتم النسخ.Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool.
افتح مرجع المنشورتم النسخ.