عملية غاوس شبه مُراقَب
- قدّمه
- Lawrence, N. D. & Jordan, M. I.
- السنة
- 2004
- النوع
- Probabilistic model (semi-supervised)
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تُوسّع عملية غاوس شبه مُراقَب (Semi-supervised Gaussian Process) إطار عمل عملية غاوس الاحتمالية (GP) لاستغلال البيانات غير المُعنونة جنبًا إلى جنب مع مجموعة صغيرة من المُلاحظات المُعنونة. من خلال وضع أسبقية عملية غاوس على الدوال واستغلال البنية الهندسية التي تكشفها المُدخلات غير المُعنونة، فإنها تتعلم مُتنبئات أكثر دقة ومعايرة بشكل أفضل من عملية غاوس مُراقَبة بحتة عندما تكون العناوين نادرة، مما يجعلها مناسبة للمشكلات العلمية والطبية حيث يكون التعليق التوضيحي مُكلفًا.
الفكرة الحدسية وراء الطريقة
تُعرّف عملية غاوس القياسية توزيعًا على الدوال السلسة وتُشترط على نقاط التدريب المُعنونة لتشكيل تنبؤات. عندما تكون العناوين نادرة، يكون هذا الاحتمال اللاحق المشروط غير مؤكد للغاية في المناطق المتفرقة من البيانات. تعالج عملية غاوس شبه مُراقَب هذا باستخدام المُدخلات غير المُعنونة أيضًا للكشف عن البنية الأساسية للتشعب أو الكثافة لمساحة المُدخلات. يمكن بعد ذلك تشكيل النواة - التي تُشفر التشابه - بواسطة العديد من النقاط غير المُعنونة، بحيث يتعلم النموذج أين توجد البيانات قبل أن يرى أي عنوان. هذا يقلل بشكل حاد من عدم اليقين اللاحق ويحسن التعميم من أمثلة مُعنونة قليلة.
التاريخ
تم تقديم إطار عمل عملية غاوس شبه مُراقَب رسميًا بواسطة Lawrence و Jordan في NeurIPS 2004، بناءً على عملية غاوس التأسيسية لتعلم الآلة بواسطة Rasmussen و Williams (كتاب 2006، نُسخ أولية تم تداولها من عام 1996). يجمع النهج بين أفكار من تنظيم التشعب، ولابلاسيان الرسم البياني، واللا معلميات البايزية، وأثر في الأعمال اللاحقة حول عمليات غاوس المُتفرقة، وتعلم النواة العميقة، والشبكات العصبية الرسومية ذات المُخرَجات الاحتمالية.
متى تُستخدم
استخدم عملية غاوس شبه مُراقَب عندما تكون البيانات المُعنونة نادرة ولكن البيانات غير المُعنونة وفيرة، وتحتاج إلى تقديرات عدم يقين مُعايرة جنبًا إلى جنب مع التنبؤات، وتكون مساحة المُدخلات ذات بنية هندسية سلسة يمكن أن تُضيئها النقاط غير المُعنونة. تتفوق في المجالات البيولوجية والطبية والعلوم الفيزيائية حيث يكون التعليق التوضيحي مُكلفًا. تجنبها عندما تكون مجموعة البيانات كبيرة (آلاف النقاط المُعنونة)، لأن استدلال عملية غاوس يتوسع بمقدار O(n^3) في عدد النقاط المُعنونة ويصبح مُكلفًا حسابيًا. تجنبها أيضًا عندما يكون بُعد المُدخلات عاليًا جدًا (أكثر من ~50 ميزة) بدون هندسة نواة دقيقة، أو عندما تكون المعاملات القابلة للتفسير بدلاً من التنبؤات الاحتمالية هي المُخرَج الأساسي.
الحدود والاعتبارات
- القياس التكعيبي O(n^3) في عدد النقاط المُعنونة يجعله غير عملي لأكثر من بضعة آلاف من المُلاحظات بدون تقريبات مُتفرقة.
- يلزم استدلال تقريبي (لابلاس، EP) لدوال الاحتمال غير الغاوسية مثل التصنيف، مما يُدخل خطأ تقريبيًا.
- يعتمد الأداء بشكل كبير على اختيار النواة والافتراض بأن النقاط غير المُعنونة تُمثل تشعب البيانات بشكل موثوق.
- يمكن أن يكون تحسين المعلمات الفائقة المُكلف حسابيًا بطيئًا وقد يتقارب إلى مُحسنات محلية ضعيفة في الأبعاد العالية.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تُنتج توزيعات تنبؤ كاملة، مما يوفر عدم يقين مُعايرًا مع كل تنبؤ.
- يمكن للبيانات غير المُعنونة تحسين الدقة بشكل كبير عندما تكون العناوين نادرة، مما يجعل ميزانيات التعليق التوضيحي تذهب أبعد.
- تسمح مرونة النواة بتشفير معرفة المجال حول السلاسة، أو الدورية، أو هندسة المُدخلات.
- يدعم إطار العمل البايزي المبدئي اختيار المعلمات الفائقة عبر تعظيم الاحتمالية الهامشية.
- يتعامل بشكل طبيعي مع مهام التنبؤ متعددة المُخرَجات أو المهام المنظمة من خلال امتدادات عملية غاوس متعددة المُخرَجات.
التطبيقات
- التنبؤ بنشاط الدواء من الواصفات الجزيئية مع عدد قليل من المركبات المُعنونة بالاختبار.
- تصنيف الصور الطبية حيث تكون التعليقات التوضيحية للخبراء محدودة ولكن المسح الخام وفير.
- نمذجة أجهزة الاستشعار البيئية باستخدام قراءات مُعايرة مُتفرقة وقياسات غير مُعايرة كثيفة.
- تصنيف التعبير الجيني مع تسميات فينوتيبية محدودة ولكن مجموعات بيانات جينومية كبيرة.
- التنبؤ بخصائص المواد في الكيمياء والفيزياء حيث تكون قياسات التجارب المُعنونة مُكلفة.
كيف يعمل
كيف يعمل
تُشفر دالة النواة k(x_i, x_j) المعتقدات المسبقة حول سلاسة ونطاق الدالة المستهدفة. بالنسبة للإعدادات شبه المُراقَبة، يتم بناء نوى مُستندة إلى الرسم البياني أو مُكيفة مع التشعب من جميع المُدخلات المتاحة - المُعنونة وغير المُعنونة - بحيث تعكس مقياس التشابه الهندسة الحقيقية للبيانات بدلاً من المسافة الإقليدية الخام.
الصيغة
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)تُوضع أسبقية عملية غاوس بمتوسط صفر f ~ GP(0, k) على الدالة الكامنة. نظرًا لأن النواة تم تقديرها من مجموعة البيانات غير المُعنونة الكاملة، فإن هذه الأسبقية تُشفر بالفعل البنية الهندسية لتشعب المُدخلات قبل دمج أي عناوين.
الصيغة
f \sim \mathcal{GP}(0, k)يتم دمج النقاط غير المُعنونة في النموذج إما عن طريق بناء مُنظِّم لابلاسي للرسم البياني على جميع المُدخلات، أو عن طريق معاملة قيم الدالة الكامنة في المواقع غير المُعنونة كمتغيرات مساعدة يتم تهميشها أثناء الاستدلال. تسمح كلتا الطريقتين لمجموعة البيانات الكبيرة غير المُعنونة بتقييد وتثبيت الاحتمال اللاحق.
يُحدّث اشتراط المُلاحظات المُعنونة الأسبقية لعملية غاوس إلى احتمال لاحق على الدوال. في إعدادات التصنيف، يتضمن ذلك استدلالًا تقريبيًا (تقريب لابلاس أو انتشار التوقع) لأن دالة الاحتمال الغاوسية يتم استبدالها بنموذج ملاحظة غير غاوسي.
الصيغة
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
لأي مُدخل جديد x*، يتم حساب توزيع التنبؤ اللاحق تحليليًا (الانحدار) أو عبر تقريب (التصنيف). يكون الناتج توزيع تنبؤ كامل - متوسط وتباين - لا يُعطي تقديرًا نقطيًا فحسب، بل يُعطي أيضًا عدم يقين مُعايرًا، وهو أمر ضروري في المجالات العلمية ذات العناوين القليلة.
الصيغة
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]الأخطاء الشائعة
- تجاهل تكلفة O(n^3) ومحاولة ملاءمة عملية غاوس كثيفة على آلاف النقاط بدون تقريبات نقاط مُحفزة مُتفرقة.
- استخدام نواة مسافة إقليدية قياسية دون تكييفها مع تشعب البيانات، مما يُهدر مجموعة البيانات غير المُعنونة.
- معاملة المتوسط اللاحق كتقدير ثابت وتجاهل تقدير عدم اليقين، وهو الميزة الرئيسية مقارنة بالطرق التمييزية.
- الفشل في التحقق من صحة مجموعة بيانات مُعنونة مُستبعدة، حيث يمكن للبيانات غير المُعنونة إدخال تحول توزيع دقيق إذا لم تتم مطابقتها مع نطاق الاختبار.
- تطبيق الطريقة عندما تكون نسبة البيانات المُعنونة إلى غير المُعنونة عالية بالفعل، حيث تُقدم التعقيدات الإضافية فائدة ضئيلة مقارنة بعملية غاوس مُراقَبة.
الأسئلة الشائعة
كيف يختلف هذا عن عملية غاوس مُراقَبة قياسية؟
تشترط عملية غاوس مُراقَبة فقط على البيانات المُعنونة وتتجاهل المُدخلات غير المُعنونة. يستخدم المتغير شبه المُراقَب المُدخلات غير المُعنونة لتشكيل النواة أو تقييد أسبقية الدالة قبل الاشتراط على العناوين، لذلك يستغل تشعب البيانات ويحقق خطأ تعميم أقل عندما تكون العناوين نادرة.
ما هو عنق الزجاجة الحسابي الرئيسي؟
استدلال عملية غاوس هو تكعيبي بالنسبة لعدد نقاط التدريب. تُقلل طرق النقاط المُحفزة المُتفرقة (مثل FITC، VFE) هذا إلى O(nm^2) حيث m هو عدد النقاط المُحفزة (عادةً 50-500)، مما يجعل عملية غاوس شبه مُراقَب واسعة النطاق ممكنة.
كيف أختار النواة لدمج البيانات غير المُعنونة؟
نهج شائع هو نواة لابلاسيان الرسم البياني أو نواة الانتشار الحراري المحسوبة على جميع المُدخلات. بدلاً من ذلك، تعمل نواة RBF القياسية مع طول موجي مُعدّل على توزيع المُدخلات الكامل (المُعنون + غير المُعنون) بشكل جيد نسبيًا عندما تكون البيانات ذات أبعاد منخفضة وموزعة بسلاسة.
هل يتم الحفاظ على عدم اليقين المُعاير بعد دمج البيانات غير المُعنونة؟
من حيث المبدأ نعم - يُنتج الإطار البايزي احتمالات لاحقة مُعايرة - ولكن التقريبات المُدخلة للتصنيف (لابلاس، EP) والطرق المُتفرقة (النقاط المُحفزة) يمكن أن تُقلل من المعايرة. من الممارسات الجيدة تقييم خطأ المعايرة المتوقع (ECE) على مجموعة تحقق مُعنونة.
متى يجب أن أفضل آلة المتجهات الداعمة شبه المُراقَبة (semi-supervised SVM) على هذه الطريقة؟
فضل آلة المتجهات الداعمة شبه المُراقَبة (S3VM/transductive SVM) عندما تحتاج إلى حدود قرار بسيطة قائمة على الهامش، ولديك ميزات مُتفرقة عالية الأبعاد (مثل النصوص)، ولا تحتاج إلى تقديرات عدم اليقين. اختر عملية غاوس شبه مُراقَب عندما تكون المُخرَجات الاحتمالية ومرونة النواة مهمة.
طرق ذات صلة
المصادر
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
افتح مرجع المنشورتم النسخ.Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ردمك: 978-0-262-18253-9تم النسخ.