الانتقال إلى المحتوى
العودة إلى نتائج البحث

عملية غاوسية بايزية

قدّمه
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
السنة
1978–2006
النوع
Probabilistic kernel model
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تضع العملية الغاوسية البايزية (GP) توزيع احتمالية مباشرة على الدوال، باستخدام نواة لتشفير التشابه بين المدخلات. بعد ملاحظة البيانات، تحول قاعدة بايز هذه الأسبقية إلى لاحقة لا تنتج فقط تنبؤات نقطية بل تقديرات معايرة لعدم اليقين عند كل مدخل جديد - مما يجعلها واحدة من أكثر النماذج الاحتمالية مبدئية في تعلم الآلة.

الفكرة الحدسية وراء الطريقة

تخيل رسم عدد لا نهائي من المنحنيات المعقولة عبر بياناتك، كل منها متسق مع ما تعرفه. تقيس العملية الغاوسية مدى احتمالية كل منحنى قبل وبعد رؤية الملاحظات. تحدد النواة أي المنحنيات تبدو سلسة أو متعرجة، قريبة أو بعيدة المدى. بمجرد وصول البيانات، تضيق العملية الغاوسية عائلة المنحنيات المعقولة حول الملاحظات مع الاحتفاظ بعدم يقين صادق حيث تكون البيانات متفرقة. هذا يعطي كلاً من التنبؤ ونطاق الثقة الذي يعكس حقًا مقدار الأدلة التي تدعم التنبؤ.

التاريخ

يعود استخدام العمليات الغاوسية في الإحصاء إلى O'Hagan (1978) و Kriging في الجيواحصاء (Matheron, 1963). حفز تبنيها في تعلم الآلة بواسطة Neal (1996)، الذي أظهر أن الشبكات العميقة تتقارب إلى العمليات الغاوسية في حد العرض اللانهائي، وبواسطة كتاب Rasmussen و Williams لعام 2006، الذي أصبح المرجع القياسي. اليوم، تدعم العمليات الغاوسية خطوط أنابيب التحسين البايزي في ضبط المعلمات الفائقة وتصميم التجارب عبر الهندسة والعلوم.

متى تُستخدم

استخدم عملية غاوسية بايزية عندما تحتاج إلى عدم يقين معاير جنبًا إلى جنب مع التنبؤات - على سبيل المثال في التعلم النشط، أو التحسين البايزي، أو التطبيقات الحرجة للسلامة، أو الاستدلال العلمي حيث معرفة ما لا يعرفه النموذج مهم بقدر أهمية التنبؤ نفسه. تتفوق في مجموعات البيانات الصغيرة إلى المتوسطة (حتى بضعة آلاف من الملاحظات) مع مدخلات مستمرة أو منظمة ودوال أساسية سلسة. تجنب العمليات الغاوسية عندما تتجاوز مجموعة البيانات حوالي 10000 صف بدون طرق عمليات غاوسية متفرقة أو تقريبية، عندما تكون مساحة المدخلات عالية الأبعاد (أعلى من ~20 ميزة) بدون بنية أسبقية قوية، أو عندما يكون كل ما هو مطلوب هو متنبئ نقطي سريع وغير شفاف.

الحدود والاعتبارات

  • التكلفة الحسابية التكعيبية O(n^3) في الاستدلال الدقيق تحد من الاستخدام لمجموعات البيانات التي تصل إلى بضعة آلاف من الملاحظات بدون تقريبات متفرقة.
  • اختيار النواة مؤثر ويتطلب خبرة في المجال؛ نواة محددة بشكل خاطئ تدهور كلاً من التنبؤات وتقديرات عدم اليقين.
  • ينهار الاستدلال في شكل مغلق للمخرجات غير الغاوسية (التصنيف، العد)، مما يتطلب تقريبات تضيف تعقيدًا.
  • تتوسع بشكل سيء لمساحات المدخلات عالية الأبعاد بدون تقليل الأبعاد أو النوى المنظمة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • ينتج توزيعات تنبؤية معايرة بالكامل، وليس مجرد تقديرات نقطية.
  • لاحقة في شكل مغلق للانحدار - دقيقة، لا حاجة لأخذ عينات للبيانات المعتدلة.
  • تشفير اختيار النواة لمعرفة المجال الغنية حول النعومة والدورية والبنية.
  • توفر احتمالية الهامش اللوغاريتمي تعلمًا تلقائيًا للمعلمات الفائقة ومقارنة النماذج.
  • تدعم بشكل طبيعي التعلم النشط والتحسين البايزي عن طريق قياس المكان الذي يكون فيه عدم اليقين أعلى.
  • فعالة من حيث العينات: تعمل بشكل جيد على مجموعات البيانات الصغيرة حيث لا يمكن للتعلم العميق التعميم.

التطبيقات

  • التحسين البايزي لضبط المعلمات الفائقة، وتصميم التجارب، و AutoML.
  • النمذجة البديلة في المحاكاة الهندسية والتجارب الحاسوبية.
  • الاستيفاء المكاني والجيواحصاء (Kriging).
  • التنبؤ بالسلاسل الزمنية مع قياس عدم اليقين المبدئي.
  • التعلم النشط: اختيار الملاحظة التالية الأكثر إفادة بناءً على تباين اللاحقة.
  • الاستدلال العلمي حيث يلزم انتشار عدم اليقين جنبًا إلى جنب مع التنبؤ.

كيف يعمل

كيف يعمل

1

يتم تعريف أسبقية العملية الغاوسية بواسطة دالة متوسط m(x) - غالبًا ما يتم تعيينها على الصفر - ودالة تغاير (نواة) k(x,x') التي تشفر كيف تتغير المخرجات عند مدخلين. معًا، تحدد هذه الدوال توزيعًا على جميع الدوال، والتي منها يأخذ النموذج عينات من الحلول المرشحة قبل رؤية أي بيانات.

الصيغة
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

النواة هي اختيار النموذج المركزي. تشمل النوى الشائعة النوى الأسية المربعة (RBF)، وماتيرن، والدورية، والخطية، وكل منها يشفر افتراضات مختلفة حول النعومة، أو الدورية، أو الاتجاه. تُستخدم معرفة المجال لاختيار أو تركيب النوى التي تتطابق مع السلوك المتوقع للدالة المستهدفة.

3

بالنظر إلى ملاحظات التدريب (X, y)، يتم تطبيق قاعدة بايز في شكل مغلق للانحدار للحصول على العملية الغاوسية اللاحقة. يوفر المتوسط اللاحق التنبؤ النقطي عند أي مدخل جديد x*، بينما يحدد تباين اللاحقة عدم اليقين المتبقي - يتقلص بالقرب من الملاحظات ويتسع في المناطق غير المستكشفة.

الصيغة
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

يتم تعلم المعلمات الفائقة للنواة (مقاييس الطول، تباين المخرجات، مستوى الضوضاء) عن طريق زيادة احتمالية الهامش اللوغاريتمي، والتي توازن تلقائيًا ملاءمة البيانات مقابل تعقيد النموذج. هذا المبدأ الأوكامي المدمج يتجنب التحقق المتقاطع المنفصل لاختيار المعلمات الفائقة في العديد من الإعدادات.

الصيغة
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

التوزيع التنبؤي النهائي عند نقطة جديدة يكون غاوسيًا للانحدار، ويعطي متوسطًا وتباينًا. للتصنيف، تقوم خطوة تقريب إضافية (لابلاس، انتشار التوقع، أو الاستدلال المتغير) بتحويل العملية الغاوسية الكامنة إلى احتمالات الفئة.

الأخطاء الشائعة

  • استخدام نواة RBF افتراضية دون النظر فيما إذا كانت البيانات سلسة ومستقرة بالفعل.
  • تجاهل تباين التنبؤ اللاحق والإبلاغ فقط عن المتوسط، والتخلي عن الميزة الرئيسية للنموذج.
  • تطبيق استدلال العملية الغاوسية الدقيق على مجموعات البيانات الكبيرة (n > 10000) بدون تقريبات متفرقة أو نقاط محفزة، مما يسبب فشلًا في الذاكرة والسرعة.
  • الخلط بين تحسين المعلمات الفائقة للعملية الغاوسية (احتمالية الهامش) والاستدلال البايزي الكامل على المعلمات الفائقة - يتطلب الأخير MCMC ونادرًا ما يتم إجراؤه عمليًا.
  • معاملة مخرجات عملية التصنيف الغاوسية كما لو كانت اللاحقة الكامنة دقيقة، دون حساب خطأ التقريب في المخرجات غير الغاوسية.

الأسئلة الشائعة

هل العملية الغاوسية بطبيعتها بايزية؟

نعم. تحدد العملية الغاوسية أسبقية على الدوال، ويؤدي الشرط على البيانات إلى لاحقة عبر قاعدة بايز. التوزيع التنبؤي هو الهامش لجميع الدوال المعقولة الموزونة باحتمالية لاحقتها، وهي الخاصية المميزة للاستدلال البايزي.

كيف أختار النواة؟

ابدأ بالسؤال عما إذا كان من المتوقع أن تكون الدالة سلسة (نواة RBF/أسية مربعة)، أو دورية (نواة دورية)، أو غير منتظمة بشكل جزئي (نواة ماتيرن 3/2 أو 5/2). يمكن دمج النوى بشكل إضافي أو ضربي لالتقاط بنية مركبة. تحقق من الخيارات باستخدام احتمالية الهامش اللوغاريتمي.

هل يمكنني استخدام عملية غاوسية على آلاف النقاط البيانية؟

يحتوي الاستدلال الدقيق للعملية الغاوسية على تكلفة O(n^3)، وهو أمر ممكن حتى بضعة آلاف من النقاط على الأجهزة الحديثة. لمجموعات البيانات الأكبر، استخدم تقريبات العملية الغاوسية المتفرقة (طرق النقاط المحفزة مثل FITC أو VFE) أو العمليات الغاوسية المتغيرة العشوائية، والتي تتوسع إلى ملايين الملاحظات.

ما الفرق بين انحدار العملية الغاوسية وتصنيف العملية الغاوسية؟

يستخدم انحدار العملية الغاوسية مخرجًا غاوسيًا، لذا فإن اللاحقة تكون أيضًا غاوسية ويمكن حسابها في شكل مغلق. يستخدم تصنيف العملية الغاوسية مخرجًا برنولي (أو سوفت ماكس)، وهو غير غاوسي، لذا يجب تقريب اللاحقة - غالبًا باستخدام تقريب لابلاس أو انتشار التوقع.

كيف تقارن العملية الغاوسية بالشبكة العصبية؟

العمليات الغاوسية أكثر ملاءمة للبيانات الصغيرة، وتوفر عدم يقين معايرًا جاهزًا، ويمكن تفسيرها من خلال النواة. تهيمن الشبكات العصبية على البيانات الكبيرة وعالية الأبعاد. الشبكات العصبية ذات العرض اللانهائي مع تفعيلات معينة تعادل رياضيًا العمليات الغاوسية، مما يكشف عن اتصال نظري عميق بين الاثنين.

طرق ذات صلة

المصادر

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ردمك: 978-0-262-18253-9
    تم النسخ.
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    ردمك: 978-0-387-31073-2
    تم النسخ.