الانتقال إلى المحتوى
العودة إلى نتائج البحث

عملية غاوس (Gaussian Process)

قدّمه
Rasmussen, C. E. & Williams, C. K. I.
السنة
2006 (book); roots in Kriging, 1951)
النوع
Probabilistic non-parametric model
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

عملية غاوس (GP) هي نموذج تعلم آلي غير بارامتري واحتمالي بالكامل يضع توزيعًا مسبقًا مباشرة فوق الدوال. بدلاً من التنبؤ بقيمة واحدة، فإنه يُرجع متوسطًا تنبؤيًا وتقديرًا مُعايرًا لعدم اليقين عند كل نقطة اختبار، مما يجعله ذا قيمة خاصة للانحدار على مجموعات البيانات الصغيرة إلى المتوسطة ولمهام التحسين البايزي.

الفكرة الحدسية وراء الطريقة

بدلاً من ملاءمة منحنى ثابت لبياناتك، تحتفظ عملية غاوس بتوزيع كامل فوق المنحنيات الممكنة المتوافقة مع ما لاحظته. قبل رؤية البيانات، تفترض أن الدوال يجب أن تكون سلسة (كما هو محدد بواسطة نواة). بعد رؤية البيانات، فإنها تضيق هذا التوزيع: نقاط الاختبار القريبة تتلقى تنبؤات ضيقة وواثقة، بينما تنتج المناطق البعيدة أو التي تفتقر إلى البيانات نطاقات عدم يقين واسعة. هذا القياس المدمج لعدم اليقين هو ما يميز عمليات غاوس عن معظم النماذج الأخرى.

التاريخ

تعود جذور عمليات غاوس إلى الكريجينغ (Kriging)، الذي طوره Danie Krige في الإحصاء الجيولوجي في الخمسينيات من القرن الماضي ووضعه جورج ماتيرون. كان اعتمادها في تعلم الآلة مدفوعًا إلى حد كبير من قبل Carl Rasmussen و Christopher Williams، الذين أصبح كتابهم الصادر عن MIT Press عام 2006 المرجع النهائي، مما أسس عملية غاوس كبديل غير بارامتري بايزي مبدئي للشبكات العصبية وآلات المتجهات الداعمة المستندة إلى النوى، خاصة في الإعدادات التي يكون فيها قياس عدم اليقين ضروريًا.

متى تُستخدم

تتفوق عمليات غاوس في مجموعات البيانات الصغيرة إلى المتوسطة (تصل إلى بضعة آلاف من الصفوف) حيث يكون قياس عدم اليقين مهمًا - على سبيل المثال، التجارب العلمية، التصميم الهندسي، أو النمذجة البديلة للمحاكاة المكلفة. إنها الطريقة المفضلة للتحسين البايزي. فضل عملية غاوس على النماذج الأبسط عندما تحتاج إلى فترات تنبؤ مُعايرة بدلاً من مجرد تقديرات نقطية، وعندما يُتوقع أن تكون العلاقة بين المدخلات والمخرجات سلسة. تجنب عملية غاوس عندما يتجاوز n حوالي 10000 ملاحظة، حيث أن الاستدلال الدقيق يتدرج كـ O(n^3) مما يجعله غير عملي حسابيًا بدون تقريبات. تعاني عملية غاوس أيضًا مع مساحات الإدخال عالية الأبعاد جدًا ومع الدوال غير المستمرة أو غير المستقرة للغاية ما لم يتم استخدام نوى مُصممة بعناية.

الحدود والاعتبارات

  • الاستدلال الدقيق هو O(n^3) في الوقت و O(n^2) في الذاكرة، مما يجعله غير عملي لـ n الكبيرة بدون طرق GP المتفرقة أو التقريبية.
  • يتدهور الأداء في مساحات الإدخال عالية الأبعاد جدًا بسبب لعنة الأبعاد في مسافات النواة.
  • يتطلب اختيار ودمج النوى معرفة بالمجال؛ تؤدي النواة المختارة بشكل سيء إلى معايرة عدم يقين سيئة.
  • التصنيف (مصنفات GP) يتطلب تقريبًا إضافيًا لـ Laplace أو expectation-propagation، مما يضيف تعقيدًا.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يُرجع فترات عدم يقين تنبؤية مُعايرة جنبًا إلى جنب مع التنبؤات النقطية.
  • فعالة للغاية من حيث العينات - تعمل بشكل جيد على مجموعات البيانات الصغيرة حيث تتجاوز النماذج القائمة على الأشجار.
  • تشفير اختيار النواة بمرونة لمعرفة المجال حول السلاسة، أو الدورية، أو المقياس.
  • يتم تعلم المعلمات الفائقة من البيانات عبر الأرجحية الهامشية، مما يوفر تنظيمًا تلقائيًا.
  • إطار عمل أصلي للتحسين البايزي وتصميم التجارب التعلم النشط.

التطبيقات

  • الانحدار على مجموعات البيانات العلمية والهندسية الصغيرة إلى المتوسطة التي تتطلب فترات ثقة مُعايرة.
  • التحسين البايزي للدوال الصندوق الأسود المكلفة مثل ضبط المعلمات الفائقة أو تصميم التجارب.
  • النمذجة البديلة للمحاكاة الحاسوبية المكلفة في مجالات الطيران، وعلوم المواد، ونمذجة المناخ.
  • الاستيفاء المكاني-الزماني ورسم الخرائط الإحصائية الجيولوجية (Kriging).
  • التعلم النشط: استخدام التباين اللاحق لاختيار القياس التالي الأكثر إفادة.
  • نمذجة السلاسل الزمنية باستخدام نوى دورية أو مركبة تشفر الهيكل الموسمي.

كيف يعمل

كيف يعمل

1

تقوم دالة النواة (عادةً ما تكون تربيعية أسية / RBF) بتشفير المعتقدات المسبقة حول سلاسة الدالة ومقياس الطول. إنها تقيس التشابه بين أي نقطتي إدخال: يجب أن تنتج المدخلات المتشابهة المخرجات المتشابهة. يؤثر اختيار شكل النواة بشكل كبير على أنواع الدوال التي يمكن لعملية غاوس تمثيلها.

الصيغة
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

قبل ملاحظة أي بيانات، تحدد عملية غاوس توزيعًا مسبقًا فوق الدوال: كل مجموعة محدودة من قيم الدوال تكون غاوسية مشتركة مع دالة متوسط m(x) وتغاير معطى بواسطة النواة. هذا المسبق هو الاعتقاد الأولي حول كيفية سلوك الدالة غير المعروفة.

الصيغة
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

إن تكييف المسبق مع بيانات التدريب المرصودة ينتج عنه التوزيع اللاحق، وهو أيضًا غاوسي. يصبح المتوسط اللاحق هو التنبؤ النقطي عند أي إدخال جديد x*، ويوفر تباين اللاحق فترة ثقة مُعايرة، مما يضيق تلقائيًا حيث تكون بيانات التدريب كثيفة.

الصيغة
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

يتم تقدير المعلمات الفائقة للنواة (مقياس الطول، تباين المخرجات، مستوى الضوضاء) عن طريق تعظيم لوغاريتم الأرجحية الهامشية لبيانات التدريب. توازن هذه التحسينات بين ملاءمة البيانات وتعقيد النموذج، مما يؤدي إلى تنظيم تلقائي دون حد منفصل للعقوبة.

الصيغة
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

عند وقت التنبؤ، يتم إرجاع المتوسط اللاحق كتقدير نقطي، والانحراف المعياري اللاحق كشريط عدم اليقين. يمكن استخدام كليهما مباشرة: قم بالإبلاغ عن المتوسط كأفضل تخمين والفترة لتوصيل مدى ثقة النموذج عند كل موقع إدخال جديد.

الأخطاء الشائعة

  • استخدام نواة RBF الافتراضية دون التحقق مما إذا كانت الدالة ثابتة وسلسة حقًا - الأنماط الدورية أو المتقطعة تتطلب نوى مختلفة.
  • نسيان توحيد المدخلات والمخرجات المستمرة قبل الملاءمة، مما يؤدي إلى مصفوفات تغاير سيئة التكييف.
  • معاملة المتوسط اللاحق وحده كناتج وتجاهل نطاقات عدم اليقين، وهي المساهمة الأساسية للنموذج.
  • تطبيق GP الدقيق على مجموعات البيانات التي يزيد حجمها عن ~5000 دون التحول إلى تقريب متفرق أو تقريب نقاط الحث.
  • الخلط بين الضوضاء العشوائية (خطأ القياس الذي لا يمكن تجنبه) وعدم اليقين المعرفي (عدم يقين النموذج) عند تفسير خرج التباين.

الأسئلة الشائعة

ما هي النواة التي يجب أن أبدأ بها؟

نواة التربيع الأسي (RBF) هي نقطة البداية الافتراضية لأنها تنتج دوال سلسة قابلة للتفاضل بشكل لا نهائي ولها معلمات فائقة قابلة للتفسير لمقياس الطول وتباين المخرجات. قم بالتبديل إلى نواة Matern إذا كنت تتوقع أن تكون الدالة أقل سلاسة، أو أضف مكونًا دوريًا للبيانات الموسمية.

مجموعة بياناتي تحتوي على 50000 صف. هل لا يزال بإمكاني استخدام عملية غاوس؟

سيكون الاستدلال الدقيق لعملية غاوس مستحيلاً بهذا الحجم. ضع في اعتبارك طرق GP المتفرقة (مثل نقاط الحث / FITC) أو GP التغايري العشوائي، وكلاهما يخفض تكلفة التدريب إلى حوالي O(nm^2) حيث m هو عدد نقاط الحث (m << n). تقوم مكتبات مثل GPyTorch بتنفيذ هذه بكفاءة.

كيف تختلف عملية غاوس عن الانحدار الخطي البايزي؟

يضع الانحدار الخطي البايزي توزيعًا مسبقًا على مجموعة محدودة وثابتة من المعاملات؛ وبالتالي فإن مرونة النموذج محدودة بواسطة دوال الأساس المختارة. تضع عملية غاوس توزيعًا مسبقًا مباشرة فوق الدوال في فضاء لا نهائي الأبعاد، لذا يتكيف تعقيدها الفعال مع البيانات دون الحاجة إلى تحديد توسعات الأساس مسبقًا.

هل تقديرات عدم اليقين مُعايرة حقًا؟

تحت النموذج والنواة الصحيحين، تكون حالات عدم اليقين اللاحقة لعملية غاوس مُعايَرة بشكل جيد حسب التصميم. في الممارسة العملية، ينشأ سوء المعايرة من سوء تحديد النواة أو تجاهل هيكل الضوضاء. قم دائمًا بإجراء فحص تنبؤي لاحق - ارسم الملاحظ مقابل المتوقع مع تغطية فترات المصداقية.

هل يمكن لعمليات غاوس التعامل مع المدخلات الفئوية أو المختلطة؟

تعمل نوى GP القياسية على المدخلات المستمرة. تتطلب المدخلات الفئوية نوى خاصة (مثل نواة مسافة Hamming) أو ترميزًا. بالنسبة للبيانات المختلطة الفئوية بشكل أساسي أو عالية الأبعاد جدًا، عادة ما تكون النماذج القائمة على الأشجار مثل Random Forest أو gradient boosting نقطة انطلاق أفضل.

طرق ذات صلة

المصادر

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ردمك: 978-0-262-18253-9
    تم النسخ.
  2. Gaussian process. Wikipedia.

    افتح مرجع المنشور
    تم النسخ.