الانتقال إلى المحتوى
العودة إلى نتائج البحث

التحسين البايزي — الضبط التسلسلي القائم على النموذج للمعاملات الفائقة

قدّمه
Mockus (1975); popularised for ML by Snoek, Larochelle & Adams (2012)
السنة
1975 (foundational); 2012 (ML standard)
النوع
Sequential model-based black-box optimization

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التحسين البايزي هو استراتيجية تسلسلية قائمة على النموذج لإيجاد الأمثل للدوال الصندوق الأسود المكلفة بأقل عدد ممكن من التقييمات. متجذرًا في عمل Mockus (1975) وتم تقديمه إلى الممارسة السائدة في التعلم الآلي بواسطة Snoek و Larochelle و Adams (2012)، فإنه يقوم بتركيب نموذج بديل احتمالي — عادةً عملية غاوسية — للملاحظات السابقة ويستخدم دالة اكتساب لتحديد المكان الذي يجب فحصه بعد ذلك، موازنًا بين استكشاف المناطق غير المعروفة واستغلال المناطق الواعدة.

الفكرة الحدسية وراء الطريقة

تخيل أن عليك إيجاد أفضل إعدادات لنموذج تعلم آلي، ولكن كل تجربة تستغرق ساعات لتشغيلها. لا يمكنك تحمل اختبار كل تركيبة. يعمل التحسين البايزي كعالم حذر: يبني خريطة جارية لما تم تجربته وما هي النتائج التي عادت، ويستخدم تلك الخريطة لتخمين أين يكمن الأمثل على الأرجح، ثم يختار التجربة التالية الأكثر احتمالاً لتحسين أفضل نتيجة شوهدت حتى الآن. مع اكتمال المزيد من التجارب، تصبح الخريطة أكثر دقة والاختيارات أذكى — كل ذلك دون الحاجة إلى معرفة الصيغة الرياضية داخل الصندوق الأسود.

التاريخ

تم وضع الأسس النظرية للتحسين البايزي بواسطة Jonas Mockus وزملائه في السبعينيات من خلال مفهوم التحسين المتوقع لتصميم التجارب التسلسلية. ظل النهج أكاديميًا إلى حد كبير حتى عام 2012، عندما نشر Snoek و Larochelle و Adams "التحسين البايزي العملي لخوارزميات التعلم الآلي" في NeurIPS، موضحين أن التحسين البايزي القائم على العملية الغاوسية تفوق باستمرار على الضبط اليدوي الخبير والبحث العشوائي على معايير التعلم الآلي القياسية. حفز هذا العمل تطوير مكتبات مخصصة وأسس التحسين البايزي كمعيار فعلي للبحث عن المعاملات الفائقة في التعلم العميق وخطوط أنابيب التعلم الآلي التلقائي. قدمت ورقة بيتر فرايزر التعليمية لعام 2018 (arXiv:1807.02811) لاحقًا معالجة تربوية موحدة وسعت نطاق الطريقة إلى ما وراء مجتمع التعلم الآلي.

متى تُستخدم

التحسين البايزي هو الخيار الصحيح عندما تكون دالة الهدف مكلفة أو بطيئة التقييم — تدريب نموذج كبير، أو تشغيل محاكاة فيزيائية، أو إجراء تجربة معملية — وتكون الميزانية محدودة بعشرات أو مئات قليلة من التقييمات. يجب تعريف مساحة البحث بحدود صريحة لكل معلمة. تتعامل الطريقة مع المعاملات المستمرة والترتيبية بشكل طبيعي؛ قد تؤدي المساحات الفئوية البحتة أو عالية الأبعاد جدًا (أكثر من حوالي 20 معلمة) إلى تدهور جودة النموذج البديل وقد تتطلب امتدادات مثل الغابات العشوائية كنموذج بديل أو معالجة مسبقة لتقليل الأبعاد. إذا كانت التقييمات رخيصة والتوازي متاحًا، فقد يكون البحث العشوائي أو البحث الشبكي الأبسط تنافسيًا.

الحدود والاعتبارات

  • قابلية توسع ضعيفة لمساحات المعاملات الفائقة عالية الأبعاد جدًا: يصبح تركيب العملية الغاوسية مكلفًا حسابيًا ويفقد النموذج البديل دقته بعد حوالي 10-20 بعدًا.
  • حساسية لاختيار نواة النموذج البديل ودالة الاكتساب: يمكن أن تعيق الافتراضات السيئة التقارب، خاصةً على الأهداف غير المستقرة أو متعددة الوسائط.
  • تسلسلي افتراضيًا: يجب أن يكتمل كل تقييم قبل تحديد المرشح التالي، مما يحد من التوازي ما لم يتم استخدام امتدادات الدُفعات أو غير المتزامنة.
  • يتطلب مساحات بحث محدودة: لا يمكن التعامل مع المعلمات التي لا تحتوي على نطاقات صريحة بشكل مباشر.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • فعال من حيث العينات: يجد تكوينات جيدة في عدد أقل بكثير من التقييمات مقارنة بالبحث الشبكي أو البحث العشوائي، وهو ما يهم عندما يكون كل تقييم بطيئًا أو مكلفًا.
  • موازنة مبدئية بين الاستكشاف والاستغلال: توفر دالة الاكتساب معيارًا رسميًا وقابلًا للتفسير للمكان الذي يجب البحث فيه بعد ذلك.
  • عدم يقين قائم على النموذج: لا تتنبأ العملية الغاوسية بالأداء فحسب، بل تقدر أيضًا مدى ثقتها، مما يتيح قرارات توقف مستنيرة.
  • قابل للتطبيق على أي دالة هدف للصندوق الأسود: تتطلب الطريقة عدم وجود معلومات تدرج أو معرفة رياضية بمحتويات الدالة الهدف.

التطبيقات

  • ضبط المعاملات الفائقة لنماذج التعلم الآلي والتعلم العميق حيث يكون كل تشغيل تدريبي مكلفًا حسابيًا.
  • البحث عن بنية الشبكة العصبية (NAS): اختيار خيارات البنية مثل عرض الطبقات، ووظائف التنشيط، واتصالات التخطي.
  • تصميم التجارب في الهندسة والعلوم الطبيعية حيث تكون كل تجربة فيزيائية مكلفة أو تستغرق وقتًا طويلاً.
  • خطوط أنابيب التعلم الآلي التلقائي (AutoML) التي تختار كلاً من الخوارزميات ومعاملاتها الفائقة بشكل مشترك.
  • اكتشاف الأدوية وعلوم المواد، حيث يتطلب تقييم تكوين مرشح عملًا معمليًا.

كيف يعمل

كيف يعمل

1

يحدد الممارس مساحة البحث: يتم إعطاء كل معامل فائق ليتم ضبطه نوعًا (مستمر، ترتيبي) ونطاقًا — حدودًا دنيا وعليا — يمكن للمحسن البحث ضمنها. يعد تعريف المساحة الواضح شرطًا مسبقًا لكل شيء آخر ويمنع النموذج البديل من أن يُطلب منه الاستقراء خارج المناطق الآمنة.

2

يتم تقييم عدد صغير من النقاط في مساحة البحث عشوائيًا أو عبر تصميم يملأ المساحة (مثل أخذ عينات مكعب لاتيني). هذه الملاحظات الأولية — عادةً من خمسة إلى عشرة — تعطي النموذج البديل بيانات كافية لتشكيل خريطة أولية تقريبية للمشهد الهدف قبل بدء الحلقة التسلسلية.

3

تُستخدم جميع الملاحظات التي تم جمعها حتى الآن لتركيب نموذج بديل احتمالي، وأكثرها شيوعًا هو عملية غاوسية. تُرجع العملية الغاوسية كلاً من متوسط التنبؤ وتقدير عدم اليقين في كل نقطة في المساحة، مما يلتقط كلاً من ما هو معروف ومدى ثقة النموذج. النموذج البديل رخيص التقييم، لذا يمكن الاستعلام عنه آلاف المرات بدلاً من الهدف الحقيقي المكلف.

4

يتم تعظيم دالة اكتساب — مثل التحسين المتوقع (EI) أو الحد الأعلى للثقة (UCB) — فوق النموذج البديل لتحديد النقطة المرشحة التالية. يقيس التحسين المتوقع المكسب المتوقع فوق أفضل قيمة حالية؛ يضيف الحد الأعلى للثقة مكافأة استكشاف مرجحة بالثقة. هذه الخطوة هي حيث يتم حل مقايضة الاستكشاف والاستغلال: المناطق ذات الأداء المتوقع العالي والمناطق ذات عدم اليقين العالي تجذب الانتباه.

5

يتم تمرير النقطة المرشحة التي تحددها دالة الاكتساب إلى الهدف الحقيقي — على سبيل المثال، تدريب شبكة عصبية والتحقق من صحتها باستخدام تلك المعاملات الفائقة. هذا التقييم هو الخطوة المكلفة. يتم تسجيل نتيجته (الدرجة) جنبًا إلى جنب مع إحداثيات المرشح.

6

تتم إضافة الملاحظة الجديدة إلى مجموعة البيانات، ويتم إعادة تركيب النموذج البديل، وتعود الحلقة إلى خطوة الاكتساب. بعد استنفاد ميزانية التكرار، يتم إرجاع تكوين المعامل الفائق الذي أنتج أفضل درجة مُلاحظة كتوصية نهائية.

الأخطاء الشائعة

  • عدد قليل جدًا من الاستقصاءات العشوائية الأولية يترك النموذج البديل غير معاير بشكل جيد؛ استخدم ما لا يقل عن خمس نقاط أولية، والمزيد في المساحات ذات الأبعاد الأعلى.
  • تشغيل المُحسِّن لعدد قليل جدًا من التكرارات الإجمالية (أقل من حوالي عشرة) يعني أن النموذج البديل لا يصبح موثوقًا به أبدًا؛ في مثل هذه الحالات، يكون البحث العشوائي البسيط مفضلاً.
  • تجاهل اختيار دالة الاكتساب: يفضل التحسين المتوقع الاستغلال ويمكن أن يعلق بالقرب من النتائج الجيدة المبكرة؛ يضيف الحد الأعلى للثقة استكشافًا عبر وزن ثقة قابل للضبط — لا يوجد خيار أفضل عالميًا، ويجب التحقق من الافتراضي مقابل بنية المشكلة.
  • معاملة التحسين البايزي كصندوق أسود بحد ذاته: افحص دائمًا مسار التقارب (أفضل نتيجة مُلاحظة مقابل التكرار) للكشف عن الركود مبكرًا.
  • تطبيق الطريقة عندما تكون التقييمات رخيصة — سيتقارب البحث العشوائي أو البحث الشبكي بنفس القدر بتكلفة أقل من تكاليف التنفيذ.

الأسئلة الشائعة

كيف يختلف التحسين البايزي عن البحث الشبكي أو البحث العشوائي؟

يقوم البحث الشبكي بتقييم شبكة ثابتة من التكوينات ويقوم البحث العشوائي بأخذ عينات عشوائية بشكل موحد — كلاهما يتجاهل نتائج التجارب السابقة عند اختيار النقطة التالية. يستخدم التحسين البايزي بنشاط جميع الملاحظات السابقة لبناء نموذج بديل ويختار النقطة التالية الأكثر احتمالاً للتحسن فوق أفضل قيمة حالية، مما يجعله أكثر كفاءة من حيث العينات عندما تكون التقييمات مكلفة.

ما دالة الاكتساب التي يجب أن أستخدمها؟

التحسين المتوقع (EI) هو الافتراضي الأكثر استخدامًا: يقيس المكسب المتوقع فوق أفضل قيمة حالية ويميل إلى أن يكون موثوقًا به عبر أنواع المشكلات. يضيف الحد الأعلى للثقة (UCB) مكافأة استكشاف قابلة للضبط وغالبًا ما يُفضل عندما يكون المشهد غير مفهوم جيدًا. الاحتمال المتوقع للتحسين (PI) يميل أكثر نحو الاستغلال ويمكن أن يتقارب مبكرًا. ابدأ بالتحسين المتوقع (EI) وانتقل إلى الحد الأعلى للثقة (UCB) إذا بدا أن المُحسِّن راكد.

كم عدد التكرارات المطلوبة؟

لا توجد قاعدة عالمية، ولكن أقل من حوالي عشرة تقييمات إجمالية (بما في ذلك الاستقصاءات العشوائية الأولية) تعطي النموذج البديل بيانات قليلة جدًا ليكون موثوقًا به. تنشر التطبيقات العملية عادةً من خمسة إلى عشرة نقاط عشوائية أولية تليها عشرون إلى خمسون خطوة بايزية تسلسلية. عندما تتوقف أفضل نتيجة مُلاحظة عن التحسن عبر عدة تكرارات متتالية، يمكن إيقاف الميزانية.

هل يمكن موازاة التحسين البايزي؟

التحسين البايزي القياسي تسلسلي بطبيعته. تسمح امتدادات الدُفعات باقتراح مجموعة من المرشحين في وقت واحد — تشمل الاستراتيجيات الشائعة التجزئة المحلية (Local Penalization) والتقريب الاستدلالي لـ Kriging Believer — مما يتيح التقييم المتوازي. تطلق المتغيرات غير المتزامنة مرشحًا جديدًا كلما أصبح عامل متاحًا بدلاً من انتظار الدُفعة الكاملة. تتوفر هذه الامتدادات في مكتبات مثل Optuna و BoTorch.

طرق ذات صلة

المصادر

  1. Snoek, J., Larochelle, H., & Adams, R.P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS), 25.

    افتح مرجع المنشور
    تم النسخ.
  2. Frazier, P.I. (2018). A Tutorial on Bayesian Optimization. arXiv:1807.02811.

    افتح مرجع المنشور
    تم النسخ.