أساليب تدرج السياسة
- قدّمه
- Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
- السنة
- 1992
- النوع
- Policy-based reinforcement learning
- العائلة
- Reinforcement learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
أساليب تدرج السياسة هي خوارزميات التعلم المعزز التي تُحسّن سياسة مُعَلَّمة مباشرةً عن طريق صعود التدرج على العائد المتوقع، بدلاً من تعلم قيم الأفعال والتصرف بجشع. تأسست على خوارزمية REINFORCE لرونالد ويليامز عام 1992 ونظرية تدرج السياسة لسوتون وزملاؤه (2000)، وهي تتعامل بشكل طبيعي مع مساحات الأفعال العشوائية والمستمرة وتشكل أساس خوارزميات الممثل-الناقد والتعلم المعزز العميق الحديثة.
الفكرة الحدسية وراء الطريقة
أساليب قائمة على القيمة مثل Q-learning تتعلم مدى جودة كل فعل ثم تختار الأفضل؛ تتجاوز تدرجات السياسة الوسيط وتعدل السياسة نفسها. السياسة هي توزيع احتمالي على الأفعال ذات معاملات قابلة للضبط. بعد التصرف ورؤية العائد، تقوم بدفع المعاملات بحيث تصبح الأفعال التي أدت إلى مكافأة عالية أكثر احتمالاً والأفعال السيئة أقل احتمالاً - صعود التدرج على المكافأة المتوقعة. نظرًا لأن السياسة يمكن أن تكون أي توزيع قابل للتفاضل، فإن هذا يعمل مع الضوابط المستمرة (مثل زاوية التوجيه) حيث يكون أخذ 'الحد الأقصى على الأفعال' غير عملي. طرح خط أساس (تقدير قيمة) يحافظ على استقرار التدرج المشوش.
التاريخ
قدم رونالد ويليامز REINFORCE، تدرج السياسة الأساسي لمونت كارلو، في عام 1992. أثبت سوتون وماك أليستر وسينغ ومانسور (2000) نظرية تدرج السياسة مع تقريب الدالة، مما أتاح سياسات الشبكات العصبية وعائلة الممثل-الناقد. قاد هذا النهج عقدًا من التقدم في التعلم المعزز العميق - A3C، TRPO، PPO، DDPG/SAC - وهو محوري في التعلم المعزز من التغذية الراجعة البشرية (RLHF) المستخدم لمحاذاة نماذج اللغة الكبيرة. إنه النظير القائم على السياسة لأساليب القيمة مثل Q-learning.
متى تُستخدم
استخدم أساليب تدرج السياسة عندما تكون مساحة الأفعال مستمرة أو عالية الأبعاد، عندما تكون السياسة العشوائية مرغوبة (استكشاف، ملاحظة جزئية، متعددة الوكلاء)، أو عندما تريد تحسين سياسة من البداية إلى النهاية باستخدام شبكة عصبية - التحكم الروبوتي، معايير التحكم المستمر، سياسات الحوار/التوصية، وكأساس لـ RLHF لنماذج اللغة. إنها تحسن الهدف مباشرة وتتعامل مع الأفعال المستمرة التي تعاني منها الأساليب القائمة على القيمة. التكاليف: تقديرات التدرج عالية التباين (يخففها خطوط الأساس/النقاد)، وهي عادةً ما تكون على السياسة وغير فعالة في استخدام العينات، وحساسة لحجم الخطوة وتدرج المكافأة، وعرضة للنقاط المثلى المحلية. عندما تكون مساحة الأفعال صغيرة ومنفصلة، يمكن أن تكون Q-learning/DQN القائمة على القيمة أبسط وأكثر كفاءة في استخدام العينات؛ متغيرات منطقة الثقة (TRPO/PPO) تعالج عدم استقرار حجم الخطوة.
الحدود والاعتبارات
- تقديرات تدرج عالية التباين؛ تحتاج إلى خطوط أساس أو نقاد لتكون عملية.
- عادةً ما تكون على السياسة وغير فعالة في استخدام العينات مقارنة بأساليب القيمة خارج السياسة.
- حساسة لمعدل التعلم، وتدرج المكافأة، ويمكن أن تتقارب إلى نقاط مثلى محلية.
- يتطلب الاستقرار عناية؛ الخطوات الكبيرة غير المبالية يمكن أن تنهار السياسة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تحسين السياسة مباشرة؛ التعامل مع مساحات الأفعال المستمرة وعالية الأبعاد.
- تمثيل طبيعي للسياسات العشوائية، مما يساعد على الاستكشاف والملاحظة الجزئية.
- التكامل السلس مع تقريب دالة الشبكة العصبية (التعلم المعزز العميق).
- أساس للخوارزميات الحديثة (A2C/A3C، TRPO، PPO، DDPG) و RLHF.
التطبيقات
- التحكم المستمر في الروبوتات والبيئات المحاكاة.
- لعب الألعاب واتخاذ القرارات المتسلسلة المعقدة.
- سياسات الحوار والتوصية والتفاعل التكيفي.
- التعلم المعزز من التغذية الراجعة البشرية (RLHF) لنماذج اللغة.
- مشاكل العمليات والتحكم ذات الأفعال المستمرة.
كيف يعمل
كيف يعمل
الهدف هو تعظيم J(θ)، العائد المخصوم المتوقع للمسارات التي تولدها السياسة π_θ. على عكس أساليب القيمة، فإن الكائن الذي يتم تحسينه هو معاملات السياسة مباشرة، ويمكن أن تكون السياسة عشوائية ومستمرة.
الصيغة
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]تعبر نظرية تدرج السياسة عن تدرج العائد المتوقع كتوقع لدالة الدرجة (تدرج لوغاريتم السياسة) موزونًا بقيمة الفعل. الأهم من ذلك، أن التدرج لا يتطلب تفاضل ديناميكيات البيئة، لذلك يمكن تقديره من الخبرة المسحوبة.
الصيغة
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]REINFORCE هو مقدر مونت كارلو: بعد حلقة، لكل خطوة، تحرك المعاملات على طول تدرج لوغاريتم السياسة مضروبًا في العائد من تلك الخطوة مطروحًا منه خط أساس. خط الأساس (غالبًا تقدير قيمة الحالة) يقلل التباين دون إضافة تحيز، مما يجعل التدرج المشوش قابلاً للاستخدام.
الصيغة
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
تتعلم أساليب الممثل-الناقد قطعتين معًا: ممثل (السياسة) يتم تحديثه بواسطة تدرج السياسة، وناقد (دالة قيمة) يوفر تقديرًا منخفض التباين للميزة (مدى جودة فعل ما مقارنة بالمتوسط). تقديرات الناقد المُعززة تحل محل عوائد مونت كارلو عالية التباين، مما ينتج عنه تعلم أكثر استقرارًا وكفاءة في استخدام العينات وأساس لخوارزميات A2C/A3C و PPO و DDPG.
الصيغة
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot Aالأخطاء الشائعة
- إغفال خط أساس/ناقد، مما يترك التدرجات مشوشة جدًا للتعلم.
- إعادة استخدام بيانات خارج السياسة مع مقدر بسيط على السياسة، مما يحيز التدرج.
- المكافآت أو أحجام الخطوات الكبيرة أو غير المتدرجة التي تسبب سياسات غير مستقرة أو منهارة.
- استكشاف غير كافٍ عندما تصبح السياسة قريبة من الحتمية بشكل سابق لأوانه.
الأسئلة الشائعة
كيف تختلف تدرجات السياسة عن Q-learning؟
يتعلم Q-learning قيم الأفعال ويتصرف بجشع؛ تقوم تدرجات السياسة بمعلمة وتحسين السياسة مباشرة عبر صعود التدرج على العائد المتوقع. تتعامل تدرجات السياسة مع الأفعال المستمرة/العشوائية بشكل طبيعي ولكنها ذات تباين أعلى وعادةً ما تكون على السياسة، بينما Q-learning خارج السياسة وغالبًا ما تكون أكثر كفاءة في استخدام العينات للأفعال المنفصلة الصغيرة.
ما هي طريقة الممثل-الناقد؟
إنها تجمع بين سياسة (الممثل)، يتم تحديثها بواسطة تدرج السياسة، ودالة قيمة مُتعلمة (الناقد) تقدر مدى جودة الحالات/الأفعال. يوفر الناقد إشارة ميزة منخفضة التباين، مما يجعل التعلم مستقرًا وأسرع. A2C/A3C و PPO و DDPG هي خوارزميات الممثل-الناقد.
لماذا تستخدم تدرجات السياسة خط أساس؟
تقدير التدرج الخام مشوش جدًا. طرح خط أساس - عادةً تقدير قيمة الحالة - من العائد يقلل من تباين التدرج دون إضافة تحيز، مما يجعل التعلم أكثر استقرارًا وكفاءة بكثير. دالة الميزة (العائد ناقص القيمة) هي الخيار الشائع.
طرق ذات صلة
المصادر
Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.
افتح مرجع DOIتم النسخ.Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.
افتح مرجع المنشورتم النسخ.