التعلم المعزز
- قدّمه
- Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
- السنة
- 1950s–1998
- النوع
- Sequential decision-making framework
- العائلة
- Deep learning / NLP / CV
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
التعلم المعزز (RL) هو إطار عمل يتعلم فيه الوكيل اتخاذ قرارات متسلسلة من خلال التفاعل مع بيئة، وتلقي إشارات مكافأة عددية، وتحديث سياسة لتعظيم المكافأة المستقبلية التراكمية. على عكس التعلم الخاضع للإشراف، لا يتم توفير أمثلة مصنفة؛ يكتشف الوكيل السلوك الأمثل بالكامل من خلال التجربة والتغذية الراجعة المتأخرة.
الفكرة الحدسية وراء الطريقة
تخيل تدريب كلب: أنت لا تشرح كل إجراء؛ أنت تكافئ السلوك الجيد وتتركه يكتشف ما يجب فعله. يعمل التعلم المعزز بنفس الطريقة. يحاول الوكيل اتخاذ إجراءات في بيئة، ويلاحظ ما يحدث، ويتلقى مكافأة - إيجابية للنتائج المرغوبة، وسلبية للأخطاء. على مدار العديد من التفاعلات، يتعلم أي الإجراءات في أي المواقف تميل إلى أن تؤدي إلى أكبر قدر من المكافأة، ويبني استراتيجية - تسمى سياسة - دون الحاجة إلى أي مجموعة بيانات مصنفة مسبقًا للإجابات الصحيحة.
التاريخ
يعود التعلم المعزز بجذوره إلى البرمجة الديناميكية لبلمان (1957) وعلم نفس تعلم الحيوان. قام ساتون وبارتو بتشكيل الإطار الحديث في كتابهما المدرسي لعام 1998، موحدين تعلم الفروق الزمنية، وتعلم Q، وطرق تدرج السياسة. تحول المجال في 2013-2015 عندما جمع DQN من DeepMind بين شبكات CNN العميقة وتعلم Q لتحقيق أداء Atari على مستوى الإنسان، مما أطلق التعلم المعزز العميق كاتجاه بحثي رئيسي. توسعت AlphaGo (2016) والأعمال اللاحقة لـ RLHF على نماذج اللغة الكبيرة في نطاق التعلم المعزز.
متى تُستخدم
استخدم التعلم المعزز عندما تكون المهمة هي اتخاذ قرارات متسلسلة بمكافآت متأخرة ولا توجد بيانات تدريب مصنفة: لعب الألعاب، التحكم الروبوتي، جدولة الموارد، تسلسل التوصيات، أو ضبط نماذج اللغة الدقيقة مع ردود فعل بشرية (RLHF). التعلم المعزز مناسب عندما يمكن محاكاة البيئة بتكلفة زهيدة ويمكن للوكيل التفاعل عدة مرات. لا تستخدم التعلم المعزز عندما يمكن لنهج خاضع للإشراف أو ذاتي الإشراف حل المشكلة - التعلم المعزز غير فعال من حيث العينات وغير مستقر؛ عندما يكون من الصعب تحديد دالة المكافأة؛ عندما تكون التفاعلات مع البيئة الحقيقية مكلفة أو خطيرة بدون محاكي؛ أو عندما تكون مجموعة البيانات ثابتة ومحددة (استخدم التعلم المعزز دون اتصال بحذر).
الحدود والاعتبارات
- غير فعال للغاية من حيث العينات: قد يتطلب ملايين التفاعلات مع البيئة للتقارب.
- غالبًا ما يكون التدريب غير مستقر وحساسًا للمعلمات الفائقة وتشكيل المكافأة والبذور العشوائية.
- تصميم دالة المكافأة صعب؛ المكافآت المحددة بشكل سيء تسبب تحسينًا غير مقصود (اختراق المكافأة).
- لا يضمن التعميم على الحالات أو البيئات غير المرئية.
- النشر في العالم الحقيقي محفوف بالمخاطر بدون محاكاة مكثفة؛ يمكن أن يتسبب الاستكشاف في إجراءات خطيرة.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يتعلم مباشرة من التفاعل دون بيانات مصنفة، مما يجعله قابلاً للتطبيق حيث يكون التصنيف مستحيلاً.
- قادر على اكتشاف استراتيجيات خارقة في مهام متسلسلة معقدة (ألعاب، روبوتات، جدولة).
- ينمذج بشكل طبيعي التخطيط طويل الأفق وتعيين الائتمان الزمني.
- يتوسع إلى مساحات حالات عالية الأبعاد (بكسلات، نص) عند دمجه مع الشبكات العصبية العميقة.
- يمكّن RLHF من مواءمة نماذج اللغة الكبيرة مع التفضيلات البشرية.
التطبيقات
- لعب الألعاب والاستراتيجية: أتاري، جو، شطرنج، ستار كرافت بمستويات خارقة.
- الروبوتات: الحركة، التلاعب، والتحكم الدقيق في اليد.
- مواءمة نماذج اللغة الكبيرة عبر التعلم المعزز من التغذية الراجعة البشرية (RLHF).
- جدولة الموارد والشبكات، تحسين تبريد مراكز البيانات.
- أنظمة توصية مخصصة لنمذجة تفاعل المستخدم طويل الأجل.
- محاكاة القيادة الذاتية والتحكم في إشارات المرور.
كيف يعمل
كيف يعمل
في كل خطوة زمنية، يلاحظ الوكيل الحالة الحالية للبيئة ويختار إجراءً وفقًا لسياسته الحالية. تنتقل البيئة إلى حالة جديدة وتصدر مكافأة عددية. تتكرر حلقة الملاحظة-الفعل-المكافأة هذه، مما يولد مسارًا للتجربة يُستخدم لتحسين السياسة.
يهدف الوكيل إلى تعظيم المكافأة التراكمية المخصومة G_t، والتي تجمع كل المكافآت المستقبلية الموزونة بعامل خصم جاما بين 0 و 1. جاما القريبة من 1 تجعل الوكيل بعيد النظر؛ جاما الصغيرة تجعله يركز على المكافآت الفورية. تشكيل المكافأة بعناية أمر بالغ الأهمية لأن الوكيل يحسن أي إشارة يتلقاها.
الصيغة
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}تربط السياسة pi الحالات بالإجراءات (أو احتمالات الإجراءات). يمكن تمثيلها كجدول بحث للمشاكل المنفصلة الصغيرة، أو كشبكة عصبية عميقة - وكيل تعلم معزز عميق - للحالات عالية الأبعاد مثل الصور أو النص. السياسة هي ما يتعلمه الوكيل وفي النهاية ما يتم نشره.
الصيغة
\pi(a \mid s) = P(A_t = a \mid S_t = s)
تقدر دوال القيمة مدى جودة حالة (أو زوج حالة-إجراء) في ظل سياسة معينة. قيمة الحالة V(s) هي المكافأة التراكمية المتوقعة من الحالة s فصاعدًا. دوال قيمة الإجراء Q(s, a) توسع هذا إلى إجراءات محددة. توجه هذه التقديرات تحسين السياسة في طرق مثل Q-learning و SARSA وخوارزميات الممثل-الناقد.
الصيغة
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]يقوم الوكيل بتحديث سياسته باستخدام الخبرة المجمعة. الطرق القائمة على القيمة (مثل DQN) تستمد السياسة ضمنيًا من قيم Q؛ طرق تدرج السياسة (مثل REINFORCE، PPO) تعدل معلمات السياسة مباشرة لزيادة احتمالية مسارات المكافآت العالية. تجمع معظم الخوارزميات الحديثة بين كليهما في هياكل الممثل-الناقد.
الأخطاء الشائعة
- تحديد دالة مكافأة يسهل تحسينها ولكنها غير متوافقة مع الهدف الحقيقي (اختراق المكافأة).
- تخطي بيئة محاكاة مضبوطة جيدًا والانتقال مباشرة إلى الأجهزة الحقيقية، مما يؤدي إلى فشل مكلف.
- اختيار التعلم المعزز عندما يكون نهج التعلم الخاضع للإشراف أو التعلم بالتقليد أكثر كفاءة من حيث العينات بكثير.
- تجاهل قابلية التكرار: تختلف نتائج التعلم المعزز بشكل كبير عبر البذور العشوائية؛ قم دائمًا بالإبلاغ عن عمليات تشغيل متعددة.
- معاملة منحنى تدريب تشغيل واحد كدليل على التقارب دون حلقات تقييم محجوبة.
الأسئلة الشائعة
ما الذي يميز التعلم المعزز عن التعلم الخاضع للإشراف؟
يتطلب التعلم الخاضع للإشراف أزواج مدخلات-مخرجات مصنفة ويتعلم تعيينًا ثابتًا. التعلم المعزز لا يتطلب تسميات؛ بدلاً من ذلك، يتلقى الوكيل إشارات مكافأة بعد الإجراءات ويجب عليه اكتشاف ما يجب فعله من خلال التجربة والخطأ، مما يجعله مناسبًا لمشاكل اتخاذ القرارات المتسلسلة حيث لا يُعرف الإجراء الصحيح مسبقًا.
ما الفرق بين التعلم المعزز الخالي من النماذج والنموذجي؟
يتعلم التعلم المعزز الخالي من النماذج (مثل DQN، PPO) السياسات أو دوال القيمة مباشرة من التجربة دون نموذج صريح لديناميكيات البيئة. يتعلم التعلم المعزز النموذجي أو يُعطى نموذج انتقال ويستخدمه للتخطيط. تميل الطرق النموذجية إلى أن تكون أكثر كفاءة من حيث العينات ولكنها تتطلب نموذجًا دقيقًا، والذي قد يكون من الصعب تعلمه.
كيف أختار بين طريقة قائمة على القيمة وطريقة تدرج السياسة؟
تعمل الطرق القائمة على القيمة مثل DQN بشكل جيد مع مساحات الإجراءات المنفصلة وهي مستقرة نسبيًا. تتعامل طرق تدرج السياسة (REINFORCE، PPO، SAC) مع مساحات الإجراءات المستمرة بشكل طبيعي ويمكنها تعلم سياسات عشوائية. تجمع طرق الممثل-الناقد بين كليهما. بالنسبة لمعظم التطبيقات الحديثة، يعد PPO أو SAC نقاط انطلاق آمنة.
كم عدد تفاعلات البيئة التي يحتاجها التعلم المعزز عادةً؟
التعلم المعزز متعطش للعينات بشكل سيئ السمعة. قد تتقارب المهام الجدولية البسيطة في آلاف الخطوات؛ تطلب Atari DQN عشرات الملايين من الإطارات؛ قد تحتاج مهام الروبوتات المعقدة إلى مئات الملايين من خطوات المحاكاة. هذا يجعل المحاكي السريع ضروريًا ويستبعد التعلم المعزز للعديد من مشاكل العالم الحقيقي ذات التفاعلات المكلفة.
ما هو RLHF ولماذا هو مهم؟
يقوم التعلم المعزز من التغذية الراجعة البشرية بتدريب نموذج مكافأة من مقارنات التفضيلات البشرية ثم يضبط نموذج اللغة بدقة باستخدام التعلم المعزز لتعظيم تلك المكافأة المتعلمة. إنها التقنية السائدة لمواءمة نماذج اللغة الكبيرة مع القيم البشرية وهي مركزية لنماذج مثل InstructGPT و Claude.
طرق ذات صلة
المصادر
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ردمك: 978-0-262-03924-6تم النسخ.Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
افتح مرجع DOIتم النسخ.