التعلم المعزز العميق
- قدّمه
- Mnih, V. et al. (DQN)
- السنة
- 2015
- النوع
- Sequential decision-making (agent–environment interaction)
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يجمع التعلم المعزز العميق بين الشبكات العصبية والتعلم المعزز بحيث يتعلم الوكيل (agent) من خلال التفاعل مع بيئة، وقد اشتهر هذا النهج بفضل عمل Mnih وزملائه عام 2015 في مجلة Nature حول التحكم بمستوى الإنسان في ألعاب أتاري. بدلاً من التعلم من مجموعة بيانات ثابتة مُعنونة، يتخذ الوكيل إجراءات، ويلاحظ المكافآت، ويشكل تدريجياً سياسة تزيد من العائد طويل الأجل.
الفكرة الحدسية وراء الطريقة
تخيل أن تتعلم لعب لعبة بدون دليل قواعد: تجرب حركات، ترى تغيير درجاتك، وتكتشف ببطء أي الإجراءات تؤتي ثمارها لاحقًا. التعلم المعزز العميق يؤتمت بالضبط حلقة التجربة والخطأ هذه. تقدر شبكة عصبية مدى جودة المواقف والإجراءات، ويحتفظ الوكيل بالخيارات التي تكسب المزيد من المكافآت بمرور الوقت - حتى عندما تأتي المكافأة بعد عدة خطوات من القرار.
التاريخ
برز التعلم المعزز العميق مع ورقة Mnih وزملائه عام 2015 في مجلة Nature، والتي حققت فيها شبكة Q العميقة (deep Q-network) تحكمًا بمستوى الإنسان عبر العديد من ألعاب أتاري مباشرة من البكسلات. تبع ذلك تطورات في تدرج السياسة، بما في ذلك A3C و Proximal Policy Optimization (PPO) لـ Schulman وزملائه عام 2017، والتي أصبحت افتراضية شائعة الاستخدام وأكثر استقرارًا. معًا، تشكل DQN و PPO و A3C أدوات التعلم المعزز العميق الحديثة المستخدمة في الألعاب والروبوتات وما بعدها.
متى تُستخدم
استخدم التعلم المعزز العميق لمشاكل اتخاذ القرار المتسلسل والتحكم - لعب الألعاب، التحكم في الروبوتات، تحسين التوصيات، دعم القرار السريري - حيث يمكن للوكيل التفاعل مع محاكي أو بيئة حية ويمكن تعريف إشارة مكافأة. يتعامل مع المتغيرات المستمرة والفئوية، ولا يفترض أي افتراضات حول التوزيع الطبيعي، ولكنه يتوقع دالة مكافأة مصممة وكمية كبيرة من بيانات التفاعل (ما لا يقل عن 1000 حلقة تقريبًا). مع تفاعلات أقل بكثير، لن تتقارب السياسة، ويكون النموذج الخاضع للإشراف مثل Random Forest أو XGBoost خيارًا أكثر أمانًا.
الحدود والاعتبارات
- يتطلب محاكي أو بيئة تفاعل ودالة مكافأة مصممة بعناية.
- متعطش للبيانات: يحتاج إلى أعداد كبيرة من التفاعلات (حوالي 1000+) ويوصى بوحدة معالجة الرسوميات (GPU).
- تحت حوالي 1000 تفاعل، تفشل السياسة في التقارب؛ تحت حوالي 500 تفاعل، لا يمكنها إنتاج سياسة قرار موثوقة.
- يمكن أن يكون التدريب غير مستقر وحساسًا للمعلمات الفائقة (hyperparameters) وتشكيل المكافأة (reward shaping).
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يتعلم سياسات التحكم واتخاذ القرار المتسلسل مباشرة من التفاعل، دون أمثلة مُعنونة.
- تقريب الدالة العصبية يتوسع ليشمل مساحات حالات وإجراءات كبيرة جدًا.
- مرن عبر المجالات - الألعاب، الروبوتات، التوصيات، دعم القرار السريري.
- لا يفترض افتراضات حول التوزيع الطبيعي؛ يعمل مع مدخلات مستمرة وفئوية والعديد من هياكل البيانات.
التطبيقات
- لعب الألعاب والتحكم في الوكيل (على سبيل المثال، ألعاب أتاري وألعاب الطاولة).
- التحكم في الروبوتات ومهام التحكم المستمر.
- التوصيات ومشاكل التحسين المتسلسل.
- دعم القرار السريري مؤطر كصنع قرار متسلسل.
كيف يعمل
كيف يعمل
يراقب الوكيل الحالة الحالية للبيئة (لعبة، محاكي، روبوت، إعداد توصية)، ويختار إجراءً، ويتلقى مكافأة بالإضافة إلى الحالة التالية. يلزم وجود محاكي أو بيئة تفاعل حية، ويجب تصميم دالة المكافأة عن قصد لأنها تحدد معنى "السلوك الجيد". كل تفاعل يضيف إلى الخبرة التي يتعلم منها الوكيل.
تقوم شبكة عصبية بتقريب قيمة الحالات والإجراءات - على سبيل المثال، تقدر شبكة Q العميقة (deep Q-network) العائد المستقبلي المتوقع لكل إجراء، بينما تقوم طرق تدرج السياسة (policy-gradient methods) مثل PPO و A3C بتحديد معلمات السياسة مباشرة. هذا ما يجعل الطريقة "عميقة": الشبكة تعمم عبر مساحات حالات واسعة لا يمكن لجدول بحث تغطيتها أبدًا.
الصيغة
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]باستخدام المكافآت التي تم جمعها من خلال التفاعل، يتم تحديث الشبكة لتفضيل الإجراءات التي تؤدي إلى عائد مخصوم تراكمي أعلى، مما يحسن السياسة تدريجيًا نحو سياسة تزيد من المكافأة طويلة الأجل. نظرًا لأن التعلم مدفوع بالخبرة، يلزم كميات كبيرة من بيانات التفاعل (يوصي السجل بما لا يقل عن 1000 حلقة/تفاعل تقريبًا) ويفضل وحدة معالجة الرسوميات (GPU) لكي تتقارب السياسة.
الصيغة
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]الأخطاء الشائعة
- تطبيق التعلم المعزز العميق على مجموعة بيانات صغيرة حيث لا يمكن للسياسة التقارب بدلاً من استخدام نموذج خاضع للإشراف.
- تصميم دالة مكافأة محددة بشكل سيء يستغلها الوكيل بطرق غير مقصودة.
- تخطي محاكي/بيئة تفاعل ومحاولة التعلم من جدول ثابت للسجلات.
- تجاهل تشخيصات التقارب والثقة في سياسة غير مدربة بشكل كافٍ وذات تباين عالٍ.
- التقليل من تقدير احتياجات الحوسبة والتشغيل بدون وحدة معالجة رسوميات (GPU) على عدد قليل جدًا من الحلقات.
الأسئلة الشائعة
ما مقدار البيانات التي يحتاجها التعلم المعزز العميق؟
إنه متعطش للبيانات. يوصي السجل بما لا يقل عن 1000 تفاعل/حلقة لكي تتقارب السياسة؛ تحت حوالي 500 تفاعل، لا يمكن لـ DQN/PPO إنتاج سياسة قرار موثوقة، ويكون النموذج الخاضع للإشراف مفضلاً.
ما الفرق بين DQN و PPO و A3C؟
يتعلم DQN دالة قيمة (العائد المتوقع لكل إجراء) ويتصرف بجشع فيما يتعلق بها. PPO و A3C هما طريقتي تدرج السياسة اللتان تحسنان السياسة مباشرة؛ PPO على وجه الخصوص يُقدر لاستقراره التدريبي.
هل أحتاج إلى محاكي؟
نعم. يتعلم التعلم المعزز العميق من التفاعل، لذا يلزم وجود محاكي أو بيئة تفاعل حية، بالإضافة إلى دالة مكافأة مصممة عن قصد تشفر الهدف.
هل أحتاج إلى وحدة معالجة رسوميات (GPU)؟
يوصى بوحدة معالجة الرسوميات (GPU). يقوم التعلم المعزز العميق بتدريب الشبكات العصبية على أعداد كبيرة جدًا من التفاعلات، لذا بدون حوسبة مناسبة، يكون التدريب بطيئًا ويصعب الوصول إلى التقارب.
طرق ذات صلة
المصادر
Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.
افتح مرجع DOIتم النسخ.Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.
افتح مرجع المنشورتم النسخ.