الانتقال إلى المحتوى
العودة إلى نتائج البحث

تعلم Q (Q-Learning)

قدّمه
Christopher Watkins & Peter Dayan
السنة
1992
النوع
Model-free reinforcement-learning control algorithm
العائلة
Reinforcement learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

تعلم Q (Q-learning)، الذي قدمه كريستوفر واتكينز وبيتر داين في عام 1992، هو خوارزمية تعلم معزز خالية من النماذج تتعلم قيمة اتخاذ كل إجراء في كل حالة - دالة Q - بشكل بحت من التجربة، دون نموذج للبيئة. إنها خارج السياسة (off-policy): تتعلم قيم الإجراءات المثلى أثناء اتباع سياسة سلوك استكشافي، وتحت الظروف القياسية تثبت نظريًا تقاربها إلى السياسة المثلى.

الفكرة الحدسية وراء الطريقة

يحتاج الوكيل الذي يتعلم عن طريق التجربة والخطأ إلى معرفة، لكل موقف، مدى جودة كل إجراء ممكن على المدى الطويل. يحافظ تعلم Q على ذلك بالضبط: جدول (أو دالة) لقيم Q تقدّر المكافأة المستقبلية الإجمالية لاتخاذ إجراء في حالة معينة والتصرف بشكل أمثل بعد ذلك. في كل مرة يتخذ فيها الوكيل إجراءً، ويلاحظ مكافأة، ويصل إلى حالة جديدة، فإنه يدفع قيمة Q نحو ما اختبره للتو بالإضافة إلى أفضل ما يعتقد أنه يمكنه فعله بعد ذلك. والأهم من ذلك، أنه يحدث نحو أفضل إجراء تالٍ بغض النظر عما فعله بالفعل بعد ذلك - حتى يتمكن من الاستكشاف بحرية مع الاستمرار في تعلم الاستراتيجية المثلى.

التاريخ

قدم كريستوفر واتكينز تعلم Q في أطروحته عام 1989، وقدم واتكينز وداين (1992) إثبات التقارب، مما جعله حجر الزاوية في التعلم المعزز. إنه يعمم تعلم فرق الزمن (temporal-difference learning) على التحكم ويدعم المعالم اللاحقة - أبرزها شبكات Q العميقة (Mnih et al., 2015)، التي جمعت تعلم Q مع الشبكات العميقة للعب ألعاب أتاري من وحدات البكسل. يتم تناوله بشكل معياري في كتاب سوتون وبارتو (Sutton and Barto) ولا يزال نقطة انطلاق افتراضية للتعلم المعزز القائم على القيمة.

متى تُستخدم

استخدم تعلم Q لمشاكل اتخاذ القرار المتسلسل المؤطرة كعملية ماركوف لاتخاذ القرار (Markov decision process) حيث يمكنك أخذ عينات من الانتقالات والمكافآت ولكن ليس لديك نموذج للديناميكيات (أو نموذج غير موثوق به) - التحكم، الألعاب، التوجيه، الجدولة، والأنظمة التكيفية. يناسب تعلم Q الجدولي المساحات الصغيرة والمتقطعة للحالة-الإجراء ويتقارب إلى الأمثل بالنظر إلى الاستكشاف الكافي وحجم الخطوة المتناقص. بالنسبة للمساحات الكبيرة أو المستمرة، يتم استبدال الجدول بمقرب دالة (شبكات Q العميقة - Deep Q-Networks). يفترض خاصية ماركوف وبيئة ثابتة، ويمكن أن يكون غير فعال من حيث العينات، وعامل max يسبب تحيزًا تفاؤليًا (تعظيم) يتم معالجته بواسطة متغيرات مثل تعلم Q المزدوج (Double Q-learning). عندما تكون هناك حاجة إلى سياسة احتمالية أو سياسة ذات إجراءات مستمرة، فإن طرق تدرج السياسة (policy-gradient methods) هي البديل.

الحدود والاعتبارات

  • الشكل الجدولي لا يتوسع إلى مساحات الحالة/الإجراء الكبيرة أو المستمرة.
  • غير فعال من حيث العينات؛ قد يحتاج إلى العديد من الحلقات للتقارب.
  • تحيز التعظيم (التقدير المفرط) من عامل max؛ يتم تخفيفه بواسطة تعلم Q المزدوج.
  • يفترض عملية ماركوف لاتخاذ القرار (ثابتة)؛ يعاني في ظل المراقبة الجزئية أو الانجراف.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • خالٍ من النماذج: لا يحتاج إلى نموذج انتقال/مكافأة، فقط خبرة مُعينة.
  • خارج السياسة: يتعلم السياسة المثلى أثناء الاستكشاف بسياسة أخرى.
  • يتقارب نظريًا إلى قيم الإجراءات المثلى في ظل الظروف القياسية.
  • بسيط، أساسي، وهو الأساس لشبكات Q العميقة والعديد من التحسينات.

التطبيقات

  • لعب الألعاب ومهام التحكم المحاكاة.
  • التنقل الروبوتي والتحكم التكيفي.
  • التوجيه الديناميكي والجدولة وتخصيص الموارد.
  • سياسات التوصية والتفاعل التكيفي.
  • طريقة أساسية قائمة على القيمة قبل شبكات Q العميقة.

كيف يعمل

كيف يعمل

1

تقدّر Q(s, a) مجموع المكافآت المستقبلية المخصومة المتوقعة من اتخاذ الإجراء a في الحالة s ثم التصرف بشكل أمثل. يزن عامل الخصم γ المكافآت القريبة أكثر من المكافآت البعيدة. تعلم Q لجميع أزواج الحالة-الإجراء يعادل حل مشكلة التحكم.

الصيغة
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]
2

بعد كل انتقال (حالة s، إجراء a، مكافأة r، حالة تالية s')، يقوم تعلم Q بتحديث Q(s, a) بخطوة α نحو هدف فرق الزمن r + γ·max على الإجراءات التالية لـ Q(s', a'). 'max' هو ما يجعله خارج السياسة ويوجه التعلم نحو القيمة المثلى، بغض النظر عن الإجراء الذي تم اتخاذه فعليًا بعد ذلك.

الصيغة
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]
3

لجمع الخبرة، يتصرف الوكيل وفقًا لسياسة استكشاف، عادةً ما تكون ε-greedy: عادةً ما يختار أفضل إجراء حالي، ولكن باحتمالية ε يختار إجراءً عشوائيًا. يضمن الاستكشاف تجربة جميع أزواج الحالة-الإجراء، وهو ما يتطلبه ضمان التقارب؛ عادةً ما تتناقص ε بمرور الوقت.

الصيغة
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}
4

بمجرد تقارب Q إلى قيم الإجراءات المثلى Q*، فإن السياسة المثلى هي ببساطة اتخاذ، في كل حالة، الإجراء ذي أعلى قيمة Q. في الممارسة العملية، يتم استخلاص السياسة الجشعة (greedy) بالنسبة لـ Q الحالي في النهاية (أو استخدامها عند النشر).

الصيغة
\pi^*(s) = \arg\max_a Q^*(s,a)

الأخطاء الشائعة

  • استكشاف غير كافٍ (ε صغير جدًا/متناقص بسرعة)، مما يترك الأمثل غير متعلم.
  • جدول معدل تعلم سيئ، يسبب تباعدًا أو تعلمًا بطيئًا مؤلمًا.
  • تطبيق تعلم Q الجدولي على مساحات كبيرة بدلاً من مقرب دالة.
  • تجاهل تحيز التقدير المفرط في المشاكل الاحتمالية حيث يساعد تعلم Q المزدوج.

الأسئلة الشائعة

ماذا يعني 'خارج السياسة' (off-policy) في تعلم Q؟

يعني أن تعلم Q يتعلم قيمة السياسة المثلى بينما يتبع الوكيل سياسة سلوك مختلفة (استكشافية). تستهدف التحديثات r + γ·max Q(s', a') - أفضل إجراء تالٍ - وليس الإجراء الذي تم اتخاذه فعليًا، لذلك لا يؤدي الاستكشاف إلى تحيز الأمثل المتعلم.

كيف يرتبط تعلم Q بشبكات Q العميقة (DQN)؟

تستبدل DQN جدول Q بشبكة عصبية عميقة تقرب Q(s, a)، مما يتيح تعلم Q في مساحات الحالة الكبيرة أو المستمرة (مثل وحدات البكسل). تضيف حيل استقرار - إعادة تشغيل التجربة وشبكة مستهدفة - ولكن قاعدة التعلم الأساسية هي تحديث فرق الزمن الخاص بتعلم Q.

لماذا يبالغ تعلم Q في تقدير القيم؟

يميل عامل max في التحديث إلى اختيار تقديرات مفرطة التفاؤل، مما يؤدي إلى تحيز Q للأعلى، خاصة مع المكافآت المشوشة. يقلل تعلم Q المزدوج من ذلك عن طريق فصل اختيار الإجراء عن تقييم القيمة باستخدام مقدرين، مما ينتج عنه سياسات أقل تحيزًا وغالبًا ما تكون أفضل.

طرق ذات صلة

المصادر

  1. Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.

    افتح مرجع DOI
    تم النسخ.
  2. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ردمك: 978-0-262-03924-6
    تم النسخ.