Skip to content
بازگشت به نتایج جست‌وجو

یادگیری کیو (Q-Learning)

معرفی‌شده توسط
Christopher Watkins & Peter Dayan
سال
1992
نوع
Model-free reinforcement-learning control algorithm
خانواده
Reinforcement learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری کیو، که در سال ۱۹۹۲ توسط کریستوفر واتکینز و پیتر دایان معرفی شد، یک الگوریتم یادگیری تقویتی بدون مدل است که ارزش انجام هر عمل در هر حالت — تابع کیو (Q-function) — را صرفاً از تجربه و بدون نیاز به مدل محیط می‌آموزد. این الگوریتم خارج از سیاست (off-policy) است: در حالی که یک سیاست رفتاری اکتشافی را دنبال می‌کند، مقادیر بهینه عمل را می‌آموزد و تحت شرایط استاندارد، به طور اثبات‌شده‌ای به سیاست بهینه همگرا می‌شود.

شهود پشت روش

یک عامل که با آزمون و خطا یاد می‌گیرد، نیاز دارد تا برای هر موقعیت، بداند که هر عمل ممکن در بلندمدت چقدر خوب است. یادگیری کیو دقیقاً همین را حفظ می‌کند: جدولی (یا تابعی) از مقادیر کیو که پاداش کل آینده را از انجام یک عمل در یک حالت و سپس رفتار بهینه پس از آن تخمین می‌زند. هر بار که عامل عمل می‌کند، پاداشی را مشاهده می‌کند و به حالت جدیدی وارد می‌شود، مقدار کیو را به سمت آنچه اخیراً تجربه کرده به علاوه بهترین چیزی که فکر می‌کند می‌تواند در آینده انجام دهد، سوق می‌دهد. نکته مهم این است که این به‌روزرسانی به سمت بهترین عمل بعدی انجام می‌شود، صرف نظر از اینکه عامل واقعاً چه کاری را در ادامه انجام داده است — بنابراین می‌تواند آزادانه کاوش کند و در عین حال استراتژی بهینه را بیاموزد.

تاریخ

کریستوفر واتکینز یادگیری کیو را در پایان‌نامه خود در سال ۱۹۸۹ معرفی کرد و واتکینز و دایان (۱۹۹۲) اثبات همگرایی آن را ارائه دادند و آن را به عنوان سنگ بنای یادگیری تقویتی تثبیت کردند. این روش یادگیری اختلاف زمانی را برای کنترل تعمیم می‌دهد و اساس نقاط عطف بعدی را تشکیل می‌دهد — به ویژه شبکه‌های عمیق کیو (Mnih et al., 2015)، که یادگیری کیو را با شبکه‌های عمیق ترکیب کردند تا بازی‌های آتاری را از پیکسل‌ها انجام دهند. این روش به طور متعارف در کتاب درسی ساتون و بارتو مورد بحث قرار گرفته و همچنان نقطه شروع پیش‌فرض برای یادگیری تقویتی مبتنی بر ارزش است.

چه زمانی استفاده شود

از یادگیری کیو برای مسائل تصمیم‌گیری متوالی که به صورت یک فرایند تصمیم‌گیری مارکوف (Markov decision process) چارچوب‌بندی شده‌اند استفاده کنید، جایی که می‌توانید انتقال‌ها و پاداش‌ها را نمونه‌برداری کنید اما مدل دینامیک‌ها را ندارید (یا مدل غیرقابل اعتمادی دارید) — کنترل، بازی‌ها، مسیریابی، زمان‌بندی و سیستم‌های تطبیقی. یادگیری کیو جدولی برای فضاهای حالت-عمل کوچک و گسسته مناسب است و با اکتشاف کافی و اندازه گام کاهشی به بهینه همگرا می‌شود. برای فضاهای بزرگ یا پیوسته، جدول با یک تقریب‌گر تابع (شبکه‌های عمیق کیو - Deep Q-Networks) جایگزین می‌شود. این روش فرض می‌کند که خاصیت مارکوف و محیط ایستا برقرار است، ممکن است از نظر نمونه ناکارآمد باشد و عملگر max یک سوگیری خوش‌بینانه (بیشینه‌سازی) را القا می‌کند که با واریانت‌هایی مانند یادگیری کیو دوگانه (Double Q-learning) به آن پرداخته می‌شود. هنگامی که به یک سیاست احتمالی یا با عمل پیوسته نیاز است، روش‌های گرادیان سیاست (policy-gradient methods) جایگزین هستند.

محدودیت‌ها و ملاحظات

  • فرم جدولی برای فضاهای حالت/عمل بزرگ یا پیوسته مقیاس‌پذیر نیست.
  • از نظر نمونه ناکارآمد است؛ ممکن است برای همگرایی به اپیزودهای زیادی نیاز داشته باشد.
  • سوگیری بیشینه‌سازی (بیش‌تخمین‌زنی) ناشی از عملگر max؛ با یادگیری کیو دوگانه کاهش می‌یابد.
  • فرایند تصمیم‌گیری مارکوف (ایستا) را فرض می‌کند؛ در مشاهده ناقص یا رانش محیط دچار مشکل می‌شود.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • بدون مدل (Model-free): نیازی به مدل انتقال/پاداش ندارد، فقط تجربه نمونه‌برداری شده لازم است.
  • خارج از سیاست (Off-policy): سیاست بهینه را در حالی که با سیاست دیگری (اکتشافی) کاوش می‌کند، می‌آموزد.
  • تحت شرایط استاندارد، به طور اثبات‌شده‌ای به مقادیر بهینه عمل همگرا می‌شود.
  • ساده، بنیادی و اساس شبکه‌های عمیق کیو و بسیاری از افزونه‌ها.

کاربردها

  • انجام بازی و وظایف کنترل شبیه‌سازی شده.
  • ناوبری ربات و کنترل تطبیقی.
  • مسیریابی پویا، زمان‌بندی و تخصیص منابع.
  • سیاست‌های توصیه‌گر و تعامل تطبیقی.
  • یک روش پایه مبتنی بر ارزش قبل از شبکه‌های عمیق کیو.

چگونه کار می‌کند

چگونه کار می‌کند

1

Q(s, a) میانگین وزنی پاداش‌های آتی را از انجام عمل a در حالت s و سپس عمل بهینه تخمین می‌زند. ضریب وزنی γ به پاداش‌های نزدیک وزن بیشتری نسبت به پاداش‌های دور می‌دهد. یادگیری Q برای تمام جفت‌های حالت-عمل معادل حل مسئله کنترل است.

فرمول
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]
2

پس از هر انتقال (حالت s، عمل a، پاداش r، حالت بعدی s')، یادگیری کیو با گام α، مقدار Q(s, a) را به سمت هدف اختلاف زمانی r + γ·max بر روی اعمال بعدی از Q(s', a') به‌روزرسانی می‌کند. عبارت 'max' همان چیزی است که آن را خارج از سیاست می‌کند و یادگیری را به سمت مقدار بهینه هدایت می‌کند، مستقل از عملی که واقعاً در ادامه انجام شده است.

فرمول
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]
3

برای جمع‌آوری تجربه، عامل با یک سیاست اکتشافی عمل می‌کند، که معمولاً ε-حریصانه (ε-greedy) است: معمولاً بهترین عمل فعلی را انتخاب می‌کند، اما با احتمال ε یک عمل تصادفی را انتخاب می‌کند. اکتشاف تضمین می‌کند که تمام جفت‌های حالت-عمل امتحان شوند، که شرط تضمین همگرایی است؛ ε معمولاً با گذشت زمان کاهش می‌یابد.

فرمول
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}
4

هنگامی که Q به مقادیر بهینه عمل Q* همگرا شد، سیاست بهینه به سادگی این است که در هر حالت، عملی با بالاترین مقدار کیو را انجام دهد. در عمل، سیاست حریصانه نسبت به Q فعلی در انتها استخراج می‌شود (یا در زمان استقرار استفاده می‌شود).

فرمول
\pi^*(s) = \arg\max_a Q^*(s,a)

دام‌های رایج

  • اکتشاف ناکافی (ε خیلی کوچک/خیلی سریع کاهش یافته)، باعث می‌شود بهینه یاد گرفته نشود.
  • برنامه نامناسب نرخ یادگیری، باعث واگرایی یا یادگیری بسیار کند می‌شود.
  • اعمال یادگیری کیو جدولی بر روی فضاهای بزرگ به جای تقریب‌گر تابع.
  • نادیده گرفتن سوگیری بیش‌تخمین‌زنی در مسائل احتمالی که یادگیری کیو دوگانه در آن‌ها کمک‌کننده است.

پرسش‌های متداول

عبارت 'خارج از سیاست' (off-policy) در یادگیری کیو به چه معناست؟

به این معنی است که یادگیری کیو ارزش سیاست بهینه را در حالی که عامل از یک سیاست رفتاری متفاوت (اکتشافی) پیروی می‌کند، می‌آموزد. اهداف به‌روزرسانی r + γ·max Q(s', a') — بهترین عمل بعدی — هستند، نه عملی که واقعاً انجام شده است، بنابراین اکتشاف، بهینه آموخته شده را دچار سوگیری نمی‌کند.

یادگیری کیو چگونه با شبکه‌های عمیق کیو (DQN) مرتبط است؟

DQN جدول کیو را با یک شبکه عصبی عمیق جایگزین می‌کند که Q(s, a) را تقریب می‌زند و امکان یادگیری کیو را در فضاهای حالت بزرگ یا پیوسته (مانند پیکسل‌ها) فراهم می‌کند. این روش ترفندهای تثبیت‌کننده را اضافه می‌کند — بازپخش تجربه (experience replay) و شبکه هدف (target network) — اما قانون یادگیری اصلی، به‌روزرسانی اختلاف زمانی یادگیری کیو است.

چرا یادگیری کیو مقادیر را بیش‌تخمین می‌زند؟

عملگر max در به‌روزرسانی تمایل دارد تخمین‌های بیش از حد خوش‌بینانه را انتخاب کند و Q را به سمت بالا سوگیری می‌دهد، به خصوص با پاداش‌های نویزی. یادگیری کیو دوگانه با جدا کردن انتخاب عمل از ارزیابی ارزش با استفاده از دو تخمین‌گر، این را کاهش می‌دهد و سیاست‌های کمتر سوگیرانه و اغلب بهتری را ارائه می‌دهد.

روش‌های مرتبط

منابع

  1. Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.

    باز کردن مرجع DOI
    کپی شد.
  2. Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    شابک: 978-0-262-03924-6
    کپی شد.