Skip to content
بازگشت به نتایج جست‌وجو

روش‌های گرادیان خط‌مشی

معرفی‌شده توسط
Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
سال
1992
نوع
Policy-based reinforcement learning
خانواده
Reinforcement learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

روش‌های گرادیان خط‌مشی الگوریتم‌های یادگیری تقویتی هستند که یک خط‌مشی پارامتری را مستقیماً از طریق صعود گرادیان بر روی بازده مورد انتظار بهینه می‌کنند، به جای یادگیری ارزش‌های عمل و عمل حریصانه. این روش‌ها که بر اساس الگوریتم REINFORCE رونالد ویلیامز در سال ۱۹۹۲ و قضیه گرادیان خط‌مشی ساتون و همکاران (۲۰۰۰) بنا شده‌اند، به طور طبیعی فضاهای عمل تصادفی و پیوسته را مدیریت می‌کنند و اساس الگوریتم‌های مدرن بازیگر-منتقد (actor-critic) و یادگیری تقویتی عمیق (deep-RL) را تشکیل می‌دهند.

شهود پشت روش

روش‌های مبتنی بر ارزش مانند یادگیری Q، میزان خوب بودن هر عمل را یاد می‌گیرند و سپس بهترین را انتخاب می‌کنند؛ گرادیان‌های خط‌مشی از واسطه عبور کرده و خود خط‌مشی را تنظیم می‌کنند. خط‌مشی یک توزیع احتمال بر روی اعمال با پارامترهای قابل تنظیم است. پس از عمل کردن و مشاهده بازده، پارامترها را طوری جابجا می‌کنید که اعمالی که منجر به پاداش بالا شده‌اند، محتمل‌تر و اعمال ضعیف کمتر محتمل شوند — صعود گرادیان بر روی پاداش مورد انتظار. از آنجایی که خط‌مشی می‌تواند هر توزیع مشتق‌پذیری باشد، این روش برای کنترل‌های پیوسته (مانند زاویه فرمان) که در آن‌ها «حداکثر کردن بر روی اعمال» غیرعملی است، کار می‌کند. کم کردن یک خط پایه (تخمین ارزش) گرادیان پرنویز را پایدار نگه می‌دارد.

تاریخ

رونالد ویلیامز REINFORCE، گرادیان خط‌مشی مونت کارلو بنیادی را در سال ۱۹۹۲ معرفی کرد. ساتون، مک‌الستر، سینگ و منصور (۲۰۰۰) قضیه گرادیان خط‌مشی را با تقریب تابع اثبات کردند و خط‌مشی‌های شبکه عصبی و خانواده بازیگر-منتقد را امکان‌پذیر ساختند. این رویکرد منجر به یک دهه پیشرفت در یادگیری تقویتی عمیق شد — A3C، TRPO، PPO، DDPG/SAC — و در یادگیری تقویتی از بازخورد انسانی (RLHF) که برای هم‌ترازی مدل‌های زبان بزرگ استفاده می‌شود، مرکزی است. این روش، همتای مبتنی بر خط‌مشی روش‌های مبتنی بر ارزش مانند یادگیری Q است.

چه زمانی استفاده شود

از روش‌های گرادیان خط‌مشی زمانی استفاده کنید که فضای عمل پیوسته یا با ابعاد بالا باشد، زمانی که یک خط‌مشی تصادفی مطلوب است (اکتشاف، مشاهده‌پذیری جزئی، چند عاملی)، یا زمانی که می‌خواهید یک خط‌مشی را به صورت سرتاسری با یک شبکه عصبی بهینه کنید — کنترل رباتیک، معیارهای کنترل پیوسته، خط‌مشی‌های گفتگو/توصیه، و به عنوان پایه RLHF برای مدل‌های زبان. آن‌ها مستقیماً هدف را بهینه می‌کنند و اعمال پیوسته را که روش‌های مبتنی بر ارزش با آن‌ها مشکل دارند، مدیریت می‌کنند. هزینه‌ها: تخمین‌های گرادیان دارای واریانس بالا هستند (که با خطوط پایه/منتقدها کاهش می‌یابد)، آن‌ها معمولاً روی خط‌مشی (on-policy) و با بهره‌وری نمونه کم هستند، به اندازه گام و مقیاس‌بندی پاداش حساس هستند و مستعد بهینه‌های محلی هستند. زمانی که فضای عمل کوچک و گسسته است، یادگیری Q مبتنی بر ارزش/DQN می‌تواند ساده‌تر و با بهره‌وری نمونه بیشتری باشد؛ انواع ناحیه اعتماد (TRPO/PPO) بی‌ثباتی اندازه گام را برطرف می‌کنند.

محدودیت‌ها و ملاحظات

  • تخمین‌های گرادیان با واریانس بالا؛ برای عملی بودن به خطوط پایه یا منتقد نیاز دارند.
  • معمولاً روی خط‌مشی (on-policy) و با بهره‌وری نمونه کم نسبت به روش‌های ارزشی خارج از خط‌مشی (off-policy) هستند.
  • به نرخ یادگیری، مقیاس‌بندی پاداش حساس هستند و می‌توانند به بهینه‌های محلی همگرا شوند.
  • پایداری نیاز به دقت دارد؛ گام‌های بزرگ خام می‌توانند خط‌مشی را فرو بپاشند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • خط‌مشی را مستقیماً بهینه کنید؛ فضاهای عمل پیوسته و با ابعاد بالا را مدیریت کنید.
  • خط‌مشی‌های تصادفی را به طور طبیعی نمایش دهید، که به اکتشاف و مشاهده‌پذیری جزئی کمک می‌کند.
  • به طور یکپارچه با تقریب تابع شبکه عصبی (یادگیری تقویتی عمیق) ادغام شوید.
  • پایه الگوریتم‌های مدرن (A2C/A3C، TRPO، PPO، DDPG) و RLHF.

کاربردها

  • کنترل پیوسته در رباتیک و محیط‌های شبیه‌سازی شده.
  • بازی و تصمیم‌گیری متوالی پیچیده.
  • خط‌مشی‌های گفتگو، توصیه و تعامل تطبیقی.
  • یادگیری تقویتی از بازخورد انسانی (RLHF) برای مدل‌های زبان.
  • مسائل عملیات و کنترل با اعمال پیوسته.

چگونه کار می‌کند

چگونه کار می‌کند

1

هدف، بیشینه‌سازی J(θ) است، یعنی بازده تنزیل‌شده مورد انتظار مسیرهایی که توسط خط‌مشی π_θ تولید می‌شوند. برخلاف روش‌های ارزشی، شیء بهینه‌سازی شده مستقیماً پارامترهای خط‌مشی است و خط‌مشی می‌تواند تصادفی و پیوسته باشد.

فرمول
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]
2

قضیه گرادیان خط‌مشی، گرادیان بازده مورد انتظار را به صورت انتظاری از تابع امتیاز (گرادیان لگاریتم خط‌مشی) وزن‌دهی شده با ارزش عمل بیان می‌کند. به طور حیاتی، گرادیان نیازی به مشتق‌گیری از دینامیک محیط ندارد، بنابراین می‌توان آن را از تجربه نمونه‌برداری شده تخمین زد.

فرمول
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]
3

REINFORCE تخمین‌گر مونت کارلو است: پس از یک اپیزود، برای هر گام، پارامترها را در جهت گرادیان لگاریتم خط‌مشی که با بازده از آن گام منهای یک خط پایه مقیاس‌بندی شده است، جابجا می‌کند. خط پایه (اغلب تخمین ارزش حالت) واریانس را بدون افزودن بایاس کاهش می‌دهد و گرادیان پرنویز را قابل استفاده می‌کند.

فرمول
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
4

روش‌های بازیگر-منتقد دو چیز را با هم یاد می‌گیرند: یک بازیگر (خط‌مشی) که توسط گرادیان خط‌مشی به‌روزرسانی می‌شود، و یک منتقد (یک تابع ارزش) که تخمین کم‌نویز از مزیت (چقدر یک عمل بهتر از میانگین است) را فراهم می‌کند. تخمین‌های بوت استرپ منتقد، بازده‌های مونت کارلو با واریانس بالا را جایگزین می‌کنند و یادگیری پایدارتر و با بهره‌وری نمونه بیشتری را به ارمغان می‌آورند و اساس A2C/A3C، PPO و DDPG را تشکیل می‌دهند.

فرمول
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot A

دام‌های رایج

  • حذف یک خط پایه/منتقد، باعث می‌شود گرادیان‌ها برای یادگیری بیش از حد پرنویز باشند.
  • استفاده مجدد از داده‌های خارج از خط‌مشی با یک تخمین‌گر خام روی خط‌مشی، گرادیان را بایاس می‌کند.
  • پاداش‌ها/اندازه‌های گام بزرگ یا نامتناسب که باعث ناپایداری یا فروپاشی خط‌مشی‌ها می‌شوند.
  • اکتشاف ناکافی زمانی که خط‌مشی به سرعت به حالت تقریباً قطعی نزدیک می‌شود.

پرسش‌های متداول

روش‌های گرادیان خط‌مشی چگونه با یادگیری Q تفاوت دارند؟

یادگیری Q ارزش‌های عمل را یاد می‌گیرد و حریصانه عمل می‌کند؛ گرادیان‌های خط‌مشی مستقیماً خط‌مشی را از طریق صعود گرادیان بر روی بازده مورد انتظار پارامتری کرده و بهینه می‌کنند. گرادیان‌های خط‌مشی اعمال پیوسته/تصادفی را به طور طبیعی مدیریت می‌کنند اما واریانس بالاتری دارند و معمولاً روی خط‌مشی هستند، در حالی که یادگیری Q خارج از خط‌مشی است و اغلب برای اعمال گسسته کوچک، بهره‌وری نمونه بیشتری دارد.

روش بازیگر-منتقد چیست؟

این روش یک خط‌مشی (بازیگر) را که توسط گرادیان خط‌مشی به‌روزرسانی می‌شود، با یک تابع ارزش آموخته شده (منتقد) که میزان خوب بودن حالت‌ها/اعمال را تخمین می‌زند، ترکیب می‌کند. منتقد یک سیگنال مزیت با واریانس کم ارائه می‌دهد که یادگیری را پایدارتر و سریع‌تر می‌کند. A2C/A3C، PPO و DDPG الگوریتم‌های بازیگر-منتقد هستند.

چرا گرادیان‌های خط‌مشی از یک خط پایه استفاده می‌کنند؟

تخمین گرادیان خام بسیار پرنویز است. کم کردن یک خط پایه — معمولاً یک تخمین ارزش حالت — از بازده، واریانس گرادیان را بدون معرفی بایاس کاهش می‌دهد، که یادگیری را بسیار پایدارتر و کارآمدتر می‌کند. تابع مزیت (بازده منهای ارزش) انتخاب رایج است.

روش‌های مرتبط

منابع

  1. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.

    باز کردن مرجع DOI
    کپی شد.
  2. Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.

    باز کردن مرجع انتشار
    کپی شد.