یادگیری تقویتی
- معرفیشده توسط
- Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
- سال
- 1950s–1998
- نوع
- Sequential decision-making framework
- خانواده
- Deep learning / NLP / CV
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
یادگیری تقویتی (RL) چارچوبی است که در آن یک عامل با تعامل با محیط، دریافت سیگنالهای پاداش اسکالر، و بهروزرسانی یک سیاست برای حداکثر کردن پاداش تجمعی آینده، تصمیمگیریهای متوالی را یاد میگیرد. برخلاف یادگیری نظارتشده، هیچ مثال برچسبدار ارائه نمیشود؛ عامل رفتار بهینه را کاملاً از طریق تجربه و بازخورد تأخیری کشف میکند.
شهود پشت روش
تصور کنید سگ خود را آموزش میدهید: شما هر اقدامی را توضیح نمیدهید؛ شما رفتار خوب را پاداش میدهید و به آن اجازه میدهید بفهمد چه کاری انجام دهد. یادگیری تقویتی نیز به همین ترتیب عمل میکند. یک عامل اقداماتی را در محیط امتحان میکند، اتفاقات را مشاهده میکند و پاداشی دریافت میکند - مثبت برای نتایج مطلوب، منفی برای اشتباهات. در طول تعاملات متعدد، یاد میگیرد که کدام اقدامات در کدام موقعیتها منجر به بیشترین پاداش میشوند و یک استراتژی - به نام سیاست - بدون نیاز به هیچ مجموعه داده از پیش برچسبدار از پاسخهای صحیح، ایجاد میکند.
تاریخ
یادگیری تقویتی ریشههایی در برنامهریزی پویا بلمن (1957) و روانشناسی یادگیری حیوانات دارد. ساتون و بارتو چارچوب مدرن را در کتاب درسی خود در سال 1998 رسمی کردند و یادگیری تفاضل زمانی، یادگیری Q و روشهای گرادیان سیاست را یکپارچه کردند. این حوزه در سالهای 2013-2015 با ترکیب DQN دیپمایند با شبکههای عصبی کانولوشنی عمیق و یادگیری Q برای دستیابی به عملکرد انسانی در بازیهای آتاری، متحول شد و یادگیری تقویتی عمیق را به عنوان یک جهت تحقیقاتی مهم راهاندازی کرد. AlphaGo (2016) و کارهای بعدی RLHF بر روی مدلهای زبان بزرگ، دامنه RL را بیشتر گسترش دادند.
چه زمانی استفاده شود
هنگامی که وظیفه تصمیمگیری متوالی با پاداشهای تأخیری و بدون دادههای آموزشی برچسبدار وجود دارد، از یادگیری تقویتی استفاده کنید: بازی، کنترل رباتیک، زمانبندی منابع، توالیدهی توصیهها، یا تنظیم دقیق مدلهای زبان با بازخورد انسانی (RLHF). RL زمانی مناسب است که محیط را بتوان به طور ارزان شبیهسازی کرد و عامل بتواند بارها تعامل کند. زمانی که یک رویکرد نظارتشده یا خود-نظارتشده میتواند مشکل را حل کند، از RL استفاده نکنید - RL ناکارآمد از نظر نمونه و ناپایدار است؛ زمانی که تعیین تابع پاداش دشوار است؛ زمانی که تعامل با محیط واقعی بدون شبیهساز پرهزینه یا خطرناک است؛ یا زمانی که مجموعه داده ایستا و ثابت است (با احتیاط از RL آفلاین استفاده کنید).
محدودیتها و ملاحظات
- بسیار ناکارآمد از نظر نمونه: ممکن است برای همگرایی به میلیونها تعامل محیطی نیاز داشته باشد.
- آموزش اغلب ناپایدار و حساس به ابرپارامترها، شکلدهی پاداش و بذرهای تصادفی است.
- طراحی تابع پاداش دشوار است؛ پاداشهای نادرست مشخص شده باعث بهینهسازی ناخواسته (هک پاداش) میشوند.
- تعمیم به وضعیتها یا محیطهای دیدهنشده تضمین نمیشود.
- استقرار در دنیای واقعی بدون شبیهسازی گسترده خطرناک است؛ کاوش میتواند اقدامات خطرناکی را ایجاد کند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- یادگیری مستقیم از تعامل بدون دادههای برچسبدار، که آن را برای مواردی که حاشیهنویسی غیرممکن است، قابلاجرا میسازد.
- قادر به کشف استراتژیهای فوقبشری در وظایف متوالی پیچیده (بازیها، رباتیک، زمانبندی).
- به طور طبیعی برنامهریزی بلندمدت و تخصیص اعتبار زمانی را مدلسازی میکند.
- هنگامی که با شبکههای عصبی عمیق ترکیب میشود، به فضاهای حالت با ابعاد بالا (پیکسلها، متن) مقیاسپذیر است.
- RLHF امکان همترازی مدلهای زبان بزرگ با ترجیحات انسانی را فراهم میکند.
کاربردها
- بازی و استراتژی: آتاری، گو، شطرنج، استارکرفت در سطوح فوقبشری.
- رباتیک: حرکت، دستکاری و کنترل دقیق دست.
- همترازی مدل زبان بزرگ از طریق یادگیری تقویتی از بازخورد انسانی (RLHF).
- زمانبندی منابع و شبکه، بهینهسازی خنکسازی مراکز داده.
- سیستمهای توصیهگر شخصیسازی شده که تعامل طولانیمدت کاربر را مدلسازی میکنند.
- شبیهسازی رانندگی خودکار و کنترل سیگنال ترافیک.
چگونه کار میکند
چگونه کار میکند
در هر گام زمانی، عامل وضعیت فعلی محیط را مشاهده کرده و بر اساس سیاست فعلی خود، اقدامی را انتخاب میکند. محیط به وضعیت جدیدی منتقل میشود و یک پاداش اسکالر منتشر میکند. این حلقه مشاهده-اقدام-پاداش تکرار میشود و مسیری از تجربه را تولید میکند که برای بهبود سیاست استفاده میشود.
هدف عامل، حداکثر کردن پاداش تجمعی تخفیفیافته G_t است که تمام پاداشهای آینده را با وزن عامل تخفیف گاما بین 0 و 1 جمع میکند. گامای نزدیک به 1 عامل را دوراندیش میکند؛ گامای کوچک آن را بر پاداشهای فوری متمرکز میکند. شکلدهی دقیق پاداش حیاتی است زیرا عامل هر سیگنالی را که دریافت میکند، بهینه میکند.
فرمول
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}سیاست pi، وضعیتها را به اقدامات (یا احتمالات اقدام) نگاشت میکند. این سیاست میتواند به صورت یک جدول جستجو برای مسائل گسسته کوچک، یا به صورت یک شبکه عصبی عمیق - یک عامل RL عمیق - برای وضعیتهای با ابعاد بالا مانند تصاویر یا متن نمایش داده شود. سیاست همان چیزی است که عامل یاد میگیرد و در نهایت همان چیزی است که مستقر میشود.
فرمول
\pi(a \mid s) = P(A_t = a \mid S_t = s)
توابع ارزش، میزان خوب بودن یک وضعیت (یا جفت وضعیت-اقدام) را تحت یک سیاست معین تخمین میزنند. ارزش وضعیت V(s) پاداش تجمعی مورد انتظار از وضعیت s به بعد است. توابع ارزش اقدام Q(s, a) این را به اقدامات خاص گسترش میدهند. این تخمینها سیاست را در روشهایی مانند یادگیری Q، SARSA و الگوریتمهای بازیگر-منتقد هدایت میکنند.
فرمول
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]عامل سیاست خود را با استفاده از تجربه جمعآوری شده بهروزرسانی میکند. روشهای مبتنی بر ارزش (مانند DQN) سیاست را به طور ضمنی از مقادیر Q استخراج میکنند؛ روشهای گرادیان سیاست (مانند REINFORCE، PPO) مستقیماً پارامترهای سیاست را برای افزایش احتمال مسیرهای با پاداش بالا تنظیم میکنند. اکثر الگوریتمهای مدرن هر دو را در معماریهای بازیگر-منتقد ترکیب میکنند.
دامهای رایج
- تعیین تابع پاداشی که بهینهسازی آن آسان است اما با هدف واقعی همتراز نیست (هک پاداش).
- نادیده گرفتن محیط شبیهسازی خوب تنظیم شده و رفتن مستقیم به سختافزار واقعی، منجر به شکستهای پرهزینه میشود.
- انتخاب RL زمانی که یک رویکرد یادگیری نظارتشده یا تقلیدی بسیار کارآمدتر از نظر نمونه بود.
- نادیده گرفتن تکرارپذیری: نتایج RL به شدت در بین بذرهای تصادفی متفاوت است؛ همیشه چندین اجرا را گزارش دهید.
- در نظر گرفتن منحنی آموزش یک اجرا به عنوان مدرکی برای همگرایی بدون قسمتهای ارزیابی خارج از نمونه.
پرسشهای متداول
چه چیزی یادگیری تقویتی را از یادگیری نظارتشده متمایز میکند؟
یادگیری نظارتشده به جفتهای ورودی-خروجی برچسبدار نیاز دارد و یک نگاشت ثابت را یاد میگیرد. RL نیازی به برچسب ندارد؛ در عوض عامل پس از اقدامات، سیگنالهای پاداش دریافت میکند و باید از طریق آزمون و خطا کشف کند که چه کاری انجام دهد، که آن را برای مسائل تصمیمگیری متوالی که در آن اقدام صحیح از قبل مشخص نیست، مناسب میسازد.
تفاوت بین RL بدون مدل و با مدل چیست؟
RL بدون مدل (مانند DQN، PPO) سیاستها یا توابع ارزش را مستقیماً از تجربه و بدون مدل صریح دینامیک محیط یاد میگیرد. RL با مدل، مدل گذار را یاد میگیرد یا به آن داده میشود و از آن برای برنامهریزی استفاده میکند. روشهای مبتنی بر مدل تمایل به کارایی بیشتری از نظر نمونه دارند اما به یک مدل دقیق نیاز دارند که یادگیری آن میتواند دشوار باشد.
چگونه بین روش مبتنی بر ارزش و روش گرادیان سیاست انتخاب کنم؟
روشهای مبتنی بر ارزش مانند DQN با فضاهای اقدام گسسته به خوبی کار میکنند و نسبتاً پایدار هستند. روشهای گرادیان سیاست (REINFORCE، PPO، SAC) فضاهای اقدام پیوسته را به طور طبیعی مدیریت میکنند و میتوانند سیاستهای تصادفی را یاد بگیرند. روشهای بازیگر-منتقد هر دو را ترکیب میکنند. برای اکثر کاربردهای مدرن، PPO یا SAC نقاط شروع امنی هستند.
RL معمولاً به چند تعامل محیطی نیاز دارد؟
RL به شدت به نمونه نیاز دارد. وظایف جدولی ساده ممکن است در هزاران گام همگرا شوند؛ Atari DQN به دهها میلیون فریم نیاز داشت؛ وظایف پیچیده رباتیک ممکن است به صدها میلیون گام شبیهسازی نیاز داشته باشند. این امر یک شبیهساز سریع را ضروری میکند و RL را برای بسیاری از مشکلات دنیای واقعی با تعاملات پرهزینه رد میکند.
RLHF چیست و چرا مهم است؟
یادگیری تقویتی از بازخورد انسانی، یک مدل پاداش را از مقایسههای ترجیحی انسانی آموزش میدهد و سپس یک مدل زبان را با RL تنظیم دقیق میکند تا آن پاداش آموخته شده را به حداکثر برساند. این تکنیک غالب برای همتراز کردن مدلهای زبان بزرگ با ارزشهای انسانی است و برای مدلهایی مانند InstructGPT و Claude مرکزی است.
روشهای مرتبط
منابع
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
شابک: 978-0-262-03924-6کپی شد.Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
باز کردن مرجع DOIکپی شد.