یادگیری تقویتی عمیق
- معرفیشده توسط
- Mnih, V. et al. (DQN)
- سال
- 2015
- نوع
- Sequential decision-making (agent–environment interaction)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
یادگیری تقویتی عمیق (Deep Reinforcement Learning) شبکههای عصبی را با یادگیری تقویتی ترکیب میکند تا یک عامل با تعامل با محیط یاد بگیرد؛ این روش با کار برجسته سال ۲۰۱۵ توسط Mnih و همکاران در مجله Nature در مورد کنترل در سطح انسانی بازیهای آتاری محبوبیت یافت. به جای یادگیری از یک مجموعه داده برچسبدار ثابت، عامل دست به اقدام میزند، پاداشها را مشاهده میکند و به تدریج سیاستی را شکل میدهد که بازده بلندمدت را به حداکثر میرساند.
شهود پشت روش
تصور کنید در حال یادگیری بازی کردن با یک بازی هستید بدون اینکه هیچ دفترچه راهنمایی داشته باشید: شما حرکات را امتحان میکنید، تغییر امتیاز خود را میبینید و به آرامی متوجه میشوید که کدام اقدامات در نهایت نتیجه میدهند. یادگیری تقویتی عمیق دقیقاً این حلقه آزمون و خطا را خودکار میکند. یک شبکه عصبی تخمین میزند که وضعیتها و اقدامات چقدر خوب هستند، و عامل انتخابهایی را حفظ میکند که در طول زمان پاداش بیشتری کسب میکنند — حتی زمانی که پاداشها چندین گام پس از تصمیمگیری دریافت میشوند.
تاریخ
یادگیری تقویتی عمیق با مقاله برجسته سال ۲۰۱۵ توسط Mnih و همکاران در مجله Nature به شهرت رسید، که در آن یک شبکه Q عمیق (deep Q-network) کنترل در سطح انسانی را در بسیاری از بازیهای آتاری مستقیماً از پیکسلها به دست آورد. پیشرفتهای گرادیان سیاست (policy-gradient) به دنبال آن آمد، از جمله A3C و بهینهسازی سیاست پروگزیمال (Proximal Policy Optimization - PPO) توسط Schulman و همکاران در سال ۲۰۱۷، که به یک ابزار پیشفرض پرکاربرد و باثباتتر تبدیل شد. در مجموع، DQN، PPO و A3C پایههای جعبه ابزار مدرن یادگیری تقویتی عمیق را تشکیل میدهند که در بازیها، رباتیک و فراتر از آن استفاده میشود.
چه زمانی استفاده شود
از یادگیری تقویتی عمیق برای مسائل تصمیمگیری متوالی و کنترل استفاده کنید — بازی کردن، کنترل ربات، بهینهسازی توصیهگر، پشتیبانی تصمیمگیری بالینی — که در آن یک عامل میتواند با یک شبیهساز یا محیط زنده تعامل کند و یک سیگنال پاداش قابل تعریف باشد. این روش متغیرهای پیوسته و دستهای را مدیریت میکند، هیچ فرض نرمالیتی ندارد، اما انتظار یک تابع پاداش طراحیشده و دادههای تعاملی قابل توجه (حداقل حدود ۱۰۰۰ اپیزود) را دارد. با تعاملات بسیار کمتر، سیاست همگرا نخواهد شد و یک مدل نظارتشده مانند Random Forest یا XGBoost انتخاب ایمنتری است.
محدودیتها و ملاحظات
- به یک شبیهساز یا محیط تعاملی و یک تابع پاداش که با دقت طراحی شده است، نیاز دارد.
- تشنه داده: به تعداد زیادی تعامل (حدود ۱۰۰۰+) نیاز دارد و استفاده از GPU توصیه میشود.
- در زیر حدود ۱۰۰۰ تعامل، سیاست قادر به همگرایی نیست؛ در زیر حدود ۵۰۰ تعامل، نمیتواند یک سیاست تصمیمگیری قابل اعتماد تولید کند.
- آموزش میتواند ناپایدار و به ابرپارامترها و شکلدهی پاداش حساس باشد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- سیاستهای کنترل و تصمیمگیری متوالی را مستقیماً از طریق تعامل و بدون مثالهای برچسبدار یاد میگیرد.
- تقریب تابع عصبی به فضاهای وضعیت و عمل بسیار بزرگ مقیاس میشود.
- انعطافپذیر در حوزههای مختلف — بازیها، رباتیک، توصیهگر، پشتیبانی تصمیمگیری بالینی.
- فرض نرمالیتی ندارد؛ با ورودیهای پیوسته و دستهای و بسیاری از ساختارهای داده کار میکند.
کاربردها
- بازی کردن و کنترل عامل (به عنوان مثال بازیهای آتاری و تختهای).
- کنترل ربات و وظایف کنترل پیوسته.
- مسائل توصیهگر و بهینهسازی متوالی.
- پشتیبانی تصمیمگیری بالینی که به عنوان تصمیمگیری متوالی چارچوببندی شده است.
چگونه کار میکند
چگونه کار میکند
عامل وضعیت فعلی یک محیط (یک بازی، یک شبیهساز، یک ربات، یک محیط توصیهگر) را مشاهده میکند، یک اقدام را انتخاب میکند و پاداش به همراه وضعیت بعدی را دریافت میکند. یک شبیهساز یا محیط تعاملی زنده مورد نیاز است، و تابع پاداش باید عمداً طراحی شود زیرا هدف «رفتار خوب» را تعریف میکند. هر تعامل به تجربهای که عامل از آن یاد میگیرد، افزوده میشود.
یک شبکه عصبی، ارزش وضعیتها و اقدامات را تقریب میزند — به عنوان مثال، یک شبکه Q عمیق (deep Q-network) بازده آتی مورد انتظار هر اقدام را تخمین میزند، در حالی که روشهای گرادیان سیاست (policy-gradient) مانند PPO و A3C مستقیماً سیاست را پارامترسازی میکنند. این همان چیزی است که این روش را «عمیق» میسازد: شبکه در فضاهای وضعیت بسیار وسیعی تعمیم مییابد که یک جدول جستجو هرگز قادر به پوشش آن نیست.
فرمول
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]با استفاده از پاداشهای جمعآوری شده از طریق تعامل، شبکه بهروزرسانی میشود تا اقداماتی را که منجر به بازده تخفیفیافته تجمعی بالاتری میشوند، ترجیح دهد و به تدریج سیاست را به سمت سیاستی که پاداش بلندمدت را به حداکثر میرساند، بهبود بخشد. از آنجایی که یادگیری توسط تجربه هدایت میشود، مقادیر زیادی داده تعاملی (این رجیستری حداقل حدود ۱۰۰۰ اپیزود/تعامل را توصیه میکند) و در حالت ایدهآل یک GPU برای همگرایی سیاست مورد نیاز است.
فرمول
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]دامهای رایج
- اعمال یادگیری تقویتی عمیق بر روی یک مجموعه داده کوچک که در آن سیاست نمیتواند همگرا شود، به جای استفاده از یک مدل نظارتشده.
- طراحی یک تابع پاداش با مشخصات ضعیف که عامل آن را به روشهای ناخواسته بهرهبرداری میکند.
- نادیده گرفتن یک شبیهساز/محیط تعاملی و تلاش برای یادگیری از یک جدول ایستا از سوابق.
- نادیده گرفتن تشخیصهای همگرایی و اعتماد به یک سیاست کموزن و با واریانس بالا.
- کماهمیت شمردن نیازهای محاسباتی و اجرای بدون GPU بر روی تعداد اپیزودهای کم.
پرسشهای متداول
یادگیری تقویتی عمیق به چه مقدار داده نیاز دارد؟
این روش تشنه داده است. این رجیستری حداقل حدود ۱۰۰۰ تعامل/اپیزود را برای همگرایی سیاست توصیه میکند؛ در زیر حدود ۵۰۰ تعامل، DQN/PPO نمیتواند یک سیاست تصمیمگیری قابل اعتماد تولید کند و یک مدل نظارتشده ترجیح داده میشود.
تفاوت بین DQN، PPO و A3C چیست؟
DQN یک تابع ارزش (بازده مورد انتظار هر اقدام) را یاد میگیرد و با آن حریصانه عمل میکند. PPO و A3C روشهای گرادیان سیاست هستند که مستقیماً سیاست را بهینه میکنند؛ PPO به طور خاص به دلیل پایداری آموزش خود ارزشمند است.
آیا به شبیهساز نیاز دارم؟
بله. یادگیری تقویتی عمیق از طریق تعامل یاد میگیرد، بنابراین یک شبیهساز یا یک محیط تعاملی زنده مورد نیاز است، همراه با یک تابع پاداش که عمداً طراحی شده و هدف را رمزگذاری میکند.
آیا به GPU نیاز دارم؟
استفاده از GPU توصیه میشود. یادگیری تقویتی عمیق شبکههای عصبی را بر روی تعداد بسیار زیادی تعامل آموزش میدهد، بنابراین بدون محاسبات مناسب، آموزش کند است و رسیدن به همگرایی دشوار است.
روشهای مرتبط
منابع
Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.
باز کردن مرجع DOIکپی شد.Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.
باز کردن مرجع انتشارکپی شد.