Skip to content
بازگشت به نتایج جست‌وجو

برنامه‌ریزی پویا مبتنی بر عامل — تصمیم‌گیری متوالی در سیستم‌های چندعاملی

معرفی‌شده توسط
Bellman, R. (DP foundation); Tesfatsion, L. et al. (ABM-DP integration)
سال
1957 (DP); 1990s onward (ABM integration)
نوع
Hybrid simulation-optimization
خانواده
Simulation / optimization

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

برنامه‌ریزی پویا مبتنی بر عامل (ABDP) چارچوب برنامه‌ریزی پویای بلمن را در عامل‌های منفرد یک مدل مبتنی بر عامل تعبیه می‌کند و به هر عامل امکان می‌دهد تا با استفاده از استقرای معکوس یا تکرار تابع ارزش، مسائل تصمیم‌گیری متوالی چندمرحله‌ای را حل کند. نتیجه، جمعیتی از عامل‌های بهینه‌ساز است که تعاملات آن‌ها رفتار نوظهور در سطح سیستم را تولید می‌کند.

شهود پشت روش

بازار مسکن را تصور کنید که در آن هر خریدار و فروشنده باید – دوره به دوره – تصمیم بگیرد که آیا پیشنهاد دهد، نگه دارد، یا خارج شود، با توجه به وضعیت فعلی و انتظارات خود از آینده. برنامه‌ریزی پویا ماشین‌آلات ریاضی را برای برنامه‌ریزی بهینه در طول زمان در اختیار هر عامل قرار می‌دهد، در حالی که لایه مبتنی بر عامل چگونگی تعامل آن برنامه‌های منفرد و تولید الگوهای کلان بازار را که هیچ عاملی به تنهایی قصد یا پیش‌بینی کامل آن را نداشته است، ثبت می‌کند. ABDP دقت کنترل بهینه را با انعطاف‌پذیری شبیه‌سازی عامل‌های ناهمگن ترکیب می‌کند.

تاریخ

برنامه‌ریزی پویا توسط ریچارد بلمن در سال ۱۹۵۷ فرموله شد. ادغام آن در مدل‌سازی مبتنی بر عامل در دهه ۱۹۹۰ از طریق اقتصاد محاسباتی مبتنی بر عامل (ACE) پدیدار شد، که به ویژه توسط کارهای لیگ تسفاسیون، کنت جاد و توماس سارجنت در مورد مدل‌های عامل ناهمگن پیشرفت کرد. از آن زمان این چارچوب در مدل‌سازی اکولوژیکی، مدیریت زنجیره تأمین و شبیه‌سازی سیاست عمومی پذیرفته شده است.

چه زمانی استفاده شود

زمانی از ABDP استفاده کنید که عامل‌ها با تصمیم‌گیری‌های متوالی چند دوره‌ای تحت عدم قطعیت مواجه هستند و تعاملات آن‌ها پدیده‌های نوظهوری را تولید می‌کند که نمی‌توان آن‌ها را با یک مدل عامل نماینده ثبت کرد – به عنوان مثال، تصمیم‌گیری‌های پس‌انداز خانوار ناهمگن، ورود/خروج استراتژیک شرکت، یا رفتار تطبیقی مدیریت منابع. این روش به ویژه برای مسائلی مناسب است که در آن‌ها راه‌حل‌های فرم بسته وجود ندارد و شبیه‌سازی تنها ابزار تحلیلی عملی است. زمانی از ABDP استفاده نکنید که مسئله تصمیم‌گیری ایستا (تک‌دوره‌ای) است، زمانی که ناهمگنی عامل ناچیز است، زمانی که فضای وضعیت برای اینکه DP حتی به صورت تقریبی نیز قابل حل باشد، بیش از حد بزرگ است، یا زمانی که یک مدل تحلیلی ساده‌تر کافی است. اگر سؤال تحقیقاتی کلیدی مربوط به رفتار تجمعی است که می‌توان با یک مدل کلان کالیبره شده به آن پاسخ داد، از آن اجتناب کنید.

محدودیت‌ها و ملاحظات

  • هزینه محاسباتی بالا است: حل مسئله DP برای هر نوع عامل قبل و در طول شبیه‌سازی می‌تواند برای فضاهای وضعیت بزرگ، ممنوع باشد.
  • «نفرین ابعاد» تعداد متغیرهای وضعیتی را که هر عامل می‌تواند به طور واقع‌بینانه ردیابی کند، محدود می‌کند.
  • مشخص کردن احتمالات انتقال و توابع پاداش نیازمند مفروضات قوی است که ممکن است مبنای تجربی نداشته باشند.
  • نتایج می‌تواند به پروتکل‌های تعامل عامل (ترتیب حرکات، افشای اطلاعات) که هیچ مشخصه منحصربه‌فرد صحیحی ندارند، حساس باشد.
  • اعتبارسنجی دشوار است: مقایسه نتایج نوظهور با داده‌های واقعی به روشی دقیق از نظر آماری دشوار است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • دقت ریاضی برنامه‌ریزی پویا (تضمین‌های بهینگی در سطح عامل) را با انعطاف‌پذیری شبیه‌سازی مبتنی بر عامل ترکیب می‌کند.
  • ناهمگنی واقعی را مدیریت می‌کند: عامل‌های مختلف می‌توانند با فضاهای وضعیت، ترجیحات و محدودیت‌های متفاوتی روبرو شوند.
  • نتایج کلان اقتصاد یا سطح سیستم را که از رفتار منطقی در سطح خرد ناشی می‌شود، ثبت می‌کند.
  • سازگار با محیط‌های تصادفی: عامل‌ها با استفاده از معادلات بلمن با ارزش مورد انتظار در حضور عدم قطعیت بهینه‌سازی می‌کنند.
  • از تحلیل سناریو پشتیبانی می‌کند: شوک‌های خط‌مشی یا تغییرات ساختاری را می‌توان در اواسط شبیه‌سازی برای مطالعه پاسخ‌های تطبیقی معرفی کرد.

کاربردها

  • مدل‌های اقتصاد کلان عامل ناهمگن: خانوارها مسائل DP پس‌انداز/مصرف چرخه عمر را حل می‌کنند؛ تعاملات پویایی توزیع ثروت را ایجاد می‌کند.
  • شبیه‌سازی بازار انرژی: تولیدکنندگان برق از استراتژی‌های قیمت‌گذاری مبتنی بر DP استفاده می‌کنند؛ ABM پاکسازی بازار و تشکیل قیمت را ثبت می‌کند.
  • مدل‌سازی سیاست همه‌گیری: عامل‌ها تصمیمات واکسیناسیون یا تحرک را در طول زمان بهینه می‌کنند؛ ABM گسترش بیماری را در جمعیت ردیابی می‌کند.
  • مدیریت زنجیره تأمین: شرکت‌ها مسائل DP سفارش‌گذاری موجودی چند دوره‌ای را حل می‌کنند؛ تعاملات عامل اثرات شلاق و آبشاری را آشکار می‌کند.
  • مدیریت منابع اکولوژیکی: ماهیگیران یا کشاورزان مسائل DP برداشت بهینه را حل می‌کنند؛ ABM فضایی پویایی معضل اشتراکی را ثبت می‌کند.
  • تحرک شهری و کاربری زمین: خانوارها مسائل DP مکان مسکونی را حل می‌کنند؛ ABM الگوهای رفت و آمد نوظهور و جدایی را تولید می‌کند.

چگونه کار می‌کند

چگونه کار می‌کند

1

جمعیت عامل‌ها را تعریف کنید: انواع عامل‌ها، متغیرهای وضعیت (ثروت، موجودی، مکان، باورها)، مجموعه اقدامات در دسترس هر عامل، و افق زمانی (محدود یا نامحدود) را مشخص کنید. ناهمگنی بین عامل‌ها یک ویژگی کلیدی است و می‌تواند شامل ترجیحات، موقوفات یا مجموعه‌های اطلاعاتی متفاوت باشد.

2

مسئله تصمیم‌گیری متوالی هر عامل را به صورت یک معادله بلمن فرموله کنید: V(s) = max بر روی اقدامات a از [r(s,a) + ضریب تخفیف * مجموع بر روی وضعیت‌های بعدی s' از P(s'|s,a) * V(s')]. تابع پاداش r، احتمالات انتقال P، و ضریب تخفیف را به ترتیب برای هر نوع عامل تعریف کنید.

فرمول
V(s) = \max_{a \in A(s)} \left[ r(s,a) + \delta \sum_{s'} P(s'|s,a)\, V(s') \right]
3

معادله بلمن را برای هر نوع عامل با استفاده از تکرار تابع ارزش، تکرار تابع خط‌مشی، یا روش‌های تقریبی (مانند تکرار ارزش برازش‌شده، تقریب‌گرهای شبکه عصبی برای فضاهای وضعیت با ابعاد بالا) حل کنید. راه‌حل، یک خط‌مشی بهینه را تولید می‌کند که وضعیت‌ها را به اقدامات نگاشت می‌کند.

4

قواعد تصمیم‌گیری حل‌شده (توابع خط‌مشی) را در مدل مبتنی بر عامل تعبیه کنید. هر عامل وضعیت فعلی خود را در هر دوره مشاهده می‌کند و اقدامی را که توسط خط‌مشی بهینه آن تجویز شده است، انتخاب می‌کند. عامل‌ها ممکن است باورهای خود را به‌روز کنند یا DP را در صورت تغییر محیط (انتظارات تطبیقی) دوباره حل کنند.

5

شبیه‌سازی مبتنی بر عامل را اجرا کنید: عامل‌ها به طور همزمان یا متوالی عمل می‌کنند، از طریق بازارها، شبکه‌ها، یا محیط‌های مشترک تعامل می‌کنند، و به وضعیت‌های جدید منتقل می‌شوند. مسیرهای خرد (تاریخچه عامل‌های منفرد) و آمارهای تجمعی را در هر گام زمانی ثبت کنید.

6

خروجی شبیه‌سازی را تحلیل کنید: توزیع‌های تعادلی یا حالت پایدار را محاسبه کنید، پدیده‌های کلان نوظهور (پویایی قیمت، نابرابری، شکست‌های آبشاری) را اندازه‌گیری کنید، و با تغییر پارامترهای عامل یا شوک‌های محیطی در طول چندین اجرای شبیه‌سازی، تحلیل حساسیت را انجام دهید.

دام‌های رایج

  • اشتباه گرفتن ABDP با یادگیری تقویتی: عامل‌های RL سیاست‌ها را از طریق آزمون و خطا یاد می‌گیرند، در حالی که عامل‌های ABDP قبل از شروع شبیه‌سازی با سیاست‌های بهینه حل‌شده تحلیلی یا عددی مجهز می‌شوند.
  • فرض اینکه یک سیاست حل‌شده واحد برای همه عامل‌ها اعمال می‌شود، در حالی که ناهمگنی نیازمند راه‌حل‌های DP جداگانه برای هر نوع عامل است.
  • نادیده گرفتن وابستگی استراتژیک: اگر پاداش‌های عامل به اقدامات عامل‌های دیگر بستگی دارد، فرمولاسیون DP باید انتظارات تعادلی را در نظر بگیرد، در غیر این صورت نتایج بهترین پاسخ به یک محیط ثابت را منعکس می‌کند، نه یک تعادل واقعی چندعاملی.
  • غفلت از اعتبارسنجی عددی راه‌حل DP قبل از تعبیه آن: خطاهای برنامه‌نویسی در بازگشت بلمن به طور خاموش در طول شبیه‌سازی منتشر می‌شوند.
  • اجرای تعداد کمی تکرار شبیه‌سازی: تعاملات تصادفی عامل‌ها به اندازه‌های نمونه کافی برای تمایز سیگنال از نویز در آمارهای تجمعی نیاز دارند.

پرسش‌های متداول

ABDP چگونه با مدل‌سازی استاندارد مبتنی بر عامل تفاوت دارد؟

عامل‌های ABM استاندارد اغلب از رفتار اکتشافی یا مبتنی بر قاعده پیروی می‌کنند. در ABDP، قاعده تصمیم‌گیری هر عامل با حل یک مسئله برنامه‌ریزی پویا به دست می‌آید، به این معنی که رفتار با توجه به اهداف، وضعیت و باورهای عامل از آینده، به صراحت بهینه است.

ABDP چگونه با یادگیری تقویتی چندعاملی (MARL) تفاوت دارد؟

در MARL، عامل‌ها سیاست‌های بهینه را از طریق تعامل مکرر با یک محیط یاد می‌گیرند و سیاست‌ها را به صورت آنلاین به‌روز می‌کنند. در ABDP، سیاست‌های عامل‌ها قبل از شروع شبیه‌سازی به صورت تحلیلی یا عددی حل می‌شوند و در طول اجرا از طریق آزمون و خطا به‌روز نمی‌شوند – اگرچه حل مجدد در فواصل زمانی (DP تطبیقی) امکان‌پذیر است.

چه ابزارهای نرم‌افزاری از پیاده‌سازی ABDP پشتیبانی می‌کنند؟

پلتفرم‌های عامل مانند NetLogo، Mesa (Python)، یا Repast می‌توانند عامل‌هایی را میزبانی کنند که توابع تصمیم آن‌ها راه‌حل‌های DP از پیش محاسبه‌شده هستند. مرحله حل DP معمولاً از MATLAB، Julia (QuantEcon.jl)، یا Python (scipy، حلقه‌های تکرار ارزش سفارشی) استفاده می‌کند و نتایج به عنوان جداول جستجوی خط‌مشی به ABM منتقل می‌شوند.

چه زمانی نفرین ابعاد به یک مانع عملی تبدیل می‌شود؟

زمانی که فضای وضعیت هر عامل دارای بیش از ۳-۴ متغیر پیوسته باشد، تکرار دقیق تابع ارزش غیرممکن می‌شود. سپس محققان به روش‌های تقریبی مانند تکرار ارزش برازش‌شده با رگرسیون، تقریب‌گرهای تابع شبکه عصبی، یا درون‌یابی شبکه تودرتو روی می‌آورند.

آیا ABDP برای ارزیابی سیاست مناسب است؟

بله، اما با احتیاط. از آنجایی که عامل‌ها با توجه به قواعد تصمیم‌گیری خود بهینه عمل می‌کنند، ABDP بهتر از مدل‌های فرم کاهش‌یافته از نقد لوکاس اجتناب می‌کند. با این حال، برای اطمینان از واقع‌بینانه بودن رفتار شبیه‌سازی شده قبل از نتیجه‌گیری‌های سیاستی، نیازمند کالیبراسیون دقیق پارامترهای عامل و اعتبارسنجی در برابر داده‌های سطح خرد است.

روش‌های مرتبط

منابع

  1. Bellman, R. (1957). Dynamic Programming. Princeton University Press, Princeton, NJ.

    شابک: 9780691079516
    کپی شد.
  2. Tesfatsion, L., Judd, K. L. (Eds.) (2006). Handbook of Computational Economics, Volume 2: Agent-Based Computational Economics. Elsevier, Amsterdam.

    باز کردن مرجع انتشار
    کپی شد.