Skip to content
Kembali ke hasil pencarian

Metode Gradien Kebijakan

Diperkenalkan oleh
Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
Tahun
1992
Jenis
Policy-based reinforcement learning
Keluarga
Reinforcement learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Metode gradien kebijakan adalah algoritma pembelajaran penguatan (reinforcement learning) yang mengoptimalkan kebijakan berparameter secara langsung melalui pendakian gradien (gradient ascent) pada ekspektasi imbalan (expected return), alih-alih mempelajari nilai-nilai tindakan (action-values) dan bertindak secara serakah (greedily).

Berakar dari algoritma REINFORCE Ronald Williams tahun 1992 dan teorema gradien kebijakan (policy gradient theorem) oleh Sutton dan rekan-rekannya (2000), metode ini secara alami menangani ruang tindakan stokastik dan kontinu serta menjadi dasar bagi algoritma aktor-kritik (actor-critic) dan pembelajaran penguatan mendalam (deep-RL) modern.

Intuisi di balik metode

Metode berbasis nilai (value-based methods) seperti Q-learning mempelajari seberapa baik setiap tindakan, lalu memilih yang terbaik; gradien kebijakan melewati perantara dan menyesuaikan kebijakan itu sendiri. Kebijakan adalah distribusi probabilitas atas tindakan dengan parameter yang dapat disetel. Setelah bertindak dan mengamati imbalan, Anda mendorong parameter sehingga tindakan yang menghasilkan imbalan tinggi menjadi lebih mungkin dan tindakan yang buruk menjadi kurang mungkin — pendakian gradien pada ekspektasi imbalan. Karena kebijakan dapat berupa distribusi yang dapat didiferensiasi, ini berfungsi untuk kontrol kontinu (misalnya, sudut kemudi) di mana mengambil 'maksimum atas tindakan' tidak praktis. Mengurangi nilai dasar (baseline, estimasi nilai) menjaga gradien yang berisik tetap stabil.

Sejarah

Ronald Williams memperkenalkan REINFORCE, gradien kebijakan Monte-Carlo fundamental, pada tahun 1992. Sutton, McAllester, Singh, dan Mansour (2000) membuktikan teorema gradien kebijakan dengan aproksimasi fungsi, memungkinkan kebijakan jaringan saraf dan keluarga aktor-kritik. Pendekatan ini mendorong kemajuan deep-RL selama satu dekade — A3C, TRPO, PPO, DDPG/SAC — dan menjadi inti dari pembelajaran penguatan dari umpan balik manusia (reinforcement learning from human feedback, RLHF) yang digunakan untuk menyelaraskan model bahasa besar. Ini adalah padanan berbasis kebijakan untuk metode berbasis nilai seperti Q-learning.

Kapan digunakan

Gunakan metode gradien kebijakan ketika ruang tindakan kontinu atau berdimensi tinggi, ketika kebijakan stokastik diinginkan (eksplorasi, observabilitas parsial, multi-agen), atau ketika Anda ingin mengoptimalkan kebijakan secara end-to-end dengan aproksimasi fungsi jaringan saraf — kontrol robotika, tolok ukur kontrol kontinu, kebijakan dialog/rekomendasi, dan sebagai fondasi RLHF untuk model bahasa. Metode ini secara langsung mengoptimalkan tujuan dan menangani tindakan kontinu yang sulit ditangani oleh metode berbasis nilai. Biayanya: estimasi gradien ber-varians tinggi (dimitigasi oleh nilai dasar/kritik), biasanya on-policy dan tidak efisien sampel, sensitif terhadap ukuran langkah dan penskalaan imbalan, serta rentan terhadap optimum lokal. Ketika ruang tindakan kecil dan diskrit, Q-learning/DQN berbasis nilai bisa lebih sederhana dan lebih efisien sampel; varian wilayah kepercayaan (trust-region variants, TRPO/PPO) mengatasi ketidakstabilan ukuran langkah.

Batasan dan pertimbangan

  • Estimasi gradien ber-varians tinggi; memerlukan nilai dasar atau kritik agar praktis.
  • Biasanya on-policy dan tidak efisien sampel dibandingkan dengan metode nilai off-policy.
  • Sensitif terhadap laju pembelajaran, penskalaan imbalan, dan dapat konvergen ke optimum lokal.
  • Stabilitas memerlukan kehati-hatian; langkah besar yang naif dapat meruntuhkan kebijakan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mengoptimalkan kebijakan secara langsung; menangani ruang tindakan kontinu dan berdimensi tinggi.
  • Secara alami merepresentasikan kebijakan stokastik, membantu eksplorasi dan observabilitas parsial.
  • Terintegrasi secara mulus dengan aproksimasi fungsi jaringan saraf (deep RL).
  • Fondasi untuk algoritma modern (A2C/A3C, TRPO, PPO, DDPG) dan RLHF.

Penerapan

  • Kontrol kontinu dalam robotika dan lingkungan simulasi.
  • Permainan dan pengambilan keputusan sekuensial yang kompleks.
  • Kebijakan dialog, rekomendasi, dan interaksi adaptif.
  • Pembelajaran penguatan dari umpan balik manusia (RLHF) untuk model bahasa.
  • Masalah operasi dan kontrol dengan tindakan kontinu.

Cara kerjanya

Cara kerjanya

1

Tujuannya adalah memaksimalkan J(θ), ekspektasi imbalan terdiskon dari lintasan (trajectories) yang dihasilkan oleh kebijakan π_θ. Berbeda dengan metode nilai, objek yang dioptimalkan adalah parameter kebijakan secara langsung, dan kebijakan dapat bersifat stokastik dan kontinu.

Rumus
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]
2

Teorema gradien kebijakan mengekspresikan gradien dari ekspektasi imbalan sebagai ekspektasi dari fungsi skor (gradien dari log-kebijakan) yang dibobot oleh nilai tindakan. Secara krusial, gradien tidak memerlukan diferensiasi dinamika lingkungan, sehingga dapat diestimasi dari pengalaman yang disampel.

Rumus
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]
3

REINFORCE adalah estimator Monte-Carlo: setelah sebuah episode, untuk setiap langkah, ia menggerakkan parameter di sepanjang gradien log-kebijakan yang diskalakan oleh imbalan dari langkah tersebut dikurangi nilai dasar. Nilai dasar (seringkali estimasi nilai keadaan) mengurangi varians tanpa menambah bias, membuat gradien yang berisik dapat digunakan.

Rumus
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
4

Metode aktor-kritik mempelajari dua hal bersamaan: aktor (kebijakan) yang diperbarui oleh gradien kebijakan, dan kritik (fungsi nilai) yang menyediakan estimasi varians rendah dari keuntungan (advantage, seberapa lebih baik suatu tindakan dibandingkan rata-rata). Estimasi bootstrap kritik menggantikan imbalan Monte-Carlo ber-varians tinggi, menghasilkan pembelajaran yang lebih stabil, efisien sampel, dan menjadi dasar bagi A2C/A3C, PPO, dan DDPG.

Rumus
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot A

Kesalahan umum

  • Menghilangkan nilai dasar/kritik, membuat gradien terlalu berisik untuk dipelajari.
  • Menggunakan kembali data off-policy dengan estimator on-policy biasa, memberikan bias pada gradien.
  • Imbalan/ukuran langkah yang besar atau tidak diskalakan menyebabkan kebijakan yang tidak stabil atau runtuh.
  • Eksplorasi yang tidak memadai ketika kebijakan secara prematur menjadi hampir deterministik.

Pertanyaan yang sering diajukan

Bagaimana gradien kebijakan berbeda dari Q-learning?

Q-learning mempelajari nilai-nilai tindakan dan bertindak secara serakah; gradien kebijakan memparameterisasi dan mengoptimalkan kebijakan secara langsung melalui pendakian gradien pada ekspektasi imbalan. Gradien kebijakan menangani tindakan kontinu/stokastik secara alami tetapi memiliki varians lebih tinggi dan biasanya on-policy, sementara Q-learning bersifat off-policy dan seringkali lebih efisien sampel untuk tindakan diskrit kecil.

Apa itu metode aktor-kritik?

Metode ini menggabungkan kebijakan (aktor), yang diperbarui oleh gradien kebijakan, dengan fungsi nilai yang dipelajari (kritik) yang mengestimasi seberapa baik keadaan/tindakan. Kritik memberikan sinyal keuntungan (advantage) ber-varians rendah, menstabilkan dan mempercepat pembelajaran. A2C/A3C, PPO, dan DDPG adalah algoritma aktor-kritik.

Mengapa gradien kebijakan menggunakan nilai dasar?

Estimasi gradien mentah sangat berisik. Mengurangi nilai dasar — biasanya estimasi nilai keadaan — dari imbalan mengurangi varians gradien tanpa menambah bias, yang membuat pembelajaran jauh lebih stabil dan efisien. Fungsi keuntungan (imbalan dikurangi nilai) adalah pilihan umum.

Metode terkait

Sumber

  1. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.

    Buka referensi DOI
    Disalin.
  2. Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.

    Buka referensi publikasi
    Disalin.