Skip to content
Kembali ke hasil pencarian

Pembelajaran Penguatan Dalam

Diperkenalkan oleh
Mnih, V. et al. (DQN)
Tahun
2015
Jenis
Sequential decision-making (agent–environment interaction)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pembelajaran Penguatan Dalam (Deep Reinforcement Learning) menggabungkan jaringan saraf tiruan dengan pembelajaran penguatan sehingga agen belajar dengan berinteraksi dengan lingkungan, dipopulerkan oleh karya Mnih dan rekan-rekan pada tahun 2015 di Nature mengenai kontrol Atari setingkat manusia.

Alih-alih belajar dari kumpulan data berlabel tetap, agen mengambil tindakan, mengamati imbalan, dan secara bertahap membentuk kebijakan yang memaksimalkan imbalan jangka panjang.

Intuisi di balik metode

Bayangkan belajar bermain game tanpa buku aturan: Anda mencoba gerakan, melihat skor Anda berubah, dan perlahan-lahan mencari tahu tindakan mana yang memberikan hasil di kemudian hari. Deep RL mengotomatiskan lingkaran coba-coba ini. Jaringan saraf tiruan memperkirakan seberapa baik situasi dan tindakan, dan agen mempertahankan pilihan yang mendapatkan lebih banyak imbalan seiring waktu — bahkan ketika imbalan datang banyak langkah setelah keputusan.

Sejarah

Pembelajaran Penguatan Dalam menjadi terkenal dengan makalah Mnih dan rekan-rekan di Nature tahun 2015, di mana jaringan Q dalam (deep Q-network) mencapai kontrol setingkat manusia di banyak game Atari langsung dari piksel. Kemajuan gradien kebijakan menyusul, termasuk A3C dan Proximal Policy Optimization (PPO) karya Schulman dan rekan-rekan tahun 2017, yang menjadi pilihan default yang banyak digunakan dan lebih stabil. Bersama-sama, DQN, PPO, dan A3C menjadi jangkar perangkat modern Deep RL yang digunakan dalam game, robotika, dan seterusnya.

Kapan digunakan

Gunakan Pembelajaran Penguatan Dalam untuk masalah pengambilan keputusan dan kontrol sekuensial — bermain game, kontrol robot, optimasi rekomendasi, dukungan keputusan klinis — di mana agen dapat berinteraksi dengan simulator atau lingkungan langsung dan sinyal imbalan dapat didefinisikan. Ia menangani variabel kontinu dan kategorikal, tidak membuat asumsi normalitas, tetapi mengharapkan fungsi imbalan yang dirancang dan data interaksi yang substansial (setidaknya sekitar 1000 episode). Dengan interaksi yang jauh lebih sedikit, kebijakan tidak akan konvergen, dan model terawasi seperti Random Forest atau XGBoost adalah pilihan yang lebih aman.

Batasan dan pertimbangan

  • Memerlukan simulator atau lingkungan interaksi dan fungsi imbalan yang dirancang dengan cermat.
  • Haus data: membutuhkan sejumlah besar interaksi (sekitar 1000+) dan GPU direkomendasikan.
  • Di bawah sekitar 1000 interaksi, kebijakan gagal konvergen; di bawah ~500, ia tidak dapat menghasilkan kebijakan keputusan yang andal.
  • Pelatihan bisa tidak stabil dan sensitif terhadap hiperparameter dan pembentukan imbalan (reward shaping).

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mempelajari kebijakan kontrol dan sekuensial langsung dari interaksi, tanpa contoh berlabel.
  • Aproksimasi fungsi saraf diskalakan ke ruang keadaan dan tindakan yang sangat besar.
  • Fleksibel di berbagai domain — game, robotika, rekomendasi, dukungan keputusan klinis.
  • Tidak ada asumsi normalitas; bekerja dengan input kontinu dan kategorikal serta banyak struktur data.

Penerapan

  • Bermain game dan kontrol agen (misalnya game Atari dan papan catur).
  • Kontrol robot dan tugas kontrol kontinu.
  • Rekomendasi dan masalah optimasi sekuensial.
  • Dukungan keputusan klinis yang dibingkai sebagai pengambilan keputusan sekuensial.

Cara kerjanya

Cara kerjanya

1

Agen mengamati keadaan lingkungan saat ini (game, simulator, robot, pengaturan rekomendasi), memilih tindakan, dan menerima imbalan ditambah keadaan berikutnya. Simulator atau lingkungan interaksi langsung diperlukan, dan fungsi imbalan harus dirancang secara sengaja karena mendefinisikan apa arti 'perilaku baik'. Setiap interaksi menambah pengalaman yang dipelajari agen.

2

Jaringan saraf tiruan memperkirakan nilai keadaan dan tindakan — misalnya, jaringan Q dalam (deep Q-network) memperkirakan imbalan masa depan yang diharapkan dari setiap tindakan, sementara metode gradien kebijakan (policy-gradient) seperti PPO dan A3C secara langsung memparameterisasi kebijakan. Inilah yang membuat metode ini 'dalam' (deep): jaringan menggeneralisasi di seluruh ruang keadaan yang luas yang tidak dapat dicakup oleh tabel pencarian.

Rumus
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]
3

Menggunakan imbalan yang dikumpulkan melalui interaksi, jaringan diperbarui untuk mendukung tindakan yang mengarah pada imbalan terdiskonto kumulatif yang lebih tinggi, secara bertahap meningkatkan kebijakan menuju kebijakan yang memaksimalkan imbalan jangka panjang. Karena pembelajaran didorong oleh pengalaman, sejumlah besar data interaksi (registri merekomendasikan setidaknya sekitar 1000 episode/interaksi) dan idealnya GPU diperlukan agar kebijakan konvergen.

Rumus
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]

Kesalahan umum

  • Menerapkan Deep RL ke kumpulan data kecil di mana kebijakan tidak dapat konvergen alih-alih menggunakan model terawasi.
  • Merancang fungsi imbalan yang spesifikasinya buruk yang dieksploitasi agen dengan cara yang tidak diinginkan.
  • Melewatkan simulator/lingkungan interaksi dan mencoba belajar dari tabel catatan statis.
  • Mengabaikan diagnostik konvergensi dan mempercayai kebijakan yang kurang terlatih dengan varians tinggi.
  • Meremehkan kebutuhan komputasi dan menjalankan tanpa GPU pada terlalu sedikit episode.

Pertanyaan yang sering diajukan

Berapa banyak data yang dibutuhkan Deep RL?

Ia haus data. Registri merekomendasikan setidaknya sekitar 1000 interaksi/episode agar kebijakan konvergen; di bawah sekitar 500 interaksi, DQN/PPO tidak dapat menghasilkan kebijakan keputusan yang andal, dan model terawasi lebih disukai.

Apa perbedaan antara DQN, PPO, dan A3C?

DQN mempelajari fungsi nilai (imbalan yang diharapkan dari setiap tindakan) dan bertindak serakah terhadapnya. PPO dan A3C adalah metode gradien kebijakan yang secara langsung mengoptimalkan kebijakan; PPO khususnya dihargai karena stabilitas pelatihannya.

Apakah saya perlu simulator?

Ya. Deep RL belajar dari interaksi, jadi simulator atau lingkungan interaksi langsung diperlukan, bersama dengan fungsi imbalan yang dirancang secara sengaja yang mengkodekan tujuan.

Apakah saya perlu GPU?

GPU direkomendasikan. Deep RL melatih jaringan saraf tiruan melalui sejumlah besar interaksi, jadi tanpa komputasi yang sesuai, pelatihan lambat dan konvergensi sulit dicapai.

Metode terkait

Sumber

  1. Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.

    Buka referensi DOI
    Disalin.
  2. Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.

    Buka referensi publikasi
    Disalin.